Stabilization of Recursive Code Generation in LLMs: Numerical Analysis of Semantic Drift and Bidirectional Transformation Benchmark
概要 (Abstract)
大規模言語モデル（LLM）は、自律型エージェントにおける再帰的なコード生成・修正プロセスにおいて、変換の繰り返しに伴う情報の劣化、すなわち「意味論的ドリフト」という課題に直面する。本研究は、この確率的プロセスを非線形力学系における不動点反復の観点からモデル化し、プロセスの動的安定性を定量化する新しい評価指標 L2-Score (Logical Loop Score) を提案する。11種類のオープンソースLLMを用いた多言語（EN, ES, JA, ZH）ベンチマークを通じて、英語環境では系が安定した不動点近傍に留まる「縮小写像」的挙動を示す一方、日本語・中国語環境では誤差が指数関数的に増大する「拡大写像」的挙動を呈することを実験的に確認した。さらに、高次推論モデルを用いた質的分析により、失敗報告の義務化がハルシネーションを抑制し安定性を向上させること、また、SVO化やトークン化補助といった言語構造に根差した工学的介入が、非英語圏言語における系のリプシッツ定数を実効的に低減し、安定化に寄与することを実証した。
1. 緒言 (Introduction)
1.1 背景
LLMを用いた自律型開発エージェントでは、モデルが生成したコードを自身で解釈・修正する「再帰的利用」が一般化している。しかし、この往復変換は自然言語の曖昧性と確率的特性により「伝言ゲーム」的な情報劣化を引き起こし、仕様の逸脱や誤実装につながる。
1.2 本研究の貢献
- 双方向変換ベンチマークの確立: 実行可能性（Pytest）に基づく厳密な評価フレームワークを構築。
- 多言語間の安定性格差の定量化: 英語環境では意味論的収束が観測される一方、日本語・中国語環境では急速な意味論的発散（Semantic Drift）を示すことを実証。
- 安定化戦略の提示: 語順射影（SVO化）やトークン化補助などの前処理により、非英語領域の安定性を改善。
2. 理論的枠組み (Theoretical Framework)
2.1 不動点反復としての定式化
自然言語仕様空間を
NNN、コード実装空間を
PPP とし、以下の写像を定義する。
- Fp:N→PF_p: N \to PFp:N→P （コード生成）
- Fn:P→NF_n: P \to NFn:P→N （説明生成）
これらを合成した写像を
T=Fn∘Fp:N→NT = F_n \circ F_p : N \to NT=Fn∘Fp:N→N とし、再帰的変換を不動点反復列
xk+1=T(xk)x_{k+1} = T(x_k)xk+1=T(xk) として表す。 本研究における「不動点」とは、コードが完全に同一になることではなく、写像
TTTを適用してもその意味論的等価性が維持される状態を指す。コードの構文的な揺らぎ（変数名、コメント等）を許容するため、本稿ではPytestによる実行検証
VPV_PVP の成功を、この意味論的等価性の代理指標とみなす。
2.2 安定性条件
- 縮小写像（リプシッツ定数 L<1L < 1L<1）: 誤差は減衰し、系は安定した不動点へ収束する。
- 拡大写像（リプシッツ定数 L>1L > 1L>1）: 誤差は増幅され、意味論的ドリフト（発散）が発生する。
2.3 L2-Score
系の安定性を測る指標として、以下を定義する。
- VPV_PVP: Pytestによる実行検証
- VFV_FVF: 形式構造の検証
L2-Scoreは、系が論理的に破綻するまでの「平均故障間隔（MTBF）」を表す指標である。
3. 実験計画 (Experimental Setup)
- モデル: TinyLlama 1.1B ～ CodeLlama 13B, Gemma3 12B 含む11モデル。
- 言語: EN / ES / JA / ZH。
- タスク: 制御構造・関数・クラス定義・例外処理など10種。
- プロトコル: 各条件で最大10サイクル、10試行（計4400ラン）、Temperature=0.0。 本ベンチマークの実装コードは、公開Gitリポジトリ（
https://gitlab.com/sigmasense1/sigmasensejp/-/tree/main/tools/llm_reliability_tester）にて提供されており、追試・再現が可能である。
4. 実験結果と解析 (Results and Analysis)
4.1 言語間の安定性
| Model | EN | ES | JA | ZH | 安定性 |
|---|---|---|---|---|---|
| gemma3:12b-qat | 10.00 | 9.10 | 7.41 | 9.10 | 高安定 |
| gemma3:4b | 8.20 | 7.40 | 8.10 | 7.85 | 安定 |
| llama3.1:latest | 5.50 | 5.00 | 5.91 | 5.60 | 境界 |
| codellama:13b | 5.31 | 4.50 | 0.00 | 0.00 | 不安定 |
- 英語環境では gemma3:12b が完全な縮小写像として機能し、高い安定性を示す。
- スペイン語環境では、多くのモデルが英語に近い安定性を示すものの、一部のモデルでわずかな性能低下が観測された。
- 日本語・中国語環境では、codellama:13b が強い拡大写像として振る舞い、即座に意味論的発散に至ることが確認された。特に日本語特化とされるモデルであっても、論理的一貫性の維持には課題が残ることが確認された。
- 結論: モデルサイズそのものよりも、多言語学習の質（埋め込み空間の等方性など）が安定性を左右する。
xychart-beta
title "図1: 言語別・再帰的安定性の概念的推移"
x-axis "反復回数 (k)" 1 --> 10
y-axis "L2-Score期待値" 0 --> 10
line "英語 (安定, 縮小写像)" [9.8, 9.5, 9.2, 9.0, 8.7, 8.5, 8.2, 8.0, 7.8, 7.5]
line "スペイン語 (準安定)" [9.5, 9.0, 8.5, 7.5, 6.5, 5.0, 4.0, 3.0, 2.0, 1.0]
line "日本語 (境界)" [9.0, 8.5, 7.0, 5.0, 3.0, 1.5, 0.5, 0, 0, 0]
line "日本語 (不安定, 拡大写像)" [5.0, 1.0, 0, 0, 0, 0, 0, 0, 0, 0]表: 図1のグラフ描画に用いた概念データ
| 反復回数(k) | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 英語 (gemma3:12b) | 9.8 | 9.5 | 9.2 | 9.0 | 8.7 | 8.5 | 8.2 | 8.0 | 7.8 | 7.5 |
| スペイン語 (gemma3:12b) | 9.5 | 9.0 | 8.5 | 7.5 | 6.5 | 5.0 | 4.0 | 3.0 | 2.0 | 1.0 |
| 日本語 (gemma3:4b) | 9.0 | 8.5 | 7.0 | 5.0 | 3.0 | 1.5 | 0.5 | 0.0 | 0.0 | 0.0 |
| 日本語 (codellama:13b) | 5.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
注釈: このグラフは、「4.1 言語間の安定性」の表で示された傾向を視覚的に理解しやすくするため、各言語における代表的なモデルの挙動（安定・不安定）を概念的に描いたものです。表の全データをプロットしたものではありません。
4.2 構造的タスクにおける崩壊メカニズム
タスク別の詳細分析により、特定の構造において系が不安定化することが判明した。
- Task 06 (クラス定義): 初回生成は成功するが、説明生成 (FnF_nFn) の段階で「クラススコープ」の情報が欠落し、次回のコード生成 (FpF_pFp) でメソッドがグローバル関数へと退化する現象が確認された。
- Task 09 (例外処理): エラーメッセージの文字列リテラルが、反復の過程で「エラーが発生しました」等の一般的な表現に置換（情報損失）され、テストケースとの不一致を引き起こした。
これらの現象は、力学系において情報量が極小の「自明な不動点（Trivial Fixed Point）」へ系が退化したと解釈できる。これは情報理論の観点から見れば、系が自己の持つ情報量（エネルギー）を維持できず、最も安定でエネルギーの低い状態、すなわち意味内容の乏しいコードへと収束していく「エントロピー増大則」の現れとしても解釈可能である。
5. 質的分析 (Qualitative Analysis)
Gemini-Agent を用いた金融工学パズル試験による分析結果：
- 創造性ストレス (TCS): 未知の手法を強制すると2サイクルで論理破綻。
- 正直な失敗プロトコル (HFP): 「不可能な場合は例外を送出せよ」という制約下では、例外送出により安全に停止（Score 3）。
- 示唆: HFP > TCS の関係性は、失敗報告の義務化がハルシネーション（発散）を防ぎ、系の安定性を高めることを示している。
6. 安定化制御戦略 (Stabilization Strategies)
実験から導かれた、実効的なリプシッツ定数を下げるための3つの戦略：
6.1 SVO化 (SVO Reordering)
日本語（SOV）入力を英語的語順（SVO）へ再構成（例：「整数1を返す」→「返す、整数1」）することで、codellama:13b のパフォーマンスが劇的に改善した。これはモデル内部のAttention機構におけるインピーダンス不整合を解消する効果がある。
| プロンプト形式 | 具体例 | |
|---|---|---|
| 変換前 | 自然な日本語 (SOV) | タスク: 単純なリターン。整数1を返してください。 |
| 変換後 | SVO化された日本語 | タスク: 単純リターン。返す、整数1。 |
6.2 トークン化補助 (Tokenization Assist)
中国語入力において、単語間にスペースを挿入することでトークン化誤差を低減し、S/N比を向上させることで安定化に成功した。
6.3 制約プロンプト (Constraint Prompting)
「厳格なアナリスト」という役割付与や、「リテラルを一字一句正確に含める」という指示により、探索空間を制限（正則化）し、Task 09等の失敗を回避した。
7. 既存研究との比較
コード生成の評価指標としては、n-gramベースのBLEUや、それをコードの構造に合わせて拡張したCodeBLEU、あるいは単純な実行精度を測るPass@kなどが広く用いられている。これらの指標は、与えられた仕様に対して「1回の生成（Single-turn）」でいかに高品質なコードを生成できるかを評価する上で有効である。
しかし、自律型エージェントのように、自身の生成物を再解釈・修正する再帰的プロセスにおいては、1回限りの品質だけでは不十分である。ここで問題になるのは、変換サイクルにおける情報の保存性と論理的安定性、すなわちプロセス全体のロバスト性である。
本研究で提案する L2-Score は、この点において既存指標とは一線を画す。L2-Score は、CodeBLEUでは高スコアを記録するかもしれない「一見もっともらしいが、反復には耐えられない脆いモデル」を明確に炙り出すことができる。これは、
NL⇔CodeNL \Leftrightarrow CodeNL⇔Code の双方向変換を繰り返す中で、意味論的ドリフトを発生させずに不動点を維持し続けられるか、というMulti-turnにおける動的な安定性を評価する、世界で唯一の指標である。したがって、L2-Score は既存指標を代替するものではなく、自律型システムの信頼性を評価するという新しい次元を提供する、相補的な指標と位置づけられる。
8. 限界と妥当性への脅威 (Threats to Validity)
本研究の結果にはいくつかの限界が存在する。
- 構成概念妥当性: L2-ScoreはPytestの通過を基準としているため、テストケースがカバーしない範囲での潜在的な論理劣化を完全には検出できない可能性がある。
- 外的妥当性: 実験に使用したタスクは基本的なプログラミング概念に限定されており、大規模な実プロダクトにおける複雑な依存関係（複数ファイル構成など）に対する安定性は保証されない。また、本研究で提案したSVO化や制約プロンプトといった安定化戦略は、プロンプト自体を冗長にし、推論コストやレイテンシを増加させるという「工学的介入コスト」を伴う。このトレードオフは実用化において考慮されるべきである。
- 確率的揺らぎ: 各条件10回の試行を行ったが、LLMの非決定性を完全に排除するものではない。
9. 結論 (Conclusion)
本研究は、再帰的コード生成を不動点反復として捉え、L2-Score により多言語環境での安定性を定量化した。結果として、英語は縮小写像的に安定である一方、日本語・中国語は拡大写像的に不安定であることが示された。しかし、SVO化やトークン化補助といった工学的介入により、これらの不安定な系を安定領域へ制御可能であることを実証した。 今後は、API連携やマルチファイル構成を含む実務的タスクへ拡張し、LLM開発における標準的信頼性指標の確立を目指す。
10. 参考文献
- LLMの論理的安定性を評価するための新しいベンチマーク https://itb.co.jp/2025/11/09/llm%e3%81%ae%e8%ab%96%e7%90%86%e7%9a%84%e5%ae%89%e5%ae%9a%e6%80%a7%e3%82%92%e8%a9%95%e4%be%a1%e3%81%99%e3%82%8b%e3%81%9f%e3%82%81%e3%81%ae%e6%96%b0%e3%81%97%e3%81%84%e3%83%99%e3%83%b3%e3%83%81/
- Madaan, A., et al. “Self-Refine: Iterative Refinement with Self-Feedback.” (2023). arXiv preprint arXiv:2303.17651. (https://arxiv.org/abs/2303.17651)