AIが文章の順番をどれだけ意識しているか、東大が熱力学の手法で数値化

小説のページが順番を間違えて綴じられていたら、読み始めてすぐに「あれ、おかしい」と気づく。出来事がどちらの順で起きるかを、自分が知っているからだ。

ではChatGPTのようなAIはどうか。次に来る単語を予測しているだけ、とよく説明される。それなのに出来事の順番が通った文章を書ける。この「順番への意識」は本当にあるのか、外から確かめる方法はあったのか。

東京大学の沙川貴大教授が2026年11月6日に発表した研究は、この意識の強さを熱力学の考え方で数値にする手法をつくった。GPT-2とQwen3-4B-Baseという2つのAIで試すと、出来事が順に進む文章ほど、逆順には生成されにくいことが分かった。

出来事の順番をAIはなぜ書けるか

AIが文章を生成する仕組みは「自己回帰生成」と呼ばれる。それまでに出した単語の続きとして、次の単語をひとつずつ予測して並べていく方式だ。

この説明だけを聞くと、AIは直前の数語しか見ていないように思える。だが実際には、文章全体に流れる出来事の順番のような、もっと長い構造も内部で捉えているように見える文章を書く。これが次の単語予測という説明だけからは、にわかには信じにくい部分になる。

本当に捉えているのか、それとも単語のつながりが自然に見えるよう取り繕っているだけなのか。それを外から確かめる方法はあったのか。

順番への意識を数値にできたか

確かめる方法として考えられるのは、文章の並びをひっくり返してAIに生成させ、元の順番とどれだけ違う結果になるかを見ることだ。出来事の順番を強く意識しているなら、逆から生成させたときに大きな違和感が出るはずだからだ。

ところが、この違和感を正確に測ろうとすると壁にぶつかる。AIの生成はそれまでの単語すべてに依存しており、どの単語も直前の数語だけでなく、文章の最初からの履歴全体を踏まえて選ばれている。この種の過程は「非マルコフ過程」と呼ばれ、違和感の大きさを厳密に計算しようとすると、ありうる履歴の組み合わせをすべて数え上げる必要が出てくる。文章が長くなるほど、組み合わせは現実的に数えきれない数まで膨らむ。

東京大学の発表によると、沙川教授の研究は、この数え上げを避けながら、違和感の大きさを効率よく見積もる方法を示した点が新しい。では、この方法は具体的に何を数値にしているのか。

新しい手法は何を測るのか

ここで出てくるのが「エントロピー生成」という量だ。熱力学の言葉なので、AIのデータセンターの電力消費や発熱の話だと思うかもしれない。自分も最初はそう読んだ。

角砂糖が湯に溶ける映像を思い浮かべてほしい。普通の向きで見れば自然だが、逆回しにすると、溶けた砂糖が自然にひとかたまりへ戻っていくように見えて、明らかに不自然だ。熱力学のエントロピーは、この「どちらの向きが自然か」を数値で区別する考え方になる。

沙川教授の研究は、この考え方を文章の生成過程に当てはめた。文の中の語順はそのままに、文の並び順だけを逆にして生成させたときの「生成されにくさ」を、エントロピー生成として数値化する。ここでの「エントロピー生成」が指しているのは、文章の生成過程がどれだけ逆再生っぽく見えるかという不可逆性だ。コンピュータの発熱や電力消費そのものではない。

あわせて、この量を各時刻ごとのゼロ以上の寄与に分解できることも示された。文章全体を一度に扱うのではなく、単語1つずつの寄与に分けて足し合わせられる。履歴全体を数え上げなくても効率的に見積もれる理由は、この分解にある。では、実際にAIで試すと何が分かったのか。

2つのAIで試した結果

理論を確かめるため、オープンモデルのGPT-2(124M)とQwen3-4B-Baseの2つで実験している。用意したのは、出来事が順番に進む物語風の文章と、互いに関係のない事実を並べた文章の2種類だ。どちらも商用の生成AIへのプロンプトでつくらせた。

たとえば(あくまで仮の例として)、次の2つを考える。

• 物語風の文章: 「猫が窓から外を見た。次に鳥が庭に降りた。猫は身を低くした。」。文の順番を変えると、猫が身を低くしてから鳥が降りる展開になり、明らかに不自然になる
• 独立した事実の文章: 「東京は日本の首都だ。富士山は日本で一番高い山だ。」。2文の順番を入れ替えても、意味はほとんど変わらない

この2種類を、それぞれのモデルに文単位で逆順に生成させ、エントロピー生成を比べた。発表によると、出来事が順に進む文章の方が、独立した事実の並びよりもエントロピー生成が大きい傾向として表れた。逆順には生成されにくい、つまり順番への依存が強いということだ。評価には順位双列相関係数と95%信頼区間を使っており、具体的な数値はプレスリリースには示されていない。

研究発表は、この手法を「世界モデル」を調べる手がかりと位置づけている。世界モデルとは、AIが文章を生成する過程で内部に作り上げていると考えられている、現実世界についての表現のことだ。出来事の順番への依存の強さは、その世界モデルの中身の一部をのぞく手がかりになる。同じ発表は、この成果を生成AIと熱力学という2つの研究領域を結びつける理論とも位置づけている。

この傾向には、ふまえておきたい範囲がある。使ったモデルは比較的小規模なオープンモデルで、文章群も理論的な順序・因果の定義ではなく生成AIへのプロンプトでつくられたものだ。研究発表でも、理論的に組み立てた文章群でのさらなる検証が今後の課題として挙げられている。

まとめ

出来事が順番に進む文章ほど、AIは逆順には生成しにくい。この「生成されにくさ」を、履歴をすべて数え上げなくても効率よく見積もる手法が、東京大学の研究でできるようになった。

ここで使われた「エントロピー生成」は熱力学由来の言葉だが、指しているのはAIの発熱や電力消費ではない。文章の生成過程がどれだけ逆再生っぽく見えるかという不可逆性だ。実験に使ったのはGPT-2とQwen3-4B-Baseという比較的小規模なオープンモデルで、文章群も生成AIに作らせたものだった。出来事の順番への依存の強さを数値で追えるようになったことは、AIが内部に持つとされる「世界モデル」を調べる手がかりになる。