スタンフォードの研究者がAIの物理特性理解における重大な弱点を明らかに

Stanfordの研究がAIの基礎物理における盲点を暴く

創造的な文章作成から複雑なコーディングまで、人工知能があらゆることを習得したかのように見える今年、Stanford大学の新しい研究は驚くべき制約を指摘した：高度なAIモデルは基礎的な物理法則を理解するのが苦手だということだ。物理的推論をテストするために設計された包括的なベンチマーク「QuantiPhy」の発表は、最先端の視覚言語モデル（視覚言語モデル（Vision-Language Models、VLMs））でさえ、速度、距離、サイズの正確な推定にしばしば失敗することを明らかにした。これらは人間の直感にとって基本的であり、自律システムの展開にとって重要なスキルだ。

研究はStanford Institute for Human-Centered Artificial Intelligence（HAI）が主導し、AIが落下する物体の動画を詩的に記述できても、その物体がどれだけ速く落下しているかやどこに着地するかを数値的に正確に算出できないことが多いと示唆している。この「定量的ギャップ（quantitative gap）」は、ロボティクスや自動運転技術における産業の野心にとって重大な障害を示す。

The QuantiPhy Benchmark: Testing Reality

何年にもわたり、AI評価は質的理解に偏重してきた—モデルに動画中の猫を識別させたり、人が歩く動作を説明させたりすることだ。しかし、これらのタスクはシーンを支配する物理的性質をモデルが理解しているかどうかをほとんど検査しない。それに対処するため、StanfordチームはマルチモーダルAIの定量的物理推論能力を評価するために特別に設計された最初のデータセット、QuantiPhy を開発した。

ベンチマークは3,300以上のビデオとテキストの事例で構成され、モデルに「運動学的推論（kinematic inference）」を行わせることを要求する。単にシーンを記述するのではなく、AIは視覚的証拠に基づいて精密な数値的質問に答えなければならない。例えば：

「ビリヤード球は1.0秒時点での速度は何ですか？」
「被写体の平均歩行速度を考慮すると、二つの道路標識間の距離はどれくらいですか？」
「背景に対する動きに基づいて、その物体の高さを算出してください。」

これらの問題を解くには、モデルは当て推量に頼ることはできない。研究者が「明示的視覚測定（explicit visual measurement）」と呼ぶ手法を実行し、与えられた事前知識（既知の事実）を用いてピクセルの変位を実世界の単位にマッピングする必要がある。研究の結果は厳しいものだった：広く利用されているChatGPT-5.1を含む最上位モデルでさえ、自信満々だが数学的に誤った回答を頻繁に出した。

「記憶された事前知識（Memorized Priors）」の罠

研究の最も重要な発見のひとつは、現在のAIモデルは実際には物理を「見る」わけではなく、それを記憶しているという点だ。動画が与えられると、モデルは実際の視覚入力よりも訓練データ（事前知識）に頼る傾向がある。

例えば、モデルが象を見れば、訓練データから「象は大きい」という統計的確率にアクセスする。もし動画が小さな若い象や遠近法のトリックを示していても、モデルはしばしば視覚的現実を無視して記憶された知識を優先する。

この現象は研究者の実験で鮮明に示された。視覚的手がかりが明瞭で物体が予想されるパターンに従う場合（例：標準的な車が通常の速度で移動する）はモデルの性能は十分だった。しかし研究者がモデルの適応性を試すために物体のサイズや速度を異常にスケールするなどの「反事実的事前知識（counterfactual priors）」を導入すると、AIの推論は崩壊した。モデルは目の前の動画証拠ではなく、訓練データに一致する数値を出力し続けた。

研究者らは、これが「グラウンディング（grounding）」の根本的欠如を示していると主張する。モデルは生の視覚データから物理的性質を計算するのではなく、関連するテキストや数値を取り出して理解をシミュレートしているのだ。

比較分析：モデルの性能と現実

QuantiPhyベンチマークはさまざまな物理タスクにおける一貫しない性能を露呈した。モデルは単純な物体の数え上げや静的な識別にはある程度の能力を示したが、速度や加速度などの動的な運動学的特性を処理する能力は著しく不足していた。

以下の表はQuantiPhyデータセットの具体的なテストケースを示し、真の物理値とAI推定の差異を例示している。

Table 1: QuantiPhy Benchmark Performance Examples

Task Scenario	Visual Input Prior	Ground Truth	AI Model Estimate (ChatGPT-5.1)	Analysis of Failure
Velocity Estimation	Billiard ball diameter (57.4 mm)	24.99 cm/s	24.00 cm/s	ほぼ成功：シナリオが標準的な物理訓練データや単純で視覚的にクリーンな背景と一致しているため、モデルはここで良好に機能した可能性が高い。
Object Sizing	Elephant walking speed (2.31 m/s)	2.20 meters	1.30 meters	重大な失敗：モデルは高さを大幅に過小評価し、歩行速度の事前知識と動物の垂直寸法を対応付けられなかった。
Distance Calculation	Pedestrian speed (1.25 m/s)	4.77 meters	7.00 meters	空間的誤差：道路標識間の距離を大きく過大評価しており、2Dピクセルの深さを3D実世界空間にマッピングできないことを示している。
Scale Sensitivity	Car length (scaled to 5,670 m)	Matches Scale	Normal Car Size	事前知識バイアス：デジタル操作で「巨大」な車が提示されたとき、モデルは視覚スケールを無視して記憶の中の標準的な車のサイズに戻った。

ロボット工学と自律システムへの影響

正確な物理推論ができないことは単なる学術的好奇心ではなく、具現化されたAIを展開する上で安全に直結する問題だ。自律走行車（AV）、配送ドローン、家庭用ロボットは、運動の不変の法則によって支配される物理的世界で動作する。

自律車両にとって「もっともらしい（plausible）」推論では不十分だ。車のAIシステムが横断歩道に向かって走ってくる子どもを見た場合、ブレーキをかけるかどうかを判断するために、子どもの速度と車自身の速度に対する軌道を正確に計算する必要がある。数m/sの誤差でも、安全に停止するか衝突するかの差になり得る。

論文のシニア著者でありStanford Translational Artificial Intelligence（STAI） LabのディレクターであるEhsan Adeliは、この制約がレベル5の自律性（Level 5 autonomy）にとって主要なボトルネックであると強調した。現在のシステムは視覚的推論の必要性を回避するためにLIDARやレーダーに頼ることが多いが、人間と同様にカメラのみで動作できる真の汎用AIエージェントは、これらの直感的な物理計算を習得しなければならない。

前進への道：もっともらしさから精度へ

厳しい結果にもかかわらず、StanfordチームはQuantiPhyが改善のロードマップを提供すると考えている。研究は、現行の視覚言語モデル（視覚言語モデル（Vision-Language Models、VLMs））の訓練パラダイムが意味的理解（これは何か？）に偏っており、定量的推論（これはどれだけ速いか？）に向いていないことを指摘している。

このギャップを埋めるために、研究者らは訓練方法論の転換を提案している：

シミュレーションデータの統合： 速度、質量、摩擦の真値が絶対的に得られる物理エンジンの合成データでモデルを訓練すること。
物理のためのチェーン・オブ・ソートのプロンプティング（Chain-of-Thought Prompting for Physics）： 最終回答を出す前に、ピクセルからメートルへの比率を明示的に計算するなど、「計算過程を示す」ことを促すこと。
ハイブリッドアーキテクチャ： 大規模言語モデルの意味的強みと、シーンの数学的計算を扱う専門の「ニューラル物理エンジン（neural physics engines）」を組み合わせること。

AI業界が人工汎用知能（AGI）に向けて推進する中で、物理世界を理解する能力は最後のフロンティアとして残っている。モデルが視覚手がかりだけで走っている車と停車している車を確実に見分けられるようになるまでは、物理世界におけるそれらの役割は制限されたままだ。