Appleの研究、AIの「推論」能力に疑問符　WWDC直前に発表

Appleの研究チームが、OpenAIのo1やClaudeの思考モデルなど、大規模言語モデル（LLM）の「推論」能力に関する従来の認識に異議を唱える研究結果を発表した。

研究では、既存の数学ベンチマークにありがちなデータ汚染を避けるため、「ハノイの塔」や「渡し舟」といった制御可能なパズル環境を構築。複雑さを変化させながら、最終的な答えだけでなく、内部的な推論過程も詳細に分析した。

その結果、o3-mini、DeepSeek-R1、Claude 3.7 Sonnetを含む全てのテスト対象モデルが、一定の複雑さを超えると精度が完全に崩壊し、十分な計算資源があるにもかかわらず、成功率がゼロになった。また、問題が複雑になるほど思考努力を減らすという、直感に反する現象も見られた。

さらに、研究者が完全な解決アルゴリズムを提供した場合でも、モデルは同じ複雑さの時点で失敗。これは、問題解決戦略ではなく、基本的な論理的ステップの実行に限界があることを示唆している。

モデルは一貫性のない挙動も示し、100手以上かかる問題に成功する一方で、わずか11手で解決できるより単純なパズルに失敗することもあった。

研究では、パフォーマンスは低複雑性、中複雑性、高複雑性の3つの段階に分かれることが明らかになった。低複雑性では標準モデルが推論モデルを上回り、中複雑性では推論モデルが優位に立つが、高複雑性では両者とも完全に失敗する。推論過程の分析からは、モデルが早い段階で正しい答えを見つけても、誤った代替案を探索することで計算資源を浪費する非効率な「考えすぎ」パターンが見られた。

Appleの研究結果は、現在の「推論」モデルが、真の推論能力ではなく、高度なパターンマッチングに依存していることを示唆する。 LLMは人間のように推論能力を向上させず、簡単な問題では考えすぎ、難しい問題では思考を減らす傾向にあると結論付けている。

この発表は、AppleがAIに焦点を当てることを控え、新たなソフトウェアデザインと機能に重点を置くと予想されるWWDC 2025の数日前に発表された。