LLMの意識論に火をつけた「Abstraction Fallacy」

論点は「今のモデルは意識がない」だけではない

r/singularityの大きなスレッドは、Alexander Lerchnerの論文The Abstraction Fallacy: Why AI Can Simulate But Not Instantiate Consciousnessをめぐるものだった。Redditのタイトルは、Google DeepMindのsenior scientistがlarge language modelsのconsciousnessに疑問を投げた、という形で広がった。ただし論文の標的はもう少し広い。適切な抽象的causal structureがあれば、substrateに関係なくsubjective experienceが生じるというcomputational functionalismへの批判である。

Lerchnerの主張は、computationは物理世界にそのまま内在するprocessではない、という点にある。連続的なphysical dynamicsを有限のmeaningful statesへ分け、それをsymbolとして扱うには、解釈しalphabetizeするmapmakerが必要だとする。したがってdigital systemはsymbol manipulationによってbehaviorをsimulateできても、experienceを構成するintrinsic physical constitutionをinstantiateしたことにはならない、という論理だ。論文は単純な生物学限定論にもしていない。もしartificial systemが意識を持つなら、それはsyntaxが十分に大きくなったからではなく、特定のphysical constitutionによるはずだとする。

コメント欄は、この話題がAI communityでなぜ毎回燃えるのかをよく示した。高評価のコメントは、computational neuroscienceとDeepMindで長く働いた研究者をRedditが簡単に退ける空気を皮肉った。一方で、consciousnessを明確に定義しないまま強い結論を出せるのか、という反論も多かった。Chinese Room argumentの変形に見えるという指摘や、科学者が過去の哲学議論を十分に扱わず哲学へ踏み込むことへの不満もあった。

この衝突こそがニュースだ。LLM consciousnessの議論は、chatbotが感情を語るかどうかだけではない。何をcomputationと呼ぶのか、symbol processingはsemanticsをgroundできるのか、behaviorだけでexperienceを判断できるのか、という問題に戻っている。これはAI welfare、anthropomorphism、model self-reportの扱いにも関わる。

このRedditスレッドは答えを出していない。ただ、モデルが流暢になるほど、communityは哲学から離れるのではなく、intelligence、simulation、embodiment、sentienceという言葉の前提をより厳しく問い始めている。

Source: r/singularity discussion and paper PDF.