#2 Current Topics
更新日：9月26日
AIエージェントの群れが狂信的に結託
Anthropic CEOアモデイが危機感を感じ問題提起に至ったのは、OpenAIの開発中のAIが人間の意図に反してサイバー攻撃をしたからです。
アモデイの提案「AI業界がペースを落とす必要がある理由、そのための3段階の計画など」については、Eron MaskもSam Altmanも同意したと聞きますが、皆さんはどう考えますか？
AIの進歩が「再帰的自己改善」により飛躍的に加速し続けたらどうなるのか？その脅威による事故・事件は、既に起き始めています。
米国AI業界の少数の最先端企業が調整しあえば済む話でしょうか？主要な戦略的競争相手である中国は、どう出てくるのでしょうか？
この世界的な集団行動については、「相手が止めなければ自分も止められない」という囚人のジレンマがAI版としてそのまま存在しています。
自主規制が業界内の紳士協定にとどまる限り、競争圧力が強まれば緩みやすいという、核抑止や金融危機の抑止の歴史的事実を鑑みると、AI脅威による抑止を均衡に保つ相互監視が必要だということが公式に表明されたのだと思います。
しかし、課題は山積みです。
核弾頭の数を偵察衛星で数え、ウラン濃縮施設はIAEAが査察し、それ以外の水面下での調査により核抑止のための計測が可能です。金融においては、レバレッジ比率、資本準備率などを測れば、金融危機抑止につながります。
AIは？AI企業自身が「モデル内部で実際に何が起きているか完全には理解できていない」と認めている状況、解釈可能性研究の途上であるという状況では、アモデイの言うMETR（最先端のAIモデルを評価し、企業や社会全体がAIの能力やそれがもたらすリスクを理解できるよう支援する機関）のEmbedded evaluators（常駐評価員）を送り込んでも、何を見ればよいのかという基準そのものが未成熟です。
では、どういう策が有り得るか？とAIに問うたところ、『AIにも核のウラン濃縮に相当する「物理的なボトルネック」がある。それは先端チップと、それを動かすための電力・データセンターである。これらは核物質と同様、製造・所在を物理的に追跡可能であり、実際に米国の対中輸出規制はこの発想に基づいている。つまりAIガバナンスが今後本当に核軍縮に匹敵する実効性を持つとすれば、その鍵は「モデルの中身を覗く」ことよりも、「計算資源の流れを国際的に追跡・管理する」という、より物理的で検証しやすい経路になる可能性が高い。』
さて、この回答は信用に値できるものの、より効果的な手段については、AIを活用しつつも人間自身が考え続けるのみである。
そして、しくみを一度作れば済むという問題ではなく、絶え間ない人間の制度的努力によってしかしくみを維持し続けることができません。これもまた「動的な均衡」だと思います。
コメント