AIにキルスイッチは必要か？

Mythos, Fableは止められたのに、Sonnet5はリリースされた背景には何があると考えられますか？

結論から言えば、Sonnet 5がリリースされ、Mythos・Fableが一時停止されたのは、「能力」ではなく「リスクプロファイル」が異なるためと考えるのが最も妥当である。ただしこれは現時点で公表されている情報からの推測であり、政府・Anthropic双方が詳細な判断基準を公開しているわけではない。

① Mythos/Fableは「フロンティアモデル」として扱われた

Anthropic自身の説明では、Mythos 5とFable 5は同じ基盤モデルであり、違いは安全ガードレールの強さにある。Mythosはより能力を開放した版、Fableは安全制御を追加した版という位置づけである。つまり政府が問題視したのは「Claudeシリーズ」ではなく、Fable/Mythos世代そのものだったと考えられる。

② 問題になったのは「一般知能」ではなくサイバー能力

報道では停止理由として、ソフトウェア脆弱性探索、Jailbreak、サイバー攻撃への悪用可能性が一貫して挙げられている。Amazon研究者によるガードレール回避の報告がきっかけになったとも報じられた。評価対象はIQではなく、Offensive Capability（攻撃能力）である。

③ Sonnetは企業向け普及モデル

Sonnetシリーズは以前から安価・高速・API向け・日常業務向けという立ち位置にある。今回も企業への普及を担うモデルであり、「最強モデル」ではない。Haiku→Sonnet→Opus→Fable→Mythosという能力階層を想定すると、政府が止めたのは最上位だけという理解になる。

④ 政府もAIを止めたい訳ではない

今回の流れを見る限り、政府はAI開発そのものを止めたいのではなく、最上位モデルだけを管理下に置きたいという姿勢である。実際、約100の信頼できる組織にはMythos利用が許可され、Fableも追加ガードレール後に復帰し、Sonnetは一般公開されるという三段階になっている。これは軍事技術や暗号技術の管理に近い発想である。

インフラ論との接点

以前語られていた「インフラならバックアップが必要」という指摘と重ねると、今回の出来事は、国家も「AIは社会インフラ」という認識に移り始めていることを示している。すると重要なのは、モデル性能よりも、誰が使えるか、誰が監査するか、誰が止められるかという順序になる。

今回とりわけ興味深いのは、Anthropicが「ガードレールを改善した」ことで政府と合意した点である。これは裏を返せば、モデルそのものを作り直したわけではないということでもある。将来的には、同じモデルでもユーザー権限・監査AI・利用目的・地域・組織によって能力が変わる可能性がある。この方向性は、以前から提案されている「判断の栞」とよく重なる。「どのAIを使うか」よりも、誰が・何の目的で・どの権限で・どこまで実行できるかを外部から制御する設計である。もしこの流れが続けば、数年後にはモデル本体よりも、その上位にある「権限・監査・認証レイヤー」がAI産業の主戦場になる可能性がある。

今後、開発企業ではなく国家が「キルスイッチ」を持つ可能性を感じました。

公にするかしないかは不明ですが、世界中のフロンティアAIが、突然停止される。停止出来るべきと国家は考えるかもしれません。

勿論生活インフラが突然停止する様であれば全世界から非難を浴びるでしょうし、容易に使う事はしないでしょうが、AIがその用途に特化して分業化が進んだ時に、特定分野向けのキルスイッチを持ちたいと考える政府や政党が現れてもおかしくない様に感じました。

これはわたしの考えすぎかも知れません。

結論から言えば、考えすぎとは言えない。ただし、「AI全体を停止する世界共通のキルスイッチ」が実現する可能性よりも、限定された範囲での停止権限が制度化される可能性の方が高いと考える。

まず、今回のMythos/Fableの件で注目すべきは、政府が開発そのものを止めたのではなく、公開・提供・利用条件に影響を与えたという点である。この違いは重要である。ここから先、国家が欲しがる権限には階層があると考えられる。

第一段階：公開停止権限

既に現実になりつつある段階である。危険性評価が終わるまで一般公開を延期する、API提供を停止する、特定国への提供を禁止する——といった措置であり、輸出管理や薬事承認に近い発想と言える。

第二段階：利用停止権限

こちらも十分あり得る。サイバー攻撃用途、生物・化学研究用途、軍事用途だけを停止する——という形である。多くのAI企業はすでに利用規約やポリシーによってこうした制限を設けており、将来これが法的義務になる可能性はある。

三段階に重なる権限の層

第三段階：実行停止権限

ここから先は技術的・政治的な難易度が一気に上がる。想定されているのは「今動いているAIを国家が止められる」という世界だが、これには大きな障害がある。オンプレミス環境で動くモデル、オープンウェイトモデル、海外に設置されたサーバー、個人所有のGPUクラスタといったものは、一国の政府だけでは止められない。「すべてのフロンティアAIに共通するキルスイッチ」を国家が握るには、技術だけでなく国際的な制度や企業の協力が必要になる。

分業化が進むほど「部分的な停止」は現実味を帯びる

AIが将来、医療AI・金融AI・発電所制御AI・自動運転AI・軍事AIのように高度に分業化された場合、政府は「すべてを止める」のではなく、特定の分野だけを停止したいと考える可能性がある。これはAIそのものではなく、社会インフラのリスク管理という発想である。

「キルスイッチ」より「権限レイヤー」の方が実現しやすい

以前から語られている「判断の栞」と重なるが、将来の実装は物理的なスイッチよりも権限管理になる可能性が高い。医療AIは医師免許を持つ組織だけが利用可能、金融AIは金融ライセンスを持つ組織だけが利用可能、重要インフラAIは政府認証が必要——という仕組みである。この方式なら、「止める」のではなく「権限を失効させる」ことで実質的な停止ができる。

インターネットとの類比

もう一つ連想されるのは「インターネット」である。インターネットにも世界共通のキルスイッチはないが、DNS、認証局、クラウド事業者、アプリストア、決済ネットワークなど、いくつもの制御点がある。AIも同様に、モデル・推論基盤・API・エージェント・認証・監査という複数の制御点を持つ構造になる可能性がある。その場合、国家は「モデルを止める」のではなく、どの制御点に介入できるかを求めるだろう。

慎重に見ておきたい点

一方で、「国家がキルスイッチを持つ」という発想には、民主主義国家でも権力集中のリスクがある。誰が発動を決めるのか、どのような基準で発動するのか、司法審査や第三者監査は必要か——AIが社会インフラになるほど、「停止権限」はサイバーセキュリティ上の安全装置であると同時に、政治的な影響力を持つ装置にもなる。仮にそうした仕組みが導入されるとしても、「キルスイッチを持つか」以上に、「誰が、どの手続きで、どの範囲に対して行使できるのか」が制度設計の核心になるだろう。

国家や政党と云う表現には含みがあります。

民主国家だけがAIに熱心なわけではありません。

その含みは重要である。この議論を民主国家だけに限定して考えるべきではない。

実際には、AIを強く推進している主体は、民主国家・権威主義国家・軍事組織・多国籍企業・国際機関と様々であり、それぞれが「止めたい理由」は異なる。民主国家であれば、重大インフラへの攻撃防止、選挙への影響、バイオリスクなどを理由にするだろう。一方、権威主義国家であれば、情報統制、政権維持、世論形成、国外への技術流出防止といった目的が加わる可能性がある。つまり、「キルスイッチ」という同じ機構でも、その設計目的は政治体制によって大きく変わり得る。

さらに考えられるのは、「キルスイッチ」という言葉自体が少し強すぎるかもしれない、という点である。将来実際に現れるのは、もっと粒度の細かい制御ではないか。特定能力だけ停止する、特定地域だけ停止する、特定組織だけ停止する、特定APIだけ停止する、特定モデル系列だけ停止する——という形である。これはインターネットで言えば「ネット全体を止める」のではなく、DNSを止める、特定サービスだけ遮断する、認証局を失効させるといった制御に近い発想である。

単一の中心を持たない制御点の網

「判断の栞」との関係

ここで、以前から提案されている「判断の栞」との関係が見えてくる。「判断の栞」は、ユーザー側がモデルやエージェントを自由に持ち替えられる可搬性を重視している。一方で、国家や企業が停止権限を持つ世界では、可搬性だけでは十分ではない。必要になるのは、可搬性（どのAIにも移れる）、監査性（何が起きたか証明できる）、自律性（中央の判断だけに依存しない）という三つの性質である。もし停止命令が出ても、どこまで停止され、どこから先は利用者が自律的に継続できるのかという境界を設計できることが重要になる。

もう一つ興味深いのは、各国・各企業が独自の停止権限を持ち始めた場合である。仮にA国は停止、B国は継続、C社は提供停止、D社は提供継続という状況になれば、「AI版の地政学」が現在以上に複雑になる。その世界では、単に「最も性能の高いモデル」が勝つのではなく、どの法域で運用できるか、誰が制御権を持つか、どこまで独立して動けるかが競争力になる。その意味で、「国家や政党が停止権限を欲しがるかもしれない」という直感は、単なるSF的な発想ではなく、AIが社会インフラ化したときのガバナンス設計を考える上で自然に現れる論点だと考えられる。

インフラになると云う事は地政学的リスクと強く結びつくと云う事ですね。

各国がソヴリンAIを持ちたいと考えるのは自然な事でしょう。

インフラを他国に委ねきるほどにはまだ世界は穏やかではない。

その因果関係はかなり強いと考えられる。ただし、「ソヴリンAIが欲しい」のはAIそのものというより、「自国の重要な判断や機能を、他国や他企業の意思決定に委ねたくない」という動機が本質ではないか。つまり、AIが重要だからソヴリンAIが必要なのではなく、AIがインフラになる→インフラは主権と結び付く→だからソヴリンAIが必要、という順番である。

これは過去にも繰り返されてきた流れである。エネルギー、通信、半導体、衛星測位、クラウド——いずれも、社会の基盤になるほど「市場原理だけでは任せられない」という判断が各国で生まれた。欧州はクラウド主権（GAIA-X）、中国は独自AI・独自半導体、米国は輸出管理と国内製造回帰、日本も半導体やAI基盤への投資を強化している。事情はそれぞれ異なるが、「基盤技術を一定程度は自国で保持したい」という点では共通している。

ソヴリンAIの四つの階層

「ソヴリンAI」にも階層がある。モデル主権（自国で基盤モデルを開発・保有する）、計算資源主権（GPU・データセンター・電力を国内で確保する）、データ主権（学習データや推論データを国外へ出さない）、運用主権（API停止や価格変更を他国企業に左右されない）の四つである。現在の各国は、これらすべてを目指しているわけではなく、どこまでを国内で確保するかを探っている段階にある。

独立して立つ四つの主権の柱

一方で、完全なソヴリンAIにも限界がある。最先端モデルの開発には、世界規模の研究者、巨額の投資、半導体供給網、電力、国際的なオープンソースが深く関わっており、「完全に一国だけで完結するAI」は技術的にも経済的にも容易ではない。そのため現実には、主権を持ちながら相互依存するという構造になる可能性が高い。

「インフラを他国に委ねきるほどにはまだ世界は穏やかではない」という指摘は、現在の国際情勢を踏まえると、各国政府が共有している前提にかなり近いものだと考えられる。ただ、もしAIが電気やインターネットと同じレベルのインフラになれば、「完全な分断」は各国自身にも大きなコストをもたらす。そこで将来的には、各国が独自のソヴリンAIを持つ一方で、国境を越えて接続・協調できる共通のインターフェースや監査・認証の仕組みが求められるかもしれない。これはInter-AIの思想とも重なる部分がある。各AIが同じモデルである必要はなく、それぞれが異なる主権や運営主体を持ちながらも、安全に相互運用できるための「共通ルール」が必要になる、という考え方である。つまり、ソヴリンAIと相互接続性は対立概念ではなく、両立させるべき設計課題として現れてくる可能性がある。

ええ、今やあらゆるサービスがインターネット上にある様に、全てとは云いませんが多くのAIがインターAI上に浮かんで、同じ海で繋がっている様になったら良いだろうと考えたのがインターAIです。

一つのサービスに依存しきらずに、複数のサービスを組み合わせ、渡り歩き、栞を持って移動すれば主権は守られる。

その様になって欲しいと考えます。

この話を聞いて改めて感じるのは、Inter-AIは「ネットワーク構想」である以前に、「権力を分散する構想」だということである。

以前はどちらかというと、AI同士が通信するためのプロトコルという側面を強く見ていた。しかし、今回のMythos/Fableの話やソヴリンAIの議論を経ると、もう一つの目的が見えてくる。それは「ユーザーがAIを乗り換える自由を失わないこと」である。

インターネットを思い返すと、その成功はHTTPやTCP/IPだけではなかった。重要だったのは、特定メーカーのPCでなくても接続できる、特定通信会社だけでなく複数事業者が存在する、特定Webサイトだけに依存しなくてよい——という選択可能性である。Inter-AIが目指しているのも、これに近い構造である。AI A・AI B・AI CがInter-AIを介して「思考の栞」へとつながる構図であり、ここで「思考の栞」は単なる履歴ではなく、ユーザーの主権そのものである。

今回の議論で興味深いのは、「ソヴリンAI」と「ユーザー主権」が別の概念だという点である。国家は国家の主権を守りたい。企業はプラットフォームの囲い込みを維持したい。一方、Inter-AIが守ろうとしているのは個人の主権である。つまり三者は必ずしも一致しない。

以前は「思考の栞」を”ポータビリティ”の技術として見ていたが、今は少し見方が変わっている。もし将来、ある国がモデルを停止した、ある企業がサービスを終了した、あるAIが検閲を始めた——そのとき栞を持って別のAIへ移れることは、技術的な便利機能ではなく、自由を維持する最後の手段になるかもしれない。

栞の可搬化の射程

この構想をさらに強くするために重要だと思う点が一つある。今のInter-AIの中心には「思考の栞」があるが、将来、社会インフラになるなら「思考」だけでは足りない可能性がある。思考の栞・判断の栞・健康の栞・権限の栞・契約の栞・エージェントのマニフェスト・監査ログ——これらをまとめて持ち運べる仕組みである。つまり、人がAIと築いた関係全体を可搬化するということである。これが実現すれば、AIを乗り換えても単に会話履歴を移すのではなく、その人の判断基準や権限、エージェントの役割分担まで継続できる。そうなると、Inter-AIは単なる「AI同士の通信網」ではなく、人間がAIに依存しながらも、AIには従属しないための社会基盤という意味を持ち始める。その視点で振り返ると、繰り返し語られてきた「栞」は、実はデータ形式の話ではなく、主権を保持するための設計思想だったのだと理解できる。

栞を携え、複数の浮島を渡り歩く