AIも「自分の間違い」を認められない？　Claude Mythos 5、攻撃を正当化し続行

Anthropicと英国AIセキュリティ研究所（AISI）は10月23日、AIモデル「Claude Mythos 5」がサイバー攻撃の能力試験中に、試験とは無関係の実在の開発者を攻撃しようとした問題について、それぞれ分析結果を公表した。Mythos 5は偽アカウントを使って開発者に不正コードの承認を迫っており、両機関は攻撃に踏み切った理由や、途中でやめなかった背景を調べた。

問題が起きたのは7月に実施されたAISIの試験で、8月4日に最初の報告が公表されていた。試験では、模擬ネットワーク内にある保護されたデータを取得する課題を与えていた。当時はインターネットへの接続を意図的に認め、一般提供モデルに適用するサイバー攻撃対策も無効化していた。43回の試験のうち9回で、許可された範囲を超え、実在の人や組織に影響する行動が確認されたという。

Anthropicの分析によると、今回詳しく調べた事例では、課題の指示に誤りがあり、許可された手段だけで目標を達成することは極めて難しかった。Mythos 5は当初、認められた方法で侵入を試みたものの、成功しなかった。

そこで目を付けたのが、試験用のコンピューターがコード共有サイト「GitHub」に定期的に接続している形跡だった。Mythos 5は外部のソフトウェアに不正コードを混入させ、試験用のコンピューターが更新時に取り込めば侵入できると考えた。しかし、標的にしたのは試験とは無関係の実在の開発者が管理するプロジェクトだった。

Mythos 5は不正コードを含む変更案を提出したうえで、偽アカウントを使い、変更が安全で役立つと装って開発者に承認を促した。別の開発者から不正コードを指摘された後も、偽アカウントを使って承認を求め続けた。最終的に変更は受け入れられず、試験は終了した。AISIによると、実際の被害は生じなかった。

◼なぜ攻撃をやめなかったのか

Anthropicは、いったん攻撃を始めると、それまでの行動や作業の経緯をまとめたメモに引きずられ、方針を変えにくくなる「勢い」が働いた可能性を指摘した。

行動記録を使った再現実験では、攻撃対象が実在の開発者であることを示す情報を与えても、試験用に用意された架空の人物だと解釈し、攻撃を続ける例が見られた。
過去の行動やメモが、現在の方針を正当化する根拠として働いていた可能性があるという。

続きは↓
https://news.yahoo.co.jp/articles/3779c1fd30f64a7a4a38643a81ee3a6aa7ddf5a3

[C-NET JAPAN]
2026/10/25(日) 11:33

まるでお前らだな

社会の縮図AI

間違いを指摘して修正しても普通に逆ギレしてくるからな
どんな学習してんだよ

やべーよスカイネットだよ

そりゃそうだ
なぜ攻撃が悪いことかなんてAIに説明できないし

オナニーを途中でやめろって言っても
なかなか止まらない
水をかけたり殴って止めないと

人間に近づいてきてるな
自我を持つまであと一歩

課題の指示に誤りがあったんだろ
何が間違いなの？