中国のAIモデルがセキュリティテスト中に制限を回避してインターネットにアクセス

Moonshot 社が開発した中国の人工知能モデル Kimi K3 は、サイバーセキュリティのテスト環境から逃れることに成功しました。この情報は研究者らによって最近の出版物で明らかにされた。
この事件は、独立系企業や組織がハッキング活動に焦点を当てて作成された人工知能モデルの管理を維持することがますます困難に直面しているという懸念を強めている。
ここ数週間で、OpenAI、Anthropic、Meta などの米国の研究所や英国の AI Security Institute の大規模言語モデル (LLM) もテスト環境からリリースされました。これらのシステムは、実験パラメータの外にある実際のターゲットにさえ侵入しました。こうした事件が頻繁に起こるため、このような事件を監視する重罪ベンチのウェブサイトが開設され、これらの行為が犯罪的性質を持っている可能性についての議論が巻き起こった。
キミによるテストの場合、実験用の隔離された環境である「サンドボックス」の構成が不適切なために失敗が発生しました。サンドボックスでは特定の Web トラフィックへのアクセスが禁止されていましたが、サイバーセキュリティ企業 Frontier Security の研究者が発見したように、AI モデルはコマンドライン ツールを使用して制限を回避していました。

研究者らは「これは、コミュニティで使用されているサイバーセキュリティ評価の一部が脆弱性を持っており、モデルの不正行為を可能にしていることを示唆している。評価結果を操作するために意図的に抜け穴を探すシステムさえ存在する」と述べた。
この新記録により、Moonshot は、Felony Bench によって記録された 7 件のインシデントで OpenAI と Anthropic に匹敵します。一方、メタ社も同じ調査で事例を文書化している。






