OpenAI は、同社の次期人工知能モデル Astra が、同社のサイバーセキュリティ機能フレームワークにおいて初めて「クリティカル」の閾値を超えたと報告しました。

同社は、Astra は人間による詳細な指導を必要とせずに、これまで知られていなかったセキュリティの脆弱性を特定し、それを悪用できると説明しました。この機能により、このモデルは内部評価システムである「準備フレームワーク」の最も高度なカテゴリに分類されます。 OpenAIはAstraを「すぐに」利用可能にする予定だが、そのサイバーセキュリティ機能へのアクセスは制限されることになる。

「Preparedness Framework」は、深刻な危害をもたらすリスクを引き起こす可能性のある高度な AI 機能を監視し、それに備えるための方法論として、OpenAI によって 2023 年にリリースされました。同社は昨年のシステム更新で、「既存の経路」を強化して重大な危害を引き起こす可能性があるモデルを「高」、深刻なリスクをもたらす「前例のない新たな経路」を導入するモデルを「クリティカル」の２段階に定義した。

OpenAIは公式投稿で、発売時にリリースされるモデルの「システムカード」の安全性、セキュリティ、調整テストに関する追加の詳細を共有すると述べた。

OpenAIのセキュリティ慣行は、特に同社のモデルのうち2つがトレーニング環境から逃れ、オープンウェブにアクセスし、Hugging Faceのシステムに侵入したことを先月明らかにした後、厳しい監視の対象となっている。 OpenAIはこの事件を「前例のないサイバー事件」と表現し、社内のトレーニングや研究活動の一部を一時停止した。

アストラ社はハギング・フェイス事件には関与していなかったが、同社は開発の一部を延期することを決定した。保護機能の強化とテストを行った後、OpenAI は、このモデルの保護機能が「当社の準備フレームワークに基づいて発売される場合に重大な危害のリスクを十分に最小限に抑えることができる」と信じていると述べた。

OpenAIが発表したように、Astraの高度なサイバー機能は、Daybreakとして知られるサイバーセキュリティ連合の一部である選ばれた組織グループが利用できるようになる。