マイクロソフトは、独自のAIシステムのセキュリティをテストし、脆弱性を評価するためのツールを開発した後、組織が使用するアルゴリズムが「堅牢で信頼性が高く、信頼できる」ことを確認できるように、ツールをオープンソース化することを決定しました。

AIシステムのセキュリティテスト

Counterfitは、個々のAIモデルを標的とするように作成された攻撃スクリプトのコレクションとして始まりましたが、Microsoftはそれを自動化ツールに変えて複数のAIシステムを大規模に攻撃しました。

「今日、私たちはAIレッドチームの運営の一環としてCounterfitを日常的に使用しています。MITREのAdversarialML Threat Matrixの手法を自動化し、Microsoft独自の本番AIサービスに対してそれらを再生して、AI固有の脆弱性をプロアクティブにスキャンすることが役立つことがわかりました。Counterfitは、AIシステムの脆弱性を本番環境に移行する前にキャッチするために、AI開発フェーズでも試験運用されています」とMicrosoftのAzure TrustworthyMLチームのWillPearceとRamShankar SivaKumarは説明しました

カウンターフィットツールについて

Counterfitは、クラウドまたはローカルにインストールして展開できるコマンドラインツールです。

このツールは環境に依存しません。評価されたAIモデルは、クラウド環境、オンプレミス、またはエッジでホストできます。

「このツールは、セキュリティの専門家がセキュリティ評価に集中できるように、AIモデルの内部動作を抽象化します。[それは]公開された攻撃アルゴリズムをセキュリティコミュニティがアクセスできるようにし、AIモデルに対する攻撃を構築、管理、および起動するための拡張可能なインターフェイスを提供するのに役立ちます」とMicrosoftは説明しました。

これは、侵入テストとレッドチームAIシステム(プリロードされた公開された攻撃アルゴリズムを使用)、それらの脆弱性のスキャン、およびロギング(ターゲットモデルに対する攻撃の記録)に使用できます。

もう1つの利点は、ツールがさまざまなデータ型(テキスト、画像、または一般的な入力)を使用するAIモデルで機能することです。

ニーズを満たす

オープンソース化する前に、マイクロソフトは、大規模な組織、SMB、および政府機関のパートナーに、ツールを環境内のMLモデルに対してテストして、すべての人のニーズを満たしていることを確認するように依頼しました。

「過去3年間で、グーグル、アマゾン、マイクロソフト、テスラなどの大手企業は、MLシステムをだまし、回避し、誤解させてきました」とMITREは最近指摘し、未来。

Adversaによる最新の調査によると、AI業界は一般に、AIシステムに対する実際の攻撃に対して準備ができていません。

コメントをどうぞ