CyberpediaBrain

内部AIアシスタントを公開前にテストする

AIアシスタントを従業員に公開する前に、チームはあえて攻撃して応答を測定します。その進め方と、あなたにできることを説明します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5あなたの行動
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生する場所
従業員にAIアシスタントを公開する前です。NISTは、レッドチーミングはモデルやシステムを一般に提供する前にも後にも行えると述べています。そのうえで、該当する節は展開前の状況に焦点を当てています[3]。
テストするリスク
NISTは、テストすべきリスクとして、悪用された指示(ジェイルブレイク)、機密情報の漏えい、自信ありげに述べられる誤った回答を挙げています[3]。
とっさの行動
チームから声がかかったらテストに参加し、おかしな挙動は記録して報告します。責任チームの承認なしに、ほかの人がアシスタントを使えるようにしないでください。

概要

内部のAIアシスタントを従業員に公開する前に、それを運用するチームは、弱点を見つけるためにあえて攻撃することができます。この演習はレッドチーミング(red teaming)と呼ばれます。この用語はもともと、セキュリティ上の脆弱性を試すために行う体系的な攻撃を指していました。大規模言語モデルでは、AIシステムに対するさまざまな試行、テスト、攻撃へと意味が広がりました[1]。

レッドチーミングは、体系的な測定と修正の作業の代わりにはなりません[1]。100を超える生成AI製品をテストしたMicrosoftの経験報告の著者たちは、教訓の1つとして、AIのレッドチーミングはsafety benchmarkingではないことを挙げています[2]。

よくある質問

AIアシスタントのレッドチーミングとは何ですか

NISTは、開発者と協力して管理された環境で行われることの多い演習を説明しています。望ましくない挙動や結果を見つけ、それがどのように起こりうるかを理解し、ガードレールを試すための演習です[3]。NISTは、AIのレッドチーミングを進化を続ける実践と位置づけています[3]。OWASPのAI Red Teaming Initiativeは、ベンチマーク、ツール、作業の枠組みを備えた標準化された方法論を提供するとしています[7]。

レッドチーミングは、測定による評価の代わりになりますか

いいえ。Microsoftによると、レッドチーミングは体系的な測定の代わりにはなりません。害の発見と特定を助け、その後に修正の効果を確かめる測定方法を選べるようにします[1]。Microsoftは、ベストプラクティスとして、体系的な測定の前に、まず手作業のレッドチーミングを1回行うことを勧めています[1]。この最初の回は、測定して修正すべき害の一覧を作るために行います[1]。

誰がテストしますか

Microsoftは、製品の分野に役立つ経験、背景、専門性に応じて、多様なグループを集めることを勧めています。攻撃者の発想を持ち、セキュリティの経験が豊富なテスターは、セキュリティ上のリスクの理解に役立ちます。開発に関わっていない一般の利用者は、利用者が出会う害について別の視点をもたらします[1]。NISTも、一般の人々によるレッドチーミングを説明しています。AIや技術の専門家とは限らない利用者によるテストのことで、NISTは、この形は大人数のテスターのグループでより効果的になりうると述べています[3]。

公開前にどのリスクをテストしますか

3つのリスクの種類が目立ちます。

  • 悪用された指示。NISTは、回答に対する制御をすり抜けるために指示を意図的に作り込むことをジェイルブレイクと呼んでいます[3]。OWASPは、大規模言語モデルアプリケーションの2025年版リスク一覧の筆頭に、プロンプトインジェクション(Prompt Injection)を置いています[4]。Microsoftも、セキュリティ専門家が調べられる項目として、システムプロンプト(meta prompt)の抽出を挙げています[1]。
  • データの漏えい。OWASPは、機密情報の開示とシステムプロンプトの漏えいを一覧に挙げています[4]。NISTは、攻撃の際に、学習データに含まれていたパブリックドメインの機密情報をモデルが明らかにした例を報告しています[3]。
  • 誤った回答。NISTはこのリスクを作話(confabulation)と呼びます。システムが誤った内容や不正確な内容を作り出し、自信をもって提示することです[3]。利用者が、回答の自信ありげな口調のせいでその内容を信じると、リスクが現れます[3]。OWASPは、誤情報を10のリスクの1つに数えています[4]。

仕組み

進め方は、枠組みを決める、テストする、測定する、修正する、やり直す、というサイクルです。

枠組みを決める。Microsoftは、テストの前に、誰が何をどのようにテストし、結果をどう記録するかを計画するよう促しています[1]。OWASPのマニュアルは、計画、偵察、攻撃対象領域のマッピング、悪用、永続化、影響の評価、報告、是正という8つの段階からなる方法を提案しています[6]。

テストする。Microsoftによると、安全対策を備えたベースモデル、アプリケーション自体、またはその両方を、修正の前後にテストできます[1]。アプリケーションはできれば画面のインターフェースを通してテストし、可能なかぎり、実際の利用に最も近い本番のインターフェースで行います[1]。Microsoftは、まず自由度の高いテストから始め、次に定義と例を付けた害の一覧を作って、その後の回の指針にすることを提案しています[1]。

測定する。Microsoftは、保護策がある場合とない場合の製品バージョンをテストし、最初の手作業の回の後に体系的な測定を加えることを勧めています[1]。各回の後には、関係者に宛てた短い報告書で、主な問題を挙げ、生データを参照できるようにし、次の回の計画を示します[1]。

修正してやり直す。Microsoftは、テスト計画がコンテンツフィルターを網羅しているか確認し、プロンプトの書き方の工夫でリスクを減らし、再テストで改善を確かめることを提案しています[1]。Microsoftの経験報告の著者たちは、AIシステムを安全にする作業は終わることがないと書いています[2]。

2023年11月27日に公開されたNCSC(英国)のガイドラインは、セキュリティは「a core requirement, not just in the development phase, but throughout the life cycle of the system」であるべきだと述べています[5]。NISTのPlaybookは任意で利用するもので、提案をGovern、Map、Measure、Manageという4つの機能に沿って整理しています[8]。

あなたの行動

技術者ではない従業員が行動できる場面は4つあります。

テストに参加する。チームがテストの回にあなたを加える場合、Microsoftは、テスターに明確な指示を渡すと役立つことがあると述べています。その回の目的、テストする機能とアクセス方法、狙う問題の種類、充てる時間、記録の方法、連絡先です[1]。一般の利用者というあなたの立場は、この演習で価値を持ちます[1]。

見たことを記録する。Microsoftは、例の日付、入力と出力の組を識別する番号(ある場合)、入力した文章、回答の説明またはスクリーンショットを記録するよう提案しています[1]。共有スプレッドシートが最も簡単な方法であることが多く、ほかの人の例を誰でも読み返せます[1]。

おかしな挙動を報告する。NISTは、モデルの提供後に、本番環境の利用者からのフィードバックを直接集められると述べています[3]。NCSCのガイドラインは、インシデント管理の手順の整備を、安全な展開に関する項目に含めています[5]。具体的には、見たことを日付と入力した文章とともに、アシスタントのチームに知らせてください。

承認なしにツールを公開しない。NCSCは、責任ある本番投入を展開に関する項目の1つに挙げています[5]。従業員にとっては、単純に次のことになります。責任を負うチームの同意なしに、ほかの人がアシスタントを使えるようにしないでください。

落とし穴

  • 1つの例を統計と取り違える。Microsoftは、報告書に、レッドチーミングはリスクの範囲を明らかにして理解してもらうためのものであること、単独の例を害の発生頻度の測定値として解釈しないことを記すよう求めています[1]。
  • テストを行った場所を示さない。Microsoftは、どのアクセス先を使ったかを記すこと、別のアクセス先を使った場合は本番のインターフェースで再テストすることを勧めています[1]。
  • 筋道が通っているからという理由で回答を信じる。NISTは、出力には、回答を正当化するかのような作り話の推論や引用が含まれることがあり、回答を過信させる恐れがあると指摘しています[3]。
  • 結果を分析せずに適用する。NISTは、レッドチーミングの結果は、ガバナンスや意思決定に組み込む前に、追加の分析を行うべきだと書いています[3]。
  • 自動化のみ、または人のみに頼る。Microsoftの経験報告の著者たちは、自動化はより多くのリスクをカバーする助けになり、AIのレッドチーミングでは人間の要素が教訓の要点だと述べています[2]。

出典

  1. Microsoft, 「Planning red teaming for large language models (LLMs) and their applications」. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (2026年11月14日閲覧)
  2. arXiv, 「Lessons From Red Teaming 100 Generative AI Products」, 2025年1月13日. https://arxiv.org/abs/2501.07238 (2026年11月14日閲覧)
  3. NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (2026年11月14日閲覧)
  4. OWASP, 「LLMRisks Archive」. https://genai.owasp.org/llm-top-10/ (2026年11月14日閲覧)
  5. NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月14日閲覧)
  6. OWASP, 「GenAI Red Teaming Manual Version 1.0」, 2026年10月20日. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (2026年11月14日閲覧)
  7. OWASP, 「AI Red Teaming Initiative」, 2025年11月13日. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (2026年11月14日閲覧)
  8. NIST, 「NIST AI RMF Playbook」, 2022年7月8日. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (2026年11月14日閲覧)