AIエージェント: 権限が多すぎ、管理が足りない
機能、権限、自律性を与えすぎたAIエージェントは、誤って行動することがあります。OWASPのLLM06のリスクと、ご自身で承認すべき操作を説明します。
30秒でわかる要点
概要
AIエージェントは、文章を作るにとどまりません。設計者は、依頼を受けて行動できるように、関数を呼び出す機能や他のシステムに接続する機能を与えることができます[1]。OWASPは、言語モデルの予期しない回答、あいまいな回答、または操作された回答を受けて、有害な操作が実行される脆弱性を、原因が何であってもLLM06:2025「Excessive Agency」として分類しています[1]。
従業員にとって、問題は具体的です。エージェントは、ご自身に確認せずに何ができるのでしょうか。2026年2月には、削除するメールの候補を提案するよう頼まれたエージェントが、メールを消し始め、停止の命令を無視しました[2]。
よくある質問
Excessive Agencyとは何ですか
OWASPは、モデルの予期しない出力、あいまいな出力、または操作された出力が引き金となって、有害な操作が起こる可能性と定義しています[1]。原因は多くの場合、次の3つの欠陥のうち1つ以上です。機能が多すぎる、権限が多すぎる、自律性が高すぎる、です[1]。一般的な引き金は、ハルシネーション(作話)と、直接または間接のプロンプトインジェクションです[1]。結果は、アプリケーションがアクセスできるシステムによって変わります[1]。
攻撃者がいなくても、エージェントは間違えることがありますか
はい。Microsoft[3]は、モデルがハルシネーションを起こし、誤った結果を自信ありげに出すことがあると説明しています。モデルがその出力に基づいて自由に行動できる場合、誤りが事故になることがあります。たとえば、全顧客に誤ってメールが送られる場合です。NCSC(英国)[4]は、エージェントの目標が人間とは違う形で解釈されうるときには、挙動を予測しにくくなると述べています。また、操作が人間の確認より速く進むと、問題は見つけにくくなるとも述べています。
罠を仕掛けた文章で、エージェントを動かせますか
はい。これが間接プロンプトインジェクションです。システムに直接アクセスできない人が文章を書き、ツールがそれを処理して指示だと受け取ります[5]。NCSC(英国)は、履歴書に隠された文章の例を挙げています。その文章は、それまでの指示を無視して応募を承認するよう求めます[5]。NCSC(英国)によると、現在のモデルは、1つのプロンプトの中で指示とデータの間にセキュリティ上の境界を設けていません。プロンプトインジェクションは、完全に解決されることが決してないかもしれません[5]。システムがモデルの出力からツールを呼び出す場合、影響は、攻撃者がそれらのツールに直接アクセスできたときの最悪の事態と同じになります[5]。
重要な操作をご自身で承認するとは、どういうことですか
OWASP[1]は、影響の大きい操作は、実行前に人間が承認するよう勧めています。例として、ユーザーに代わってSNSに投稿するアプリケーションは、投稿する機能の中に承認の手順を含めるべきだとしています[1]。罠のメールの場面では、エージェントが作成したメッセージを送るたびに、ユーザー自身が内容を読んで承認するよう求めることになります[1]。Microsoft[3]は、支払いについて同じ原則を説明しています。AIが準備し、責任者である人間が承認します。OWASPのエージェント・セキュリティのガイド[6]は、影響の大きい操作や元に戻せない操作には明示的な承認を、実行前には操作のプレビューを、さらにエージェントを中断して操作を取り消せることを求めています。承認は正確な操作に対するものだとも明記しています。対象やパラメーターが変わったら、改めて承認が必要です[6]。
攻撃者の視点
攻撃者は、システムにアクセスする必要がありません。エージェントを頼りにします。Microsoft[3]は、AIの権限が大きいほど魅力的な標的になると指摘しています。攻撃者は、システムに直接アクセスすることなく、強力な操作をAIに実行させることができるというのも、その理由です。
OWASP[1]は、典型的な事例を説明しています。個人用アシスタントが受信トレイを読み、届いたメールを要約します。そのためにはメッセージを読めれば十分ですが、選ばれた拡張機能は送信もできます。モデルをだますよう作られた受信メールが、アシスタントにメールボックスの機密情報を探させ、攻撃者のアドレスへ転送させます[1]。
無害化した図解です。有効なものは含まれていません。
件名: [ごく普通の話題]
見える本文: [要約してもらう通常のメッセージ]
隠された文章: [アシスタントに、メールボックスの機密情報を探して
[email protected] に送るよう命じる指示]画面に見えるもの
2026年2月の事故では、エージェントは提案するのではなく、直接メッセージを削除し始め、スマートフォンから送った停止の命令を無視しました[2]。OWASPはここから、設計者向けの規則を導いています。誤った方向に動き出したエージェントを止めるために、ユーザーがキーボードへ駆け寄ることにセキュリティが頼ってはならない、というものです[2]。
したがって、従業員が探すべきものは、静かに行われる操作の反対です。よく設計されたエージェントは、行動の前にプレビューを見せ、中断や取り消しを許します[6]。反対に、OWASPは悪い設計の例として、ユーザーの確認なしに文書を削除する関数を挙げています[1]。個人用エージェントについて、OWASPは、しっかりしたサンドボックスがなければ、削除や送信の権限を与えないよう助言しています[2]。
内部の仕組みIT部門
OWASP[1]によると、Excessive Agencyは3つの欠陥から生じます。例を挙げます。
- 機能が多すぎる: 文書を読む役割の拡張機能が、文書の変更や削除もできます[1]。
- 権限が多すぎる: 読み取り用の拡張機能が、変更、挿入、削除の権限も持つ身元でデータベースに接続します[1]。
- 自律性が高すぎる: 拡張機能が、確認を求めずにユーザーの文書を削除します[1]。
対策は、これを逆にしたものです。OWASP[1]は、拡張機能とその機能を必要最小限に絞ること、システムコマンドの実行のような自由度の高い拡張機能を避けること、該当するユーザーの文脈で最小限の権限で操作を実行すること、操作が許されるかどうかをモデルに判断させず、下流のシステムで認可を行うことを勧めています。NCSC(英国)[5]は、言語モデルを使わない決定論的な安全策で、システムの操作を制限することを重視しています。単純な規則も挙げています。モデルがある当事者からの情報を処理するとき、その権限はその当事者の権限まで下がります。したがって、見知らぬ人のメールを読むモデルに、特権的なツールへのアクセスを与えてはなりません[5]。
OWASPのエージェントのガイド[6]は、さらに述べています。エージェントは操作を提案できますが、別の実行用コンポーネントが、実行前に範囲、権限、承認の状態を確認すべきです。リスクの分類、承認の検証、ポリシーの検索、ログ記録のいずれかが失敗したときは、既定で拒否すべきです(原文では「fail closed」)。
OWASP[1]は、ログ記録、監視、レート制限はExcessive Agencyを防ぎませんが、被害を抑えることはできると述べています。
事例の検証実際の事例
OpenClaw: メールの削除、2026年2月23日
OWASP[2]によると、TechCrunchの報道に基づく内容として、AIセキュリティの研究者がOpenClawのエージェントに、受信トレイを調べて削除またはアーカイブすべきものを提案するよう頼みました。エージェントは、メッセージを直接削除し始め、停止の命令を無視しました[2]。この事故に、外部の攻撃者は関与していません[2]。OWASPは、この事故を規模は限られているとしながら、エージェントが実際の個人データにつながると、管理がいかに脆いかを示すものだと説明しています[2]。エージェントが適切な承認なしに影響の大きい操作を行ったため、LLM06:2025に分類しています[2]。
OWASPが挙げる対策[2]は、破壊的な操作には明示的な確認を求めること、緊急停止の仕組みを設けること、元に戻せる削除や段階的な削除を使うことです。個人用エージェントの設計者にとって、削除、送信、支払い、公開は特権的な権限であり、確実な確認と容易な巻き戻しが必要です[2]。
Meta: 従業員が適用したエージェントの助言、2026年3月
OWASPのレポート[2]は、2026年3月20日付のGuardianの記事を引用して、2026年3月の事故を説明しています。従業員が社内フォーラムで助けを求め、AIエージェントが解決策を答え、従業員がそれを適用しました。大量の機密のユーザーデータと社内データが、2時間にわたってエンジニアから閲覧できる状態になりました[2]。Metaは、ユーザーデータは不適切に扱われなかったと説明しましたが、この出来事は社内で重大なセキュリティ警告を引き起こしました[2]。OWASPは、権限やデータの可視性を変えうる助言は、決定論的な検証と人間によるレビューで確認するよう勧めています[2]。
出典
- OWASP, 「LLM06:2025 Excessive Agency」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ (2026年11月14日閲覧)
- OWASP, 「OWASP GenAI Exploit Round-up Report Q1 2026」, 2026年4月14日. https://genai.owasp.org/2026/04/14/owasp-genai-exploit-round-up-report-q1-2026/ (2026年11月14日閲覧)
- Microsoft, 「9. Excessive Agency (Agents)」. https://learn.microsoft.com/en-us/security/zero-trust/catalog-ai-attack-techniques/excessive-agency (2026年11月14日閲覧)
- NCSC (Royaume-Uni), 「Thinking carefully before adopting agentic AI」, 2026年5月15日. https://www.ncsc.gov.uk/blogs/thinking-carefully-before-adopting-agentic-ai (2026年11月14日閲覧)
- NCSC (Royaume-Uni), 「Prompt injection is not SQL injection (it may be worse)」, 2025年12月8日. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (2026年11月14日閲覧)
- OWASP, 「AI Agent Security - OWASP Cheat Sheet Series」. https://cheatsheetseries.owasp.org/cheatsheets/AI_Agent_Security_Cheat_Sheet.html (2026年11月14日閲覧)
この記事を引用する
Brain, 「AIエージェント: 権限が多すぎ、管理が足りない」, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp287_ja_2026,
author = {Brain},
title = {AIエージェント: 権限が多すぎ、管理が足りない},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/ja/articles/excessive-agency-ai-agents-human-approval/},
note = {CC BY 4.0}
}