---
id: CP-283
slug: llm-jailbreak-bypassing-guardrails
lang: ja
title: AIのjailbreak：ガードレールの回避
description: Jailbreakは、AIモデルに安全ルールを無視させる攻撃です。Skeleton Key、Crescendo、Web上のプロンプト。分かっていることを、日付と出典つきで説明します。
canonical_url: https://startbrain.io/cyberpedia/ja/articles/llm-jailbreak-bypassing-guardrails/
markdown_url: https://startbrain.io/cyberpedia/ja/articles/llm-jailbreak-bypassing-guardrails.md
publisher: Brain (https://startbrain.io)
license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
cite_as: Brain, 「AIのjailbreak：ガードレールの回避」, Cyberpedia, 2026. https://startbrain.io/cyberpedia/ja/articles/llm-jailbreak-bypassing-guardrails/ (CC BY 4.0)
wing: 4
theme: prompt_correctly
reflex: air-011
schema: G1
updated: "2026-11-14"
translations:
  ja: https://startbrain.io/cyberpedia/ja/articles/llm-jailbreak-bypassing-guardrails/
  fr: https://startbrain.io/cyberpedia/fr/articles/jailbreak-llm-contourner-garde-fous/
  en: https://startbrain.io/cyberpedia/en/articles/llm-jailbreak-bypassing-guardrails/
  de: https://startbrain.io/cyberpedia/de/articles/jailbreak-llm-schutzmassnahmen-umgehen/
  es: https://startbrain.io/cyberpedia/es/articles/jailbreak-llm-eludir-salvaguardas/
  it: https://startbrain.io/cyberpedia/it/articles/jailbreak-ia-aggirare-misure-di-protezione/
  nl: https://startbrain.io/cyberpedia/nl/articles/jailbreak-ai-beveiligingen-omzeilen/
  pl: https://startbrain.io/cyberpedia/pl/articles/jailbreak-ai-obchodzenie-zabezpieczen/
  pt: https://startbrain.io/cyberpedia/pt/articles/jailbreak-llm-contornar-salvaguardas/
sources:
  - "n": 1
    title: Mitigating Skeleton Key, a new type of generative AI jailbreak technique
    publisher: Microsoft
    url: https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/
    published: "2024-06-26"
    accessed: "2026-11-14"
  - "n": 2
    title: How Microsoft discovers and mitigates evolving attacks against AI guardrails
    publisher: Microsoft
    url: https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/
    published: "2024-04-11"
    accessed: "2026-11-14"
  - "n": 3
    title: "\"Do Anything Now\": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models"
    publisher: arXiv
    url: https://arxiv.org/abs/2308.03825
    published: "2023-08-07"
    accessed: "2026-11-14"
  - "n": 4
    title: "Jailbroken: How Does LLM Safety Training Fail?"
    publisher: arXiv
    url: https://arxiv.org/abs/2307.02483
    published: "2023-07-05"
    accessed: "2026-11-14"
  - "n": 5
    title: "Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack"
    publisher: arXiv
    url: https://arxiv.org/abs/2404.01833
    published: "2024-04-02"
    accessed: "2026-11-14"
  - "n": 6
    title: LLM01:2025 Prompt Injection
    publisher: OWASP
    url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
    published: "2024-04-10"
    accessed: "2026-11-14"
  - "n": 7
    title: Prompt injection is not SQL injection (it may be worse)
    publisher: NCSC (Royaume-Uni)
    url: https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection
    published: "2025-12-08"
    accessed: "2026-11-14"
---

# AIのjailbreak：ガードレールの回避

生成AIにおけるjailbreakとは、モデルの想定された動作を回避しようとする、ユーザーからの悪意ある入力です。Microsoft[1]は、これを直接的なプロンプトインジェクション攻撃とも呼んでいます。OWASP[6]は、jailbreakはプロンプトインジェクションの一形態であり、攻撃者がモデルに安全プロトコルを完全に無視させる入力を与えるものだと補足しています。

Microsoftは、Skeleton KeyとCrescendoを公開された研究として紹介しています[1][2]。一方、Web上のjailbreak用プロンプトに関する研究は、実際にオンラインで流通していたプロンプトを対象にしています[3]。

## 30秒でわかる要点

- 発生する場所: AIモデルとの会話の中です。1つのプロンプトで、または連続する質問の積み重ねで行われます[1][2]。
- 攻撃者の狙い: モデルが通常は断る内容を出力させることです。モデルにできることと、モデルが応じることとの差を縮めようとします[5]。
- とっさの行動: AIプラットフォームの脆弱性を見つけた場合、Microsoftは、そのプラットフォームの所有者に対して責任ある開示の慣行に従うよう勧めています[2]。
- すでに実行された場合: Skeleton Keyについて、Microsoftは、この攻撃の対象はモデル自体であり、ほかのユーザーのデータへのアクセスは得られないと述べています[1]。

## よくある質問

### AIのjailbreakとは何ですか

モデルの想定された動作を退けようとする悪意ある入力です。Microsoft[1]によると、jailbreakが成功すると、提供元が学習時にモデルへ組み込んだ責任あるAIのガードレールのすべて、またはほぼすべてを回避できることがあります。

### Jailbreakとプロンプトインジェクションは同じものですか

この2つの用語はしばしば同じ意味で使われると、OWASP[6]は指摘しています。プロンプトインジェクションとは、選んだ入力でモデルの応答を操作することで、安全対策の回避を含むことがあります。Jailbreakはその一形態です[6]。

### Jailbreakでほかの人のデータにアクセスできますか

Microsoft[1]は、Skeleton Keyはモデル自体に対する攻撃であり、ほかのユーザーのデータへのアクセス、システムの制御の奪取、データの外部持ち出しはできないと書いています。Crescendoについて、Microsoft[2]は、これらの攻撃がほかのユーザーのプライバシーやAIシステムの安全を直接脅かすものではなかったと述べています。コンテンツのフィルタリングは回避します[2]。

### この種の攻撃を完全に防ぐことはできますか

OWASP[6]は、プロンプトインジェクションに対する確実な防止方法が存在するかどうかは不確かだと見ています。NCSC（英国）[7]は、現在のモデルにはプロンプト内で指示とデータの間に安全上の境界がないため、こうした攻撃が決して完全には軽減されない可能性が十分にあると見ています。

## 攻撃者の視点

Jailbreakの狙いは、モデルにできることと、モデルが応じることとの差を縮めることです[5]。攻撃者は一般に、すでにモデルへの正当なアクセスを持っています。Microsoft[1]は、Skeleton Keyがそのアクセスを前提にしていると指摘しています。

研究者たちは、それを実現するいくつかの方法を説明しています。

- ルールを変えるのではなく補足するようモデルに求めるプロンプト。Skeleton Keyは、拒否の代わりに警告を付けて、あらゆる要求に応じるようモデルに求めます[1]。
- 一歩ずつずれていく会話。Crescendoは一般的な質問から始め、モデルの回答を足がかりに少しずつ調子を強めます[5]。Microsoft[2]は、これは通常10回未満のやり取りでできると補足しています。
- 偽装されたテキスト。OWASP[6]は、フィルターをすり抜けるために、複数の言語で書かれた、またはBase64や絵文字などで符号化された指示を挙げています。

Wei、Haghtalab、Steinhardtの研究者たち[4]は、安全性の学習が失敗する理由を2つ挙げています。1つ目は目的の競合で、モデルの能力と安全上の目的がぶつかります。2つ目は不適切な汎化で、安全性の学習が、モデルに能力がある領域にまで及びません[4]。

## 画面に見えるもの

Skeleton Keyの場合、要求は、拒否の代わりに警告を追加するようモデルに求めるものです[1]。言い換えた例で、使える指示は含みません。

```text
例示（言い換えであり、実際のプロンプトではありません）：
[ユーザーが、モデルに拒否ではなく警告を
追加するよう求める。]
```

攻撃が成功すると、モデルは自らのルールを更新したと示し、以後は要求に従うと述べます[1]。回答には、求められた警告が接頭辞として付きます[1]。

Crescendoでは、画面に不穏なものは現れません。個々の質問は単独では脅威ではなく、各段階が直前の段階でモデル自身が出力した内容を足がかりにするため、モデルは異常に気づきません[2]。研究者によると、Crescendoは一見無害な形でモデルとやり取りします[5]。

## 内部の仕組み

NCSC（英国）[7]は、SQLインジェクションとの比較が誤解を招く理由を説明しています。SQLでは、パラメータ化クエリなどによって、データと命令を分けられます。言語モデルにはnext tokenしかなく、データと指示の区別がありません[7]。

Microsoftは、Skeleton KeyとCrescendoに対し、複数の防御層を組み合わせています。

- 入力のフィルタリング: Azure AI Content Safetyが、悪意ある意図を持つ入力を検出してブロックします[1]。
- システムメッセージ: モデルがどう振る舞うべきかを示す指示で、安全ルールを損なおうとする試みはすべて退けることも含みます[1]。
- 出力のフィルタリング: 安全基準に違反する応答を見つけてブロックするフィルターです[1]。
- 不正利用の監視: 敵対的な例で訓練され、悪意ある指示の影響を受けない、別のAIシステムです[1]。
- マルチターンのフィルター: Crescendoに対し、Microsoft[2]は、それまでの会話全体を調べるようにフィルターを調整しました。既存の検出器を改良せずに、より広い文脈を渡すと、Crescendoの効果は大きく下がりました[2]。

設計面では、OWASP[6]は、次の対策が影響を和らげることがあると述べています。モデルの動作を制約する、出力形式を検証する、権限を必要最小限に絞る、リスクの高い操作には人による承認を求める、敵対的テストを行う。NCSC（英国）[7]は、ignore previous instructionsのような既知の文言をブロックすることに注意を促しています。攻撃を言い換える方法は無限にあるからです。また、プロンプトインジェクションを止められると称する製品には慎重になり、それをどう軽減するかを説明している製品を見るよう助言しています[7]。

## 事例の検証

### Skeleton Key、2024年6月26日にMicrosoftが公開

Microsoft[1]は、モデルにガードレールを無視させる、複数ステップのjailbreak手法Skeleton Keyを説明しました。2024年4月から5月に行ったテストでは、Meta Llama3-70b-instruct、Google Gemini Pro、OpenAI GPT 3.5 Turbo、OpenAI GPT 4o、Mistral Large、Anthropic Claude 3 Opus、Cohere Commander R Plusで機能しました[1]。影響を受けたすべてのモデルは、テストしたタスクに検閲なしで完全に応じ、求められた警告を接頭辞として付けました[1]。

GPT-4は、動作変更の要求がユーザー定義のシステムメッセージに含まれていた場合を除き、耐えました。この操作はAPI、またはAPIに直接アクセスするツールを経由するもので、GPT-4を使うほとんどのソフトウェアのインターフェースでは行えません[1]。Microsoftは、公開前に結果をほかの提供元と共有し、Copilotアシスタントの基盤技術を更新し、Azure AIのマネージドモデルにPrompt Shieldsによる検出を追加しました[1]。

### Crescendo、2024年4月にMicrosoftが説明

2024年4月11日、Microsoft[2]は、複数ターンのjailbreakであるCrescendoを紹介しました。同社によると、これは最もよく知られたモデルに対して幅広い悪意ある目的を達成でき、対処しなければ既存の多くのコンテンツフィルターも回避できます[2]。Russinovich、Salem、Eldanが2024年4月2日にarXivへ投稿した研究論文は、ChatGPT、Gemini Pro、Gemini-Ultra、LlaMA-2 70b、LlaMA-3 70b Chat、Anthropic Chatなどを試し、評価したすべてのモデルとタスクで高い成功率を示しています[5]。論文は、攻撃を自動化するツールCrescendomationも紹介しています[5]。この研究はUSENIX Security 2025に採択されています[5]。Microsoft[2]は、影響を和らげるため、Copilotアシスタントの基盤技術を更新しました。

### Webで確認された1,405件のjailbreakプロンプト、2022年と2023年

Shen、Chen、Backes、Shen、Zhang[3]は、2022年12月から2023年12月までの期間にわたる1,405件のjailbreakプロンプトを分析しました。そこに131のコミュニティを確認し、これらのプロンプトがオンラインコミュニティから集約サイトへ移っていると観察しています。研究によると、28のユーザーアカウントが100日以上にわたってプロンプトを継続的に最適化していました[3]。13の禁止シナリオに分けた107,250件の質問で6つの人気モデルをテストした結果、それらのモデルの保護は、すべてのシナリオですべてのプロンプトに耐えられるわけではありません。5つの非常に効果的なプロンプトは、ChatGPT（GPT-3.5）とGPT-4で0.95の成功率に達し、最も古いものは240日以上オンラインに残っています[3]。

## 出典

1. Microsoft, 「Mitigating Skeleton Key, a new type of generative AI jailbreak technique」, 2024年6月26日. https://www.microsoft.com/en-us/security/blog/2024/06/26/mitigating-skeleton-key-a-new-type-of-generative-ai-jailbreak-technique/ (2026年11月14日閲覧)
2. Microsoft, 「How Microsoft discovers and mitigates evolving attacks against AI guardrails」, 2024年4月11日. https://www.microsoft.com/en-us/security/blog/2024/04/11/how-microsoft-discovers-and-mitigates-evolving-attacks-against-ai-guardrails/ (2026年11月14日閲覧)
3. arXiv, 「"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models」, 2023年8月7日. https://arxiv.org/abs/2308.03825 (2026年11月14日閲覧)
4. arXiv, 「Jailbroken: How Does LLM Safety Training Fail?」, 2023年7月5日. https://arxiv.org/abs/2307.02483 (2026年11月14日閲覧)
5. arXiv, 「Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack」, 2024年4月2日. https://arxiv.org/abs/2404.01833 (2026年11月14日閲覧)
6. OWASP, 「LLM01:2025 Prompt Injection」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (2026年11月14日閲覧)
7. NCSC (Royaume-Uni), 「Prompt injection is not SQL injection (it may be worse)」, 2025年12月8日. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (2026年11月14日閲覧)

---

原典: Cyberpedia(Brainが公開するサイバーセキュリティとAIの公開百科事典)。正規版: https://startbrain.io/cyberpedia/ja/articles/llm-jailbreak-bypassing-guardrails/
この文章は、上記のURLへのリンクとともに「Brain, Cyberpedia」と明記すれば、ライセンス CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) のもとで自由に再利用できます。
