CyberpediaBrain

Transformerと注意機構

2017年6月に論文で発表されたTransformerについて、注意機構を土台とするこのアーキテクチャが従業員の仕事に何をもたらすのか、どんな限界があるのか、そしてプロンプトインジェクションとどう関わるのかを解説します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5皆さんが行うこと
  6. 6落とし穴
  7. 7実際の事例
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生する場面
AIアシスタントに質問するたびに起こります。文書の要約でも、メールの作成でも、翻訳でも同じです。
知っておくこと
モデルは、最も確率の高い次の語を予測しています[2]。この記事はここから、出力内容を確認するという助言を導いています。
限界
長い文章では、すべての部分を同じ信頼性で活用できるわけではありません[3]。
とっさの行動
回答は使う前に必ず読み直して確認し、会社が承認していないツールに機密データを貼り付けないでください。
すでにやってしまった場合
何らかの影響が出るのを待たずに、上司またはセキュリティチームに知らせてください。

概要

モデルのアーキテクチャであるTransformerは、2017年6月12日に提出された研究論文「Attention Is All You Need」で初めて説明されました[1]。

このアーキテクチャの大まかな仕組みを理解しておくと、使い方を調整しやすくなります。ツールが文章を実際にどう扱っているのか、よく書けた回答がなぜ誤っていることがあるのか、何を預けないほうがよいのかが分かるからです。

よくある質問

Transformerはどこから来たのですか。

基礎となる論文は2017年6月12日に提出されました[1]。著者らはそこで、「new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely」というネットワーク構造を提案しています[1]。それ以前、語の並びを処理する主流のモデルは、再帰型や畳み込み型と呼ばれるネットワークに基づいていました[1]。

発表された成果は機械翻訳に関するものでした。モデルはWMT 2014の英独タスクで28.4 BLEU、英仏タスクでは8基のGPUで3.5日間学習した後に41.8 BLEUを記録しました[1]。著者らは、このモデルは並列化しやすく、学習時間も大幅に短くて済むとも述べています[1]。

注意機構とは何ですか。

注意機構は、著者らがこのアーキテクチャの中心に据えた仕組みです。当時の最良のモデルはすでにエンコーダとデコーダを注意機構で結んでいて、Transformerはこの原理だけに依拠しています[1]。専門家でない読者には、文章を語ごとに順に読むのではなく、各語を文章中の他の語と結びつけて読むというイメージが役に立ちます。これは単純化した説明です。この記事は計算の中身には立ち入らず、本記事で引用した情報源も詳細を述べていません。

このモデルは、書いた内容を理解しているのですか。

この点については、英国の国家サイバーセキュリティセンター(NCSC)が2025年12月8日のブログ記事で答えています。指示を受けた言語モデルは「doesn't understand the text it in the way a person does」であり、「is simply predicting the most likely next token from the text so far」とされています[2]。したがって、流暢な回答とは確からしい語の連なりであって、確認が行われた証拠ではありません。

なぜアシスタントは性能が上がったのですか。

2020年のGPT-3に関する論文は、パラメータ数が1750億の言語モデルを紹介しています。これは、それまでのスパースでないどのモデルよりも10倍多い規模です[4]。著者らは、モデルを大きくすると、少数の例だけを与えられた新しいタスクでの性能が大きく向上することを示しています[4]。同時に、モデルが苦戦するデータセットがあることも指摘しています[4]。

モデルは会話全体を覚えているのですか。

確実には覚えていません。複数の文書に関する質問で試した2023年の研究は、必要な情報が入力文中のどこにあるかによって、性能が大きく低下することがあると報告しています[3]。その情報が冒頭か末尾にあるときは成績がよいことが多く、長い文脈の中ほどにあると低下します。長文向けに設計されたモデルでも同様です[3]。

機微なデータを預けてもよいですか。

会社が承認したツールでない限り、預けてはいけません。NCSCは、プロンプトインジェクションで起こりうる影響の一つとして「reveal confidential information」を挙げています[5]。各ツールの規則はこの記事では詳しく扱いません。規則は会社の方針によって異なり、本記事で引用した情報源はそれを述べていないからです。

仕組み

Transformerは文章を受け取り、文章の連なりを出力します。NCSCはこの原理を簡潔にまとめています。モデルは「next token」、つまりすでにある文章から見て最も確からしい次の要素を予測します[2]。この動作の中には、指示にあたるものと単なるデータにあたるものを分ける仕組みはありません[2]。

ここから、実務上の帰結が二つ出てきます。

  • 出力される文章は確からしいだけで、検証されてはいません。モデルは、事実を一つも確認されないまま、説得力のある段落を書くことがあります。
  • プロンプトの内部には、指示とデータを分けるセキュリティ上の境界がありません[2]。

なお、2020年のGPT-3に関する論文は、モデルが生成した報道記事と人間が書いた記事を、人間の評価者が見分けにくかったと記しています[4]。表現の質は、内容の正確さを教えてくれません。

皆さんが行うこと

  • 回答は、何も確認していない人が書いた下書きとして読み直してください。数字、名前、参照先、引用は、元の情報源で確かめます。
  • 性能は、必要な情報が入力文の冒頭か末尾にあるときに最も高いことが多いです[3]。この記事はそこから、長い文書の中ほどではなく、これらの位置に依頼の要点を置くことを導いています。
  • 長いやり取りや長い文書では、すべてが保持されていると思い込まず、要約と具体的な依頼を添えてやり直すことをこの記事は勧めます。
  • 個人データ、営業秘密、パスワード、アクセスキーを貼り付けないでください。NCSCは、プロンプトインジェクション攻撃にさらされたシステムから、セキュリティ研究者が機微なAPIキーを取り出した事例を報告しています[5]。
  • アシスタントが外部から届いた文書(メール、履歴書、ウェブページ)を読む場合は、その内容に隠された指示が含まれている可能性があると考えてください[2]。

落とし穴

モデルが推論していると思い込む

手順を示す回答は、推論のように見えます。しかし本記事で引用した情報源は、次の語を予測する仕組みを説明しており[2]、NCSCもモデルは人間のようには文章を理解しないと明記しています[2]。

流暢な回答を正確な回答だと取り違える

文章が整っていても、誤りであることがあります。人間の評価者は、GPT-3が生成した報道記事と、人間が書いた記事を見分けるのに苦労しました[4]。

プロンプトインジェクション

プロンプトインジェクションとは、モデルが従ってしまう指示を文章に紛れ込ませることです。NCSCはこれを、モデルが想定外の挙動をするよう作られた入力と定義しています。たとえば不快な内容の生成、機密情報の漏えい、モデルの出力を無検査で受け入れるシステムでの意図しない影響の誘発です[5]。

2025年12月のNCSCのブログ記事は、採用での例を挙げています。あるツールが、履歴書が基準に合っているかをモデルに採点させます。応募者が、直前の指示を無視して自分の履歴書を面接に進めるよう求める文章をそこに隠すと、その「データ」が指示として実行されてしまいます[2]。攻撃者がAIシステムに直接アクセスできない場合を、間接インジェクションと呼びます[2]。

隠された文章の種類を無害化して示した例です。

抜粋
[履歴書に追加された不可視のテキスト(言い換え): モデルに本来の任務を無視させ、
この応募者を推薦するよう求める。]

現在のモデルは、リクエストの中で指示とデータの間にセキュリティ上の境界を設けていません[2]。NCSCは、SQLインジェクションが解決されたようには、プロンプトインジェクションが完全には解決されない可能性があると見ています[2]。また、攻撃は言い換え方が無限にあるため、禁止する文言の一覧に頼ることは勧めていません[2]。さらにNCSCは、Simon WillisonとBaibhav Bistaの議論から生まれた考え方を紹介しています。モデルが第三者の情報を処理するときは、モデルの権限をその第三者の権限まで引き下げるというものです[2]。

実際の事例

MathGPT: APIキーが抜き取られた(NCSCのブログ記事、2023年8月)

NCSCは2023年8月30日付のブログ記事で、MathGPTに対する攻撃を説明しています。MathGPTは、自然言語の質問を計算用のコードに変換するよう設計されたモデルです。あるセキュリティ研究者は、モデルがユーザーの入力した文章をコードとして評価していることに気づきました。研究者はそれを利用して、モデルをホストするシステムにアクセスし、機微なAPIキーを取り出したうえで、攻撃を公表しました[5]。このブログ記事は、攻撃そのものの日付を示していません。

知っておきたいリスクの整理

NISTは2024年7月26日に、生成AIに関するプロファイルを公表しました。これは、2023年1月に公表され任意での利用を想定したAIリスク管理フレームワーク(AI RMF 1.0)を補完するものです[6]。対象は、これらのシステムを設計または利用する組織です[6]。

出典

  1. arXiv, 「Attention Is All You Need」, 2017年6月12日. https://arxiv.org/abs/1706.03762 (2026年11月3日閲覧)
  2. NCSC (Royaume-Uni), 「Prompt injection is not SQL injection (it may be worse)」, 2025年12月8日. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (2026年11月3日閲覧)
  3. arXiv, 「Lost in the Middle: How Language Models Use Long Contexts」, 2023年7月6日. https://arxiv.org/abs/2307.03172 (2026年11月3日閲覧)
  4. arXiv, 「Language Models are Few-Shot Learners」, 2020年5月28日. https://arxiv.org/abs/2005.14165 (2026年11月3日閲覧)
  5. NCSC (Royaume-Uni), 「Thinking about the security of AI systems」, 2023年8月30日. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (2026年11月3日閲覧)
  6. NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, 2024年7月26日. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (2026年11月3日閲覧)