CyberpediaBrain

シャドーAI:一般向けチャットボットに社内データを貼り付ける

一般向けチャットボットに業務文書を貼り付けることは、第三者に預けることと同じです。NCSC、ANSSI、CNILの見解と、取るべき行動。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5あなたの行動
  6. 6落とし穴
  7. 7実際の事例
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生する場所
一般に公開されているチャットボットの中です。会社が承認したツールの外で、要約、翻訳、修正、コード作成のために使われます。
リスク
貼り付けた内容は提供者に見え、提供者はそれを保存し、利用することがあります[1]。会社はデータを管理できなくなります。
とっさの行動
一般向けチャットボットには、機密のものを何も貼り付けないことです[2]。

概要

一般向けのチャットボットはすぐに答えてくれて、見返りも求めません。議事録、ソースコードの一部、顧客リストを貼り付けるだけで、要約、修正、翻訳が手に入ります。この何気ない操作には、画面には映らない影響があります。テキストが会社の外に出て、第三者の手に渡るのです。

シャドーAIとは、従業員が、組織の承認していないAIツールをこのように使うことです。NCSC(英国)は、クエリはモデルを提供する組織に見えると述べています[1]。ANSSI[2]は、こうしたサービスを、機微なデータを送ってはならないものに位置づけています。

よくある質問

チャットボットは入力した内容を学習し、ほかの人に繰り返しますか

NCSC(英国)[1]は2点を区別しています。記事の日付(2023年3月)の時点では、モデルはクエリを自動的に自らの知識に加えることはありません。そのため、情報を入力しても、ほかの利用者のためにモデルへ取り込まれることにはなりません[1]。一方で、クエリはモデルを提供する組織に見え、保存され、ほぼ確実に、いつかサービスやモデルの開発に使われます[1]。したがって、提供者やそのパートナー、委託先がクエリを読める可能性があります[1]。

ESET[3]は、OpenAIが2023年4月末に、ChatGPTで会話履歴を無効にできる機能を導入したと付け加えています。ESETが引用するOpenAIによると、履歴なしで始めた会話は、モデルの学習や改善には使われません[3]。

どのデータを決して外に出してはいけませんか

ANSSI[2]は、機微なデータをChatGPT、Gemini、Copilot、DeepL(テキスト翻訳)、Perplexityのような第三者の生成AIサービスに絶対に送ってはならないと述べています。具体的には、配布制限や機密指定のデータ、国の科学技術的潜在力の保護に関わる研究、個人データ、企業の契約・法務・財務のデータ、パスワードやAPIキーのような情報システムの秘密を挙げています[2]。

OWASP[6]は、これに近い機微な情報の一覧を示しています。個人データ、財務情報、医療記録、企業の機密データ、セキュリティ上の認証情報、法的文書です[6]。

なぜANSSIはこれを、提供者の保管領域への預け入れにたとえるのですか

ANSSI[2]によると、一般に利用できる生成AIサービスにテキスト、画像、文書を送ることは、提供者の所有する保管領域にそれらを置くことと同じだからです。顧客間の分離や、送られたデータの機密性の保護は、必ずしも最新の技術水準にあるとは限らず、提供者への信頼だけに支えられています[2]。過半数のサービスでは、送られたデータは提供者に収集され、モデルの最適化に使われます[2]。

これらのツールを使っても問題ない場面はありますか

CNIL[4]は、条件つきで答えています。機密ではない用途であれば、適切な保証があることを前提に、一般向けのサービスも検討できます。条件は、個人のアドレスで作成したアカウントを避けること、そして必要に応じて、提供者が利用データを再利用できる設定を無効にすることです[4]。顧客や従業員の個人データ、機微なまたは戦略的な文書が関わる場合は、オンサイトでの導入を優先するほうが、おおむね適切で安全だと思われると、CNILは述べています[4]。

仕組み

チャットボットに貼り付けたデータの経路は単純です。テキストは、モデルを提供する組織に送られます。その組織はテキストを保存し、サービスの改良に使うことがあります[1]。従業員は、その後は何も管理できません。ANSSI[2]によると、利用企業はサービスを管理しておらず、入力したデータの機密性が自社のセキュリティ要件を満たすと保証することはできません[2]。

NCSC(英国)[1]は、ほかのリスクも挙げています。オンラインに保存されたクエリは、ハッキングされたり、漏えいしたり、より可能性が高いのは誤って公開されたりすることがあり、ときには利用者を特定できる情報も含まれます[1]。モデルの運営者が、のちに別の組織に買収され、その組織のプライバシーポリシーが、データを入力した時点のものと異なることもあります[1]。さらに、質問の機微さは、質問する人や時期から生じることがあり、同じアカウントで行った複数のクエリを突き合わせると、個々のクエリより多くのことが分かります[1]。

OWASP[6]は、リスクのもう一方の向きを述べています。深く考えずにモデルへ渡したデータが、のちにモデルの回答の中に現れることがあるというものです。OWASPは、利用者がこの危険を理解するよう求めています[6]。

あなたの行動

  • 一般向けチャットボットには、機密のものを何も貼り付けないでください。CNIL[4]は、個人データと企業のデータを例に挙げ、とりわけ営業秘密や職業倫理上の義務に守られたものを挙げています[4]。NCSC(英国)[1]は、公開モデルへのクエリに機微な情報を含めないこと、公開されたら困るようなクエリを送らないことを勧めています[1]。
  • 会社が承認したツールを使ってください。CNIL[5]は、許可される利用と禁止される利用の一覧で利用を枠づけるよう勧めています。たとえば、システムに個人データを提供しないことです[5]。また、こうした利用を社内の方針や憲章で定めるよう、組織に勧めています[4]。ESET[3]も同じことを述べています。従業員がどのような状況でこれらのツールを使えるかを、会社の方針で定める必要があります[3]。
  • ツールが出力したものは、使う前に読み直してください。利用者は出力を批判的に見るべきです。良い慣行は、出力を決してそのまま転載しないことです[4]。
  • ツールへのアクセスにアカウントが必要な場合は、個人のアドレスではなく、用意された業務用のアドレスを使ってください。それは、組織が認めている範囲での話です[4]。

落とし穴

第1の罠は、手軽さにあります。ANSSI[2]は、これらのツールがあまりに使いやすいため、たとえば文章を翻訳するために、業務のデータを預けたくなると指摘しています[2]。

第2の罠は、設定1つで足りると思い込むことです。OWASP[6]によると、返してよいデータの種類をモデルの内部指示に書き加えた制限は、リスクを和らげることがありますが、必ず守られるとは限らず、プロンプトインジェクションなどの方法で回避されることがあります[6]。前に挙げた履歴の無効化は、モデルの学習に関するものです[3]。NCSC(英国)は、クエリがモデルを提供する組織に見えることを、改めて述べています[1]。

第3の罠は、提供者がセキュリティを保証していると考えることです。ESET[3]は、OpenAIが2023年3月20日にChatGPTを停止せざるを得なかったことを伝えています。OpenAIは3月24日に、オープンソースライブラリのバグにより、一部の利用者がアクティブな別の利用者の履歴のタイトルを見られたこと、また、9時間の間にアクティブだったChatGPT Plus加入者の1.2%の支払い情報が、誤って見える状態になった可能性があることを明らかにしました[3]。

第4の罠は、一般的な助言がルールの代わりになると考えることです。CNIL[4]は、提供者が利用条件に基づいてデータを再利用できる場合、データの提供をすべて禁じるか、一部の種類だけを禁じるかは、組織が個別に判断すると述べています[4]。ご自身の職場で適用されるルールは、所属する組織のものです。

実際の事例

Samsung、2023年3月:ChatGPTにコードと会議の録音、ESETによると

ESET[3]によると、2023年3月末、韓国のメディアThe Economist Koreaが、Samsung Electronicsで起きた3件の独立した事案を報じました[3]。この記述では、同社は従業員にクエリへ入力する情報に注意するよう求めていましたが、ChatGPTを使って社内データを漏らした従業員がいたといいます[3]。

1人の従業員は、半導体装置の測定データベースに関わる不具合のあるソースコードを入力し、解決策を探したといいます[3]。2人目は、不良装置を特定するプログラムで同じことを行い、コードの最適化を得ようとしたといいます[3]。3人目は、会議の録音をアップロードして、議事録を得ようとしたといいます[3]。ESETは、Samsungが従業員の業務を助けるため、自社の社内AIサービスを開発する予定だと述べています[3]。

OWASP[6]は、参考文献の中に「Lessons learned from ChatGPT's Samsung leak」という題の記事を挙げています[6]。

出典

  1. NCSC (Royaume-Uni), 「ChatGPT and large language models: what's the risk?」, 2023年3月14日. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (2026年11月14日閲覧)
  2. ANSSI, 「Security recommendations for a generative AI system」, 2024年4月29日. https://messervices.cyber.gouv.fr/documents-guides/security_recommandations_for_a_generative_ai_system.pdf (2026年11月14日閲覧)
  3. ESET, 「Meet “AI”, your new colleague: Could it expose your company's secrets?」, 2023年5月17日. https://www.welivesecurity.com/2023/05/17/meet-ai-new-colleague-work-company-data/ (2026年11月14日閲覧)
  4. CNIL, 「Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative」, 2024年7月18日. https://www.cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative (2026年11月14日閲覧)
  5. CNIL, 「Comment déployer une IA générative ? La CNIL apporte de premières précisions」, 2024年7月18日. https://www.cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions (2026年11月14日閲覧)
  6. OWASP, 「LLM02:2025 Sensitive Information Disclosure」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/ (2026年11月14日閲覧)