CyberpediaBrain

アルゴリズムのバイアスとデータのステレオタイプ

AIは学習データのステレオタイプを引き継ぎながら、中立に見えます。従業員が確認すべきことと、EUのAI規則(AI Act)の定めを解説します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5あなたがすること
  6. 6落とし穴
  7. 7EUの法規制の内容
  8. 8出典
  9. 9この記事を引用する

30秒でわかる要点

発生場面
履歴書の選別、スコアリング、応募者の評価、文章や画像の生成など、AIが人を分類したり描写したりするあらゆる場面。
起きること
ツールが学習データにある偏りをそのまま再現し、その答えは中立に見える。
とっさの行動
人に関わる案件の判断をAIだけに任せない。結果を比較し、偏りを報告し、人による確認を残す。
既にやってしまった場合
ツールの責任者または担当の窓口に知らせ、その判断を人にやり直してもらう。

概要

AIツールは、人が作ったデータから学習します。そのデータには、組織や社会に固有の習慣や不平等が含まれています。そこから得られた結果が、誰も意図しないままステレオタイプを再現することがあります。米国の標準化機関であるNISTは、バイアスは「can lead to harmful impacts regardless of intent」と記しています[1]。

結果は数値や順位の形で出てくるため、客観的に見えます。この記事では、こうした偏りがどこから生まれるのか、そして人の選考や評価にAIを使う従業員が何をするべきかを説明します。

よくある質問

なぜAIはステレオタイプを再現するのですか?

ステレオタイプを含むデータから学習するからです。NISTはAIのバイアスを、システミック、統計的、人間という3つに分類しています[2]。システミックなバイアスは、ある集団を優遇し別の集団を不利にする機関の手続きや慣行から生じます。意識的な偏見は必要ありません。多数の人が既存の規則や規範に従っていれば足ります[2]。こうしたバイアスは、AIに使われるデータセットにも見られます[2]。

データが正確でも、偏りは生じますか?

生じます。CNILは2つの場合を挙げています。学習データが代表的でない場合があります。また、データが「現実世界」をよく代表していても、差別的な性質を反映してしまう場合があります。たとえば、女性と男性の賃金格差の再現です[3]。NISTも同じ見方で、代表的なデータセットであっても、歴史的でシステミックなバイアスが根付いていることがあるとしています[2]。

なぜ答えは中立に見えるのですか?

NISTは、バイアスは技術的なプロセスに広く存在し、意図にかかわらず害を及ぼしうると述べています[1]。ツールは、答えがどこから来たのかを示しません。欧州委員会は、AIシステムがなぜその判断をしたのかを知ることがしばしば不可能で、たとえば採用の判断で誰かが不当に不利益を受けたかどうかを見極めにくいと指摘しています[4]。

データから性別や出身を取り除けば十分ですか?

NISTによれば、十分ではありません。開発者が保護された属性を除外することもありますが、問題は解決しません。その情報は別の方法でも推測できるからです[2]。

人が見直せば、誤りは正せますか?

自動的には正せません。NISTは、人がアルゴリズムによる判断システムを効果的かつ客観的に監督できるという考えを、問題のある仮定としています。さらに、人はこうしたシステムを使う際に自分自身の認知バイアスを持ち込むとも述べています[2]。人による確認には方法が必要です。その方法は後述します。

仕組み

NISTは、バイアスの発生源を3つに分けています[2]。

  • システミックなバイアス: 機関や歴史に由来し、AIのライフサイクル全体を通じて、データにも慣行にも存在します[2]。
  • 統計的・計算上のバイアス: サンプルが母集団を代表していないときに生じます[2]。例として、オンラインのアンケートで集めたデータやソーシャルネットワークから取得したデータは、そのプラットフォームの利用者しか代表しませんが、はるかに広い場面で使うツールの学習に使われることがあります[2]。
  • 人間のバイアス: 推論における系統的な誤りで、機関、集団、個人の判断に見られます。アプリケーションが展開された後の使い方にも含まれます[2]。

文章については、自然言語処理のデータセットが実際の用途と異なることが多く、それが差別や性能の差につながりうるとNISTは指摘しています[2]。顔認識については、性別の分類を例に挙げています。精度は年齢や民族集団によって異なり、ある集団のサンプルが限られているか代表的でなければ、その集団の精度は低くなります[2]。

あなたがすること

  • 人に関わる判断(採用、評価)を、AIだけに任せないでください。AIが準備し、人が決めます。
  • 結果を比較してください。個人の特性だけが異なる、よく似た事例をツールに入力し、答えが変わるかどうかを見ます。ある技術の試験導入の事例で、CNILはシステムの誤りの体系的な分析と、差別のリスクに関する検討材料を求めました[3]。
  • データに含まれていない人は誰かを考えてください。NISTは「Who is counted, and who is not counted?」という問いを立て、先住民、女性、障害のある人々がデータセットで一貫して過小に表されていると述べています[2]。
  • 気づいた偏りは、事例を添えて、社内のツールの責任者に報告してください。
  • 結果を批判的に見て、覆すことのできる、人による確認を残してください。NISTは、自動化された出力を使う人に対して、研究者が「consider a deliberate and modest approach」を勧めていると伝えています[2]。

落とし穴

  • 過信。NISTは、自動化されたシステムに頼りすぎることを「automation complacency」と呼んでいます[2]。また、専門家が、自動化は客観的だという前提のもとで、より主観的なプロセスの負担を減らすためにAIを使い、自分自身の暗黙のバイアスを隠す口実にしうるとも説明しています[2]。
  • 代表的でないデータ。評価する対象の人々を反映していないデータで学習したツールは、その人々についてより頻繁に誤ります[2]。
  • 集団の平均を個人に当てはめること。NISTは、ある人が属する集団から、その人について何かを推論することを「ecological fallacy」と名付けています[2]。
  • 形だけの確認。NISTは、手続き面と文化面での相当な支えがなければ、人による監督の役割への楽観的な期待は、実際には確かめられないと評価しています[2]。
  • 採用の例。CNILは、応募者が録画した動画の履歴書を自動で評価していた組織を調査しました。差別的なバイアスが確認されています。このシステムは対人能力を評価するはずでしたが、アクセントの多様性を考慮していませんでした[3]。
  • 見出しだけで知られる事例。NISTの参考文献一覧には、2018年10月付のロイター記事「Amazon scraps secret AI recruiting tool that showed bias against women」が挙げられています[2]。ここで引用した情報源は、この事例を詳しくは説明していません。

EUの法規制の内容

EUのAI規則は、規則(EU)2024/1689です[4]。この規則は、用途をリスクの水準で分類します。履歴書の選別ソフトのような、雇用と労働者管理のためのAIツールは、高リスクの用途に入ります。教育における試験の採点も同じです[4]。

高リスクのシステムの義務には、差別的な結果のリスクを最小限に抑えるための高品質なデータセット、活動の記録、詳細な文書化、適切な人による監督の措置が含まれます[4]。

時期については、欧州委員会によれば、この規則は2024年8月1日に発効しました。雇用を含む一部の高リスク分野の規則は、2027年12月2日から適用されます[4]。

手法の面では、NISTのAIリスク管理フレームワークは任意での利用を想定しており、AIシステムの設計、開発、利用、評価に信頼性の観点をよりよく取り込むことを目指しています[5]。

出典

  1. NIST, 「Towards a Standard for Identifying and Managing Bias in Artificial Intelligence」, 2022年3月15日. https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (2026年11月3日閲覧)
  2. NIST, 「Towards a Standard for Identifying and Managing Bias in Artificial Intelligence」. https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf (2026年11月3日閲覧)
  3. CNIL, 「IA : comment être en conformité avec le RGPD ?」, 2022年4月5日. https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd (2026年11月3日閲覧)
  4. Commission européenne, 「Législation sur l’IA」. https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai (2026年11月3日閲覧)
  5. NIST, 「AI Risk Management Framework」. https://www.nist.gov/itl/ai-risk-management-framework (2026年11月3日閲覧)