Cyberpediapor Brain

Vieses algorítmicos e estereótipos nos dados

Uma IA reproduz os estereótipos dos dados de treino e parece neutra. O que o colaborador verifica e o que prevê o AI Act.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5O que faz
  6. 6As armadilhas
  7. 7O que diz a lei europeia
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Triagem de currículos, pontuação, avaliação de candidatos, geração de textos ou imagens, em todo o lado onde a IA classifica ou descreve pessoas.
O que se passa
A ferramenta reproduz desvios presentes nos seus dados e a sua resposta parece neutra.
O reflexo
Nunca deixar uma IA decidir sozinha um assunto que afeta pessoas, comparar os resultados, assinalar os desvios e manter uma validação humana.
Se já aconteceu
Avisar o responsável pela ferramenta ou o contacto competente e pedir que uma pessoa reveja a decisão.

Do que se trata

Uma ferramenta de IA aprende com dados produzidos por pessoas, em organizações e numa sociedade que têm os seus próprios hábitos e as suas próprias desigualdades. O que dali retira pode reproduzir estereótipos, sem que ninguém o tenha querido. O NIST, o organismo norte-americano de normalização, escreve que os vieses « can lead to harmful impacts regardless of intent »[1].

O resultado chega sob a forma de um número ou de uma classificação, o que lhe dá um ar objetivo. Esta ficha explica de onde vêm estes desvios e o que faz um colaborador que usa IA para ordenar ou avaliar pessoas.

Perguntas diretas

Porque é que uma IA reproduz estereótipos?

Porque aprende com dados que os contêm. O NIST distingue três categorias de viés na IA: sistémicos, estatísticos e humanos[2]. Os vieses sistémicos vêm dos procedimentos e das práticas de instituições que favorecem certos grupos e desfavorecem outros. Isto não exige nenhum preconceito consciente: basta que a maioria siga as regras e as normas existentes[2]. Estes vieses encontram-se nos conjuntos de dados usados em IA[2].

Podem os dados ser justos e, mesmo assim, enviesados?

Sim. A CNIL descreve dois casos. Os dados de aprendizagem podem não ser representativos. Podem também ser bem representativos do « mundo real » e refletir, ainda assim, um caráter discriminatório, por exemplo a reprodução de diferenças salariais entre mulheres e homens[3]. O NIST vai no mesmo sentido: mesmo quando representativos, os conjuntos de dados podem apresentar vieses históricos e sistémicos enraizados[2].

Porque é que a resposta parece neutra?

O NIST observa que os vieses estão muito difundidos nos processos tecnológicos e podem prejudicar independentemente da intenção[1]. A ferramenta não mostra de onde vem a sua resposta. A Comissão Europeia salienta que é muitas vezes impossível saber porque é que um sistema de IA tomou uma decisão, o que torna difícil saber se uma pessoa foi injustamente desfavorecida, por exemplo numa decisão de contratação[4].

Basta retirar o sexo ou a origem dos dados?

Não, segundo o NIST. Os programadores excluem por vezes os atributos protegidos, mas isso não resolve o problema, porque a informação pode ser deduzida de outras formas[2].

Basta uma pessoa a rever para corrigir o erro?

Não automaticamente. O NIST qualifica de hipótese problemática a ideia de que um humano possa supervisionar de forma eficaz e objetiva um sistema algorítmico de decisão. Acrescenta que os humanos trazem os seus próprios vieses cognitivos para a utilização destes sistemas[2]. A validação humana exige, por isso, um método, descrito mais abaixo.

Como funciona

O NIST classifica as fontes de viés em três famílias[2].

  • Os vieses sistémicos: dependem das instituições e da história, e estão presentes nos dados e nas práticas ao longo de todo o ciclo de vida da IA[2].
  • Os vieses estatísticos e computacionais: surgem quando a amostra não representa a população[2]. Um exemplo dado: dados recolhidos por questionários em linha ou obtidos nas redes sociais representam apenas os utilizadores de uma plataforma, mas servem por vezes para treinar ferramentas implantadas em contextos muito mais vastos[2].
  • Os vieses humanos: são erros sistemáticos de raciocínio, presentes nas decisões das instituições, dos grupos e dos indivíduos, incluindo na utilização de uma aplicação depois de implantada[2].

Quanto aos textos, o NIST observa que os conjuntos de dados de processamento de linguagem diferem muitas vezes das suas utilizações reais, o que pode levar a discriminação e a diferenças de desempenho[2]. Quanto ao reconhecimento facial, cita a classificação do género: a sua precisão varia consoante a idade e o grupo étnico, e uma amostra limitada ou não representativa de um grupo dá uma precisão mais baixa para esse grupo[2].

O que faz

  • Não confie a uma IA, sozinha, uma decisão que afete pessoas (recrutamento, avaliação). Ela prepara, uma pessoa decide.
  • Compare os resultados. Submeta à ferramenta casos semelhantes que diferem apenas numa característica pessoal e veja se a resposta muda. Num caso de experimentação de uma tecnologia, a CNIL exigiu uma análise sistemática dos erros do sistema e elementos de reflexão sobre os riscos de discriminação[3].
  • Pergunte quem não está nos dados. O NIST coloca a questão « Who is counted, and who is not counted? » e nota que as populações indígenas, as mulheres e as pessoas com deficiência estão constantemente sub-representadas nos conjuntos de dados[2].
  • Assinale os desvios constatados à pessoa responsável pela ferramenta na empresa, com os exemplos.
  • Mantenha uma validação humana que olhe para o resultado com espírito crítico e que o possa contrariar. O NIST refere que investigadores recomendam aos utilizadores de um resultado automatizado que « consider a deliberate and modest approach »[2].

As armadilhas

  • A confiança excessiva. O NIST chama « automation complacency » ao facto de se confiar demasiado em sistemas automatizados[2]. Explica também que peritos podem usar a IA para aliviar a pressão de processos mais subjetivos, em nome de uma presumida objetividade da automatização, e servir-se dela como cobertura dos seus próprios vieses implícitos[2].
  • Os dados não representativos. Uma ferramenta treinada com dados que não refletem as pessoas que avalia engana-se mais vezes a respeito delas[2].
  • Os grupos médios aplicados a indivíduos. O NIST chama « ecological fallacy » ao facto de se deduzir algo sobre uma pessoa a partir do grupo a que pertence[2].
  • Um controlo de fachada. O NIST considera que, sem um apoio processual e cultural importante, as expectativas otimistas quanto ao papel do humano que supervisiona não se verificam na prática[2].
  • O exemplo do recrutamento. A CNIL fiscalizou um organismo que avaliava automaticamente currículos em vídeo gravados por candidatos. Constatou vieses discriminatórios: o sistema, que devia qualificar as competências comportamentais, não tinha em conta a diversidade dos sotaques[3].
  • Um caso conhecido por um título. A lista de referências do NIST cita um artigo da Reuters de outubro de 2018 intitulado « Amazon scraps secret AI recruiting tool that showed bias against women »[2]. As fontes citadas aqui não descrevem este caso em pormenor.

O que diz a lei europeia

O regulamento europeu sobre a IA é o Regulamento (UE) 2024/1689[4]. Classifica as utilizações por nível de risco. As ferramentas de IA para o emprego e a gestão de trabalhadores, como os programas de triagem de currículos, fazem parte dos casos de utilização de risco elevado. A classificação de exames na educação também[4].

Entre as obrigações dos sistemas de risco elevado contam-se conjuntos de dados de elevada qualidade para reduzir ao mínimo os riscos de resultados discriminatórios, o registo da atividade, documentação pormenorizada e medidas adequadas de supervisão humana[4].

Quanto ao calendário, a Comissão indica que o regulamento entrou em vigor a 1 de agosto de 2024. As regras para certos domínios de risco elevado, entre os quais o emprego, aplicar-se-ão a partir de 2 de dezembro de 2027[4].

Quanto ao método, o quadro de gestão dos riscos da IA do NIST destina-se a uso voluntário e visa integrar melhor considerações de fiabilidade na conceção, no desenvolvimento, na utilização e na avaliação dos sistemas de IA[5].

Fontes

  1. NIST, «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», 15 de março de 2022. https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (consultado em 3 de novembro de 2026)
  2. NIST, «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence». https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf (consultado em 3 de novembro de 2026)
  3. CNIL, «IA : comment être en conformité avec le RGPD ?», 5 de abril de 2022. https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd (consultado em 3 de novembro de 2026)
  4. Commission européenne, «Législation sur l’IA». https://digital-strategy.ec.europa.eu/fr/policies/regulatory-framework-ai (consultado em 3 de novembro de 2026)
  5. NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultado em 3 de novembro de 2026)