Vieses algorítmicos e estereótipos nos dados

O NIST classifica as fontes de viés em três famílias².

• Os vieses sistémicos: dependem das instituições e da história, e estão presentes nos dados e nas práticas ao longo de todo o ciclo de vida da IA².
• Os vieses estatísticos e computacionais: surgem quando a amostra não representa a população². Um exemplo dado: dados recolhidos por questionários em linha ou obtidos nas redes sociais representam apenas os utilizadores de uma plataforma, mas servem por vezes para treinar ferramentas implantadas em contextos muito mais vastos².
• Os vieses humanos: são erros sistemáticos de raciocínio, presentes nas decisões das instituições, dos grupos e dos indivíduos, incluindo na utilização de uma aplicação depois de implantada².

Quanto aos textos, o NIST observa que os conjuntos de dados de processamento de linguagem diferem muitas vezes das suas utilizações reais, o que pode levar a discriminação e a diferenças de desempenho². Quanto ao reconhecimento facial, cita a classificação do género: a sua precisão varia consoante a idade e o grupo étnico, e uma amostra limitada ou não representativa de um grupo dá uma precisão mais baixa para esse grupo².

• Não confie a uma IA, sozinha, uma decisão que afete pessoas (recrutamento, avaliação). Ela prepara, uma pessoa decide.
• Compare os resultados. Submeta à ferramenta casos semelhantes que diferem apenas numa característica pessoal e veja se a resposta muda. Num caso de experimentação de uma tecnologia, a CNIL exigiu uma análise sistemática dos erros do sistema e elementos de reflexão sobre os riscos de discriminação³.
• Pergunte quem não está nos dados. O NIST coloca a questão « Who is counted, and who is not counted? » e nota que as populações indígenas, as mulheres e as pessoas com deficiência estão constantemente sub-representadas nos conjuntos de dados².
• Assinale os desvios constatados à pessoa responsável pela ferramenta na empresa, com os exemplos.
• Mantenha uma validação humana que olhe para o resultado com espírito crítico e que o possa contrariar. O NIST refere que investigadores recomendam aos utilizadores de um resultado automatizado que « consider a deliberate and modest approach »².

• A confiança excessiva. O NIST chama « automation complacency » ao facto de se confiar demasiado em sistemas automatizados². Explica também que peritos podem usar a IA para aliviar a pressão de processos mais subjetivos, em nome de uma presumida objetividade da automatização, e servir-se dela como cobertura dos seus próprios vieses implícitos².
• Os dados não representativos. Uma ferramenta treinada com dados que não refletem as pessoas que avalia engana-se mais vezes a respeito delas².
• Os grupos médios aplicados a indivíduos. O NIST chama « ecological fallacy » ao facto de se deduzir algo sobre uma pessoa a partir do grupo a que pertence².
• Um controlo de fachada. O NIST considera que, sem um apoio processual e cultural importante, as expectativas otimistas quanto ao papel do humano que supervisiona não se verificam na prática².
• O exemplo do recrutamento. A CNIL fiscalizou um organismo que avaliava automaticamente currículos em vídeo gravados por candidatos. Constatou vieses discriminatórios: o sistema, que devia qualificar as competências comportamentais, não tinha em conta a diversidade dos sotaques³.
• Um caso conhecido por um título. A lista de referências do NIST cita um artigo da Reuters de outubro de 2018 intitulado « Amazon scraps secret AI recruiting tool that showed bias against women »². As fontes citadas aqui não descrevem este caso em pormenor.

O regulamento europeu sobre a IA é o Regulamento (UE) 2024/1689⁴. Classifica as utilizações por nível de risco. As ferramentas de IA para o emprego e a gestão de trabalhadores, como os programas de triagem de currículos, fazem parte dos casos de utilização de risco elevado. A classificação de exames na educação também⁴.

Entre as obrigações dos sistemas de risco elevado contam-se conjuntos de dados de elevada qualidade para reduzir ao mínimo os riscos de resultados discriminatórios, o registo da atividade, documentação pormenorizada e medidas adequadas de supervisão humana⁴.

Quanto ao calendário, a Comissão indica que o regulamento entrou em vigor a 1 de agosto de 2024. As regras para certos domínios de risco elevado, entre os quais o emprego, aplicar-se-ão a partir de 2 de dezembro de 2027⁴.

Quanto ao método, o quadro de gestão dos riscos da IA do NIST destina-se a uso voluntário e visa integrar melhor considerações de fiabilidade na conceção, no desenvolvimento, na utilização e na avaliação dos sistemas de IA⁵.