Cyberpediapor Brain
PTDEENESFRITNL

Como um modelo de IA é treinado e alinhado

Pré-treino, fine-tuning, RLHF e DPO: as etapas de construção de um assistente de IA e o que mudam na sua utilização no trabalho.

Em 30 segundos

Onde acontece
Sempre que se questiona um assistente de IA, seja público ou fornecido pela empresa.
O que ameaça estes sistemas
O relatório do NIST identifica, nomeadamente, o envenenamento de dados, a evasão e o abuso8.
O reflexo
Reler e verificar qualquer resposta antes de a utilizar, e não colar dados sensíveis numa ferramenta sem o acordo da empresa.
Se já aconteceu
Avisar o serviço de segurança ou o responsável de IA, indicando a ferramenta utilizada e a natureza dos dados introduzidos.

Do que se trata

Um assistente de IA não sai pronto de um único treino. Passa por várias etapas sucessivas: uma leitura maciça de textos, uma aprendizagem com exemplos de instruções e, por fim, um ajuste de acordo com as preferências de avaliadores. Para um colaborador, o interesse é prático. Saber como a resposta é produzida ajuda a medir a confiança que se pode depositar nela e a decidir o que se pode confiar ao assistente.

Perguntas diretas

Quais são as etapas de construção de um assistente de IA?

São três. O pré-treino dá ao modelo um conhecimento geral da língua a partir de corpora de texto muito grandes. O fine-tuning supervisionado (SFT) ensina-o a responder a instruções, a partir de exemplos de boas respostas. O alinhamento ajusta depois o seu comportamento segundo preferências humanas, com métodos como o RLHF ou o DPO.

O que faz o pré-treino?

A arquitetura Transformer, apresentada em 2017, assenta unicamente em mecanismos de atenção1. Uma abordagem corrente consiste em pré-treinar um modelo num grande corpus de textos e depois afiná-lo para uma tarefa precisa2. O GPT-3, por exemplo, é um modelo de linguagem com 175 mil milhões de parâmetros, dez vezes mais do que qualquer modelo não esparso anterior2.

O que traz o fine-tuning supervisionado?

No caso do InstructGPT, os investigadores reuniram instruções escritas por avaliadores e instruções submetidas através da API da OpenAI. Recolheram demonstrações do comportamento pretendido e usaram-nas para afinar o GPT-3 por aprendizagem supervisionada3. Para o colaborador, o ponto a reter: no caso do InstructGPT, instruções submetidas através da API da OpenAI serviram de base ao conjunto de dados3.

O que são o RLHF e o DPO?

O RLHF (aprendizagem por reforço a partir de feedback humano) acrescenta uma segunda fase. Os investigadores recolhem classificações de respostas do modelo e usam-nas para afinar ainda mais o modelo supervisionado3. Os avaliadores comparam respostas e o sistema aprende a produzir as que eles preferem. Outros autores aplicaram este método para obter assistentes úteis e inofensivos, e indicam que este treino melhora os resultados em quase todas as avaliações de processamento de linguagem4.

O DPO (Direct Preference Optimization) visa o mesmo objetivo de forma mais simples. Os seus autores descrevem o RLHF como um procedimento complexo e muitas vezes instável, e propõem um método que o substitui por uma simples perda de classificação5. Segundo os seus autores, o DPO alinha o modelo com as preferências tão bem como os métodos existentes, ou melhor5.

Uma IA pode também supervisionar outra IA?

Sim, é o princípio da Constitutional AI. A única supervisão humana é uma lista de regras ou princípios, e o próprio modelo produz críticas e revisões das suas respostas6. Quanto à inocuidade, nenhuma etiqueta humana identifica as respostas nocivas: um modelo avalia qual de duas respostas é a melhor6.

Um modelo educado é um modelo fiável?

Não. Os autores do InstructGPT observam que modelos maiores não seguem necessariamente melhor a intenção do utilizador e que podem produzir respostas falsas, tóxicas ou simplesmente inúteis3. Mesmo depois do alinhamento, o InstructGPT « still makes simple mistakes »3. Um tom cortês e seguro não prova, portanto, nada sobre a exatidão do conteúdo.

1Como funciona1 min

O pré-treino faz o modelo absorver um grande corpus de textos2. Os autores do DPO sublinham que este treino é inteiramente não supervisionado, o que dificulta um controlo preciso do comportamento5.

As duas etapas seguintes servem para corrigir isto. O fine-tuning ensina as respostas esperadas. O alinhamento acrescenta o juízo humano, ou o de outro modelo, sobre a qualidade de várias respostas possíveis36.

Afinar integralmente um modelo muito grande é caro. O método LoRA congela os pesos do modelo pré-treinado e acrescenta pequenas matrizes treináveis. Para o GPT-3 175B, reduz em 10 000 vezes o número de parâmetros a treinar e em 3 vezes a memória de GPU necessária, em comparação com um ajuste completo7.

2O que fazer1 min
  • Verifique as respostas que contam: números, referências, nomes, excertos de regras. O modelo pode produzir conteúdos falsos3.
  • Não cole dados sensíveis (clientes, contratos, código interno, dados pessoais) numa ferramenta que a empresa não tenha validado. No caso do InstructGPT, instruções submetidas através da API da OpenAI serviram de base ao conjunto de dados3.
  • Siga a política de utilização da empresa: indica quais as ferramentas autorizadas e que dados nelas podem entrar.
  • Comunique um comportamento estranho do modelo ou uma resposta que pareça revelar informações que não deveriam sair.
3As armadilhas1 min

O relatório NIST AI 100-2 E2025 estabelece um vocabulário comum para os ataques contra sistemas de aprendizagem automática. Entre as suas palavras-chave figuram o envenenamento de dados (data poisoning), a evasão, o abuso e a violação da privacidade8. Abrange também os agentes conversacionais e os grandes modelos de linguagem8.

Há armadilhas que decorrem destas etapas de construção:

  • Dados de treino ou de afinação manipulados podem falsear o modelo. O relatório do NIST coloca o envenenamento de dados entre os ataques catalogados8.
  • O NIST inclui também o abuso e a evasão entre as palavras-chave do seu relatório sobre os ataques8.
  • Informações confidenciais podem fugir. O NCSC britânico quer que os sistemas de IA funcionem « without revealing sensitive data to unauthorised parties »9. O projeto OWASP sobre aplicações de modelos de linguagem enumera as vulnerabilidades de segurança mais críticas destas aplicações10.

O NCSC lembra também que os sistemas de IA apresentam vulnerabilidades novas, a considerar além das ameaças informáticas habituais9.

4Casos reais1 min

Março de 2022: um modelo pequeno alinhado preferido a um modelo grande em bruto

No artigo publicado a 4 de março de 2022, os autores comparam modelos em avaliações humanas. As respostas do modelo InstructGPT de 1,3 mil milhões de parâmetros são preferidas às do GPT-3 (175 mil milhões), com cem vezes menos parâmetros3. Os mesmos trabalhos registam maior veracidade e menos conteúdos tóxicos3. Para um colaborador, a lição é limitada: o alinhamento torna as respostas mais conformes ao que as pessoas preferem, mas não elimina os erros, que os autores ainda reconhecem3.

Ficha

Identificador
CP-261
Ala
4. Inteligência artificial
Competência Brain
Perceber a IA (understand_ai)
Reflexo Brain
air-001
Esquema
G3 · Corte anatómico
Idiomas
de, en, es, fr, it, nl, pt
Fontes
10 fontes verificadas em 3 de novembro de 2026
Fontes10 fontes
  1. arXiv, «Attention Is All You Need», 12 de junho de 2017. https://arxiv.org/abs/1706.03762 (consultado em 3 de novembro de 2026)
  2. arXiv, «Language Models are Few-Shot Learners», 28 de maio de 2020. https://arxiv.org/abs/2005.14165 (consultado em 3 de novembro de 2026)
  3. arXiv, «Training language models to follow instructions with human feedback», 4 de março de 2022. https://arxiv.org/abs/2203.02155 (consultado em 3 de novembro de 2026)
  4. arXiv, «Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback», 12 de abril de 2022. https://arxiv.org/abs/2204.05862 (consultado em 3 de novembro de 2026)
  5. arXiv, «Direct Preference Optimization: Your Language Model is Secretly a Reward Model», 29 de maio de 2023. https://arxiv.org/abs/2305.18290 (consultado em 3 de novembro de 2026)
  6. arXiv, «Constitutional AI: Harmlessness from AI Feedback», 15 de dezembro de 2022. https://arxiv.org/abs/2212.08073 (consultado em 3 de novembro de 2026)
  7. arXiv, «LoRA: Low-Rank Adaptation of Large Language Models», 17 de junho de 2021. https://arxiv.org/abs/2106.09685 (consultado em 3 de novembro de 2026)
  8. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 24 de março de 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consultado em 3 de novembro de 2026)
  9. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 3 de novembro de 2026)
  10. OWASP, «OWASP Top 10 for Large Language Model Applications». https://owasp.org/projects/top-10-for-large-language-model-applications (consultado em 3 de novembro de 2026)

Citar este artigo

Brain, «Como um modelo de IA é treinado e alinhado», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/

BibTeX 
@misc{brain_cp261_pt_2026,
  author = {Brain},
  title = {Como um modelo de IA é treinado e alinhado},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licença CC BY 4.0