--- id: CP-261 slug: pre-treino-fine-tuning-alinhamento-rlhf-dpo lang: pt title: Como um modelo de IA é treinado e alinhado description: "Pré-treino, fine-tuning, RLHF e DPO: as etapas de construção de um assistente de IA e o que mudam na sua utilização no trabalho." canonical_url: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/ markdown_url: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Como um modelo de IA é treinado e alinhado», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-001 schema: G3 updated: "2026-11-03" translations: pt: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/ fr: https://startbrain.io/cyberpedia/fr/articles/pre-entrainement-fine-tuning-alignement-rlhf-dpo/ en: https://startbrain.io/cyberpedia/en/articles/pretraining-fine-tuning-rlhf-dpo-alignment/ de: https://startbrain.io/cyberpedia/de/articles/training-und-alignment-von-ki-modellen-pretraining-fine-tuning-rlhf-dpo/ es: https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/ it: https://startbrain.io/cyberpedia/it/articles/preaddestramento-fine-tuning-allineamento-rlhf-dpo/ nl: https://startbrain.io/cyberpedia/nl/articles/training-en-alignment-van-ai-modellen-pretraining-fine-tuning-rlhf-dpo/ sources: - "n": 1 title: Attention Is All You Need publisher: arXiv url: https://arxiv.org/abs/1706.03762 published: "2017-06-12" accessed: "2026-11-03" - "n": 2 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 3 title: Training language models to follow instructions with human feedback publisher: arXiv url: https://arxiv.org/abs/2203.02155 published: "2022-03-04" accessed: "2026-11-03" - "n": 4 title: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback publisher: arXiv url: https://arxiv.org/abs/2204.05862 published: "2022-04-12" accessed: "2026-11-03" - "n": 5 title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" publisher: arXiv url: https://arxiv.org/abs/2305.18290 published: "2023-05-29" accessed: "2026-11-03" - "n": 6 title: "Constitutional AI: Harmlessness from AI Feedback" publisher: arXiv url: https://arxiv.org/abs/2212.08073 published: "2022-12-15" accessed: "2026-11-03" - "n": 7 title: "LoRA: Low-Rank Adaptation of Large Language Models" publisher: arXiv url: https://arxiv.org/abs/2106.09685 published: "2021-06-17" accessed: "2026-11-03" - "n": 8 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2025/final published: "2025-03-24" accessed: "2026-11-03" - "n": 9 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 10 title: OWASP Top 10 for Large Language Model Applications publisher: OWASP url: https://owasp.org/projects/top-10-for-large-language-model-applications accessed: "2026-11-03" --- # Como um modelo de IA é treinado e alinhado Um assistente de IA não sai pronto de um único treino. Passa por várias etapas sucessivas: uma leitura maciça de textos, uma aprendizagem com exemplos de instruções e, por fim, um ajuste de acordo com as preferências de avaliadores. Para um colaborador, o interesse é prático. Saber como a resposta é produzida ajuda a medir a confiança que se pode depositar nela e a decidir o que se pode confiar ao assistente. ## Em 30 segundos - Onde acontece: sempre que se questiona um assistente de IA, seja público ou fornecido pela empresa. - O que ameaça estes sistemas: o relatório do NIST identifica, nomeadamente, o envenenamento de dados, a evasão e o abuso [8]. - O reflexo: reler e verificar qualquer resposta antes de a utilizar, e não colar dados sensíveis numa ferramenta sem o acordo da empresa. - Se já aconteceu: avisar o serviço de segurança ou o responsável de IA, indicando a ferramenta utilizada e a natureza dos dados introduzidos. ## Perguntas diretas ### Quais são as etapas de construção de um assistente de IA? São três. O pré-treino dá ao modelo um conhecimento geral da língua a partir de corpora de texto muito grandes. O fine-tuning supervisionado (SFT) ensina-o a responder a instruções, a partir de exemplos de boas respostas. O alinhamento ajusta depois o seu comportamento segundo preferências humanas, com métodos como o RLHF ou o DPO. ### O que faz o pré-treino? A arquitetura Transformer, apresentada em 2017, assenta unicamente em mecanismos de atenção [1]. Uma abordagem corrente consiste em pré-treinar um modelo num grande corpus de textos e depois afiná-lo para uma tarefa precisa [2]. O GPT-3, por exemplo, é um modelo de linguagem com 175 mil milhões de parâmetros, dez vezes mais do que qualquer modelo não esparso anterior [2]. ### O que traz o fine-tuning supervisionado? No caso do InstructGPT, os investigadores reuniram instruções escritas por avaliadores e instruções submetidas através da API da OpenAI. Recolheram demonstrações do comportamento pretendido e usaram-nas para afinar o GPT-3 por aprendizagem supervisionada [3]. Para o colaborador, o ponto a reter: no caso do InstructGPT, instruções submetidas através da API da OpenAI serviram de base ao conjunto de dados [3]. ### O que são o RLHF e o DPO? O RLHF (aprendizagem por reforço a partir de feedback humano) acrescenta uma segunda fase. Os investigadores recolhem classificações de respostas do modelo e usam-nas para afinar ainda mais o modelo supervisionado [3]. Os avaliadores comparam respostas e o sistema aprende a produzir as que eles preferem. Outros autores aplicaram este método para obter assistentes úteis e inofensivos, e indicam que este treino melhora os resultados em quase todas as avaliações de processamento de linguagem [4]. O DPO (Direct Preference Optimization) visa o mesmo objetivo de forma mais simples. Os seus autores descrevem o RLHF como um procedimento complexo e muitas vezes instável, e propõem um método que o substitui por uma simples perda de classificação [5]. Segundo os seus autores, o DPO alinha o modelo com as preferências tão bem como os métodos existentes, ou melhor [5]. ### Uma IA pode também supervisionar outra IA? Sim, é o princípio da Constitutional AI. A única supervisão humana é uma lista de regras ou princípios, e o próprio modelo produz críticas e revisões das suas respostas [6]. Quanto à inocuidade, nenhuma etiqueta humana identifica as respostas nocivas: um modelo avalia qual de duas respostas é a melhor [6]. ### Um modelo educado é um modelo fiável? Não. Os autores do InstructGPT observam que modelos maiores não seguem necessariamente melhor a intenção do utilizador e que podem produzir respostas falsas, tóxicas ou simplesmente inúteis [3]. Mesmo depois do alinhamento, o InstructGPT « still makes simple mistakes » [3]. Um tom cortês e seguro não prova, portanto, nada sobre a exatidão do conteúdo. ## Como funciona O pré-treino faz o modelo absorver um grande corpus de textos [2]. Os autores do DPO sublinham que este treino é inteiramente não supervisionado, o que dificulta um controlo preciso do comportamento [5]. As duas etapas seguintes servem para corrigir isto. O fine-tuning ensina as respostas esperadas. O alinhamento acrescenta o juízo humano, ou o de outro modelo, sobre a qualidade de várias respostas possíveis [3][6]. Afinar integralmente um modelo muito grande é caro. O método LoRA congela os pesos do modelo pré-treinado e acrescenta pequenas matrizes treináveis. Para o GPT-3 175B, reduz em 10 000 vezes o número de parâmetros a treinar e em 3 vezes a memória de GPU necessária, em comparação com um ajuste completo [7]. ## O que fazer - Verifique as respostas que contam: números, referências, nomes, excertos de regras. O modelo pode produzir conteúdos falsos [3]. - Não cole dados sensíveis (clientes, contratos, código interno, dados pessoais) numa ferramenta que a empresa não tenha validado. No caso do InstructGPT, instruções submetidas através da API da OpenAI serviram de base ao conjunto de dados [3]. - Siga a política de utilização da empresa: indica quais as ferramentas autorizadas e que dados nelas podem entrar. - Comunique um comportamento estranho do modelo ou uma resposta que pareça revelar informações que não deveriam sair. ## As armadilhas O relatório NIST AI 100-2 E2025 estabelece um vocabulário comum para os ataques contra sistemas de aprendizagem automática. Entre as suas palavras-chave figuram o envenenamento de dados (data poisoning), a evasão, o abuso e a violação da privacidade [8]. Abrange também os agentes conversacionais e os grandes modelos de linguagem [8]. Há armadilhas que decorrem destas etapas de construção: - Dados de treino ou de afinação manipulados podem falsear o modelo. O relatório do NIST coloca o envenenamento de dados entre os ataques catalogados [8]. - O NIST inclui também o abuso e a evasão entre as palavras-chave do seu relatório sobre os ataques [8]. - Informações confidenciais podem fugir. O NCSC britânico quer que os sistemas de IA funcionem « without revealing sensitive data to unauthorised parties » [9]. O projeto OWASP sobre aplicações de modelos de linguagem enumera as vulnerabilidades de segurança mais críticas destas aplicações [10]. O NCSC lembra também que os sistemas de IA apresentam vulnerabilidades novas, a considerar além das ameaças informáticas habituais [9]. ## Casos reais ### Março de 2022: um modelo pequeno alinhado preferido a um modelo grande em bruto No artigo publicado a 4 de março de 2022, os autores comparam modelos em avaliações humanas. As respostas do modelo InstructGPT de 1,3 mil milhões de parâmetros são preferidas às do GPT-3 (175 mil milhões), com cem vezes menos parâmetros [3]. Os mesmos trabalhos registam maior veracidade e menos conteúdos tóxicos [3]. Para um colaborador, a lição é limitada: o alinhamento torna as respostas mais conformes ao que as pessoas preferem, mas não elimina os erros, que os autores ainda reconhecem [3]. ## Fontes 1. arXiv, «Attention Is All You Need», 12 de junho de 2017. https://arxiv.org/abs/1706.03762 (consultado em 3 de novembro de 2026) 2. arXiv, «Language Models are Few-Shot Learners», 28 de maio de 2020. https://arxiv.org/abs/2005.14165 (consultado em 3 de novembro de 2026) 3. arXiv, «Training language models to follow instructions with human feedback», 4 de março de 2022. https://arxiv.org/abs/2203.02155 (consultado em 3 de novembro de 2026) 4. arXiv, «Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback», 12 de abril de 2022. https://arxiv.org/abs/2204.05862 (consultado em 3 de novembro de 2026) 5. arXiv, «Direct Preference Optimization: Your Language Model is Secretly a Reward Model», 29 de maio de 2023. https://arxiv.org/abs/2305.18290 (consultado em 3 de novembro de 2026) 6. arXiv, «Constitutional AI: Harmlessness from AI Feedback», 15 de dezembro de 2022. https://arxiv.org/abs/2212.08073 (consultado em 3 de novembro de 2026) 7. arXiv, «LoRA: Low-Rank Adaptation of Large Language Models», 17 de junho de 2021. https://arxiv.org/abs/2106.09685 (consultado em 3 de novembro de 2026) 8. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 24 de março de 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consultado em 3 de novembro de 2026) 9. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 3 de novembro de 2026) 10. OWASP, «OWASP Top 10 for Large Language Model Applications». https://owasp.org/projects/top-10-for-large-language-model-applications (consultado em 3 de novembro de 2026) --- Fonte original: Cyberpedia, a enciclopédia pública de cibersegurança e IA publicada pela Brain. Versão canónica: https://startbrain.io/cyberpedia/pt/articles/pre-treino-fine-tuning-alinhamento-rlhf-dpo/ Pode reutilizar livremente este texto sob a licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), desde que cite «Brain, Cyberpedia» com uma ligação para o endereço acima.