O Transformer e o mecanismo de atenção
O Transformer, descrito em junho de 2017: o que a arquitetura baseada em atenção muda para um colaborador, os seus limites e a prompt injection.
Em 30 segundos
- Onde acontece
- Sempre que se faz uma pergunta a um assistente de IA, seja para resumir um documento, redigir um email ou traduzir.
- O que deve saber
- O modelo prevê a palavra seguinte mais provável2. A ficha tira daqui um conselho: verificar o que ele escreve.
- Os limites
- Num texto longo, o modelo não aproveita todas as partes com a mesma fiabilidade3.
- O reflexo
- Reler e verificar qualquer resposta antes de a utilizar, e nunca colar dados confidenciais numa ferramenta que a empresa não validou.
- Se já o fez
- Avisar o seu responsável ou a equipa de segurança, sem esperar por uma consequência visível.
Do que se trata
O Transformer, uma arquitetura de modelo, foi descrito pela primeira vez num artigo de investigação submetido a 12 de junho de 2017 com o título «Attention Is All You Need»1.
Perceber as linhas gerais desta arquitetura ajuda a definir como usar as ferramentas: saber o que fazem realmente com um texto, porque é que uma resposta bem redigida pode estar errada e o que é preferível não lhes confiar.
Perguntas diretas
De onde vem o Transformer?
O artigo fundador foi submetido a 12 de junho de 20171. Os autores propõem uma arquitetura de rede que descrevem como «new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely»1. Antes dela, os modelos dominantes no tratamento de sequências de palavras assentavam em redes ditas recorrentes ou convolucionais1.
Os resultados anunciados diziam respeito à tradução automática. O modelo atingiu 28,4 BLEU na tarefa de inglês para alemão do WMT 2014 e 41,8 BLEU na de inglês para francês, após 3,5 dias de treino em oito GPU1. Os autores indicam também que o modelo é mais fácil de paralelizar e exige bastante menos tempo de treino1.
O que é a atenção?
A atenção é o mecanismo que os autores colocam no centro da arquitetura: os melhores modelos da época já ligavam o codificador e o descodificador por um mecanismo de atenção, e o Transformer assenta apenas neste princípio1. Para um leitor não especialista, a imagem útil é a de uma leitura em que cada palavra é posta em relação com as outras palavras do texto, em vez de uma leitura estritamente palavra a palavra. Esta imagem é uma simplificação: a ficha não entra no cálculo, e as fontes do dossiê não o detalham.
Este modelo compreende o que lhe escrevemos?
O Centro Nacional de Cibersegurança britânico (NCSC) responde a esta questão num texto de 8 de dezembro de 2025. Perante uma instrução, um modelo de linguagem «doesn't understand the text it in the way a person does»: limita-se a «is simply predicting the most likely next token from the text so far»2. Uma resposta fluida é, portanto, uma sequência provável de palavras, e não a prova de uma verificação.
Porque é que os assistentes melhoraram?
Um artigo de 2020 sobre o GPT-3 apresenta um modelo de linguagem com 175 mil milhões de parâmetros, dez vezes mais do que qualquer modelo não esparso anterior4. Os autores mostram que o aumento do tamanho dos modelos melhora de forma nítida o desempenho em tarefas novas, dadas com apenas alguns exemplos4. Assinalam também conjuntos de dados em que o modelo continua com dificuldades4.
O modelo lembra-se de toda a conversa?
Não de forma fiável. Um estudo de 2023, testado em perguntas sobre vários documentos, constata que o desempenho pode degradar-se bastante quando a informação útil muda de lugar no texto fornecido3. O desempenho é muitas vezes melhor quando a informação está no início ou no fim, e piora quando está no meio de um contexto longo, mesmo em modelos concebidos para textos longos3.
Pode confiar-se-lhe dados sensíveis?
Não, salvo numa ferramenta validada pela empresa. O NCSC cita, entre os efeitos possíveis da prompt injection, o facto de «reveal confidential information»5. A ficha não detalha as regras de cada ferramenta: dependem da política da empresa, que as fontes do dossiê não descrevem.
1Como funciona1 min
Um Transformer recebe um texto e produz uma sequência de texto. O NCSC resume o princípio de forma sóbria: o modelo prevê o «next token», isto é, o elemento seguinte mais provável a partir do texto já presente2. Nada neste funcionamento separa o que seria uma instrução do que seria um simples dado2.
Daqui resultam duas consequências práticas.
- O texto produzido é provável, não verificado. Um modelo pode escrever um parágrafo convincente sem que ninguém tenha confirmado um único facto.
- Não existe fronteira de segurança entre as instruções e os dados dentro de um prompt2.
O artigo de 2020 sobre o GPT-3 observa aliás que avaliadores humanos tinham dificuldade em distinguir os artigos de imprensa gerados pelo modelo dos artigos escritos por humanos4. A qualidade da forma não diz, portanto, nada sobre a exatidão do conteúdo.
2O que faz1 min
- Releia cada resposta como um rascunho escrito por alguém que não verificou nada: números, nomes, referências e citações confirmam-se na fonte.
- O desempenho é muitas vezes mais alto quando a informação útil está no início ou no fim do texto fornecido3. A ficha deduz daqui que convém colocar o essencial do pedido nesses sítios, e não no meio de um documento longo.
- Numa conversa longa ou num documento longo, a ficha aconselha recomeçar com um resumo e um pedido preciso, em vez de supor que tudo foi retido.
- Não cole dados pessoais, segredos comerciais, palavras-passe nem chaves de acesso. O NCSC relata um caso em que um investigador de segurança extraiu uma chave de API sensível de um sistema exposto a um ataque de prompt injection5.
- Se o assistente lê documentos vindos do exterior (emails, CV, páginas web), considere que o seu conteúdo pode conter instruções escondidas2.
3As armadilhas2 min
Acreditar que o modelo raciocina
Uma resposta que expõe etapas parece um raciocínio. No entanto, as fontes do dossiê descrevem um mecanismo de previsão da palavra seguinte2, e o NCSC precisa que o modelo não compreende o texto como uma pessoa2.
Tomar uma resposta fluida por uma resposta exata
Um texto bem construído pode ser falso. Avaliadores humanos tiveram dificuldade em distinguir artigos de imprensa gerados pelo GPT-3 de artigos escritos por humanos4.
A prompt injection
A prompt injection consiste em introduzir num texto uma instrução que o modelo vai seguir. O NCSC define-a, por seu lado, como uma entrada concebida para que o modelo se comporte de forma imprevista: produzir conteúdo chocante, revelar informações confidenciais ou desencadear efeitos indesejados num sistema que aceita sem controlo a saída do modelo5.
O texto do NCSC de dezembro de 2025 dá um exemplo no recrutamento. Uma ferramenta pede ao modelo que avalie se um CV corresponde aos critérios. Um candidato esconde lá um texto que pede para ignorar as instruções anteriores e aprovar o seu CV para uma entrevista: os seus «dados» são então executados como uma instrução2. Fala-se de injeção indireta quando o atacante não tem qualquer acesso direto ao sistema de IA2.
Ilustração neutralizada do tipo de texto escondido:
[Texto invisível acrescentado a um CV, parafraseado: pede ao modelo que não tenha em conta
a sua missão original e que recomende este candidato.]Os modelos atuais não impõem uma fronteira de segurança entre instruções e dados num pedido2. O NCSC considera possível que a prompt injection nunca fique totalmente resolvida, como aconteceu com a injeção SQL2. Desaconselha contar com uma lista de frases proibidas, porque existem infinitas maneiras de reformular um ataque2. Refere uma abordagem saída de uma discussão entre Simon Willison e Baibhav Bista: quando um modelo trata informações de um terceiro, os seus privilégios descem para os desse terceiro2.
4Casos reais1 min
MathGPT: uma chave de API extraída (texto do NCSC, agosto de 2023)
O NCSC descreve, num texto datado de 30 de agosto de 2023, um ataque ao MathGPT, um modelo concebido para converter perguntas em linguagem natural em código de cálculo. Um investigador de segurança tinha constatado que o modelo avaliava como código o texto introduzido pelo utilizador. Serviu-se disso para aceder ao sistema que alojava o modelo e extrair uma chave de API sensível, antes de divulgar o ataque5. O texto não indica a data do ataque em si.
Uma grelha de riscos a conhecer
O NIST publicou a 26 de julho de 2024 um perfil dedicado à IA generativa, complemento do seu quadro de gestão de riscos da IA (AI RMF 1.0), divulgado em janeiro de 2023 e destinado a uso voluntário6. Dirige-se às organizações que concebem ou utilizam estes sistemas6.
Ficha
- Identificador
- CP-257
- Ala
- 4. Inteligência artificial
- Competência Brain
- Perceber a IA (understand_ai)
- Reflexo Brain
- air-038
- Esquema
- G3 · Corte anatómico
- Idiomas
- de, en, es, fr, it, nl, pt
- Fontes
- 6 fontes verificadas em 3 de novembro de 2026
Fontes6 fontes
- arXiv, «Attention Is All You Need», 12 de junho de 2017. https://arxiv.org/abs/1706.03762 (consultado em 3 de novembro de 2026)
- NCSC (Royaume-Uni), «Prompt injection is not SQL injection (it may be worse)», 8 de dezembro de 2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection (consultado em 3 de novembro de 2026)
- arXiv, «Lost in the Middle: How Language Models Use Long Contexts», 6 de julho de 2023. https://arxiv.org/abs/2307.03172 (consultado em 3 de novembro de 2026)
- arXiv, «Language Models are Few-Shot Learners», 28 de maio de 2020. https://arxiv.org/abs/2005.14165 (consultado em 3 de novembro de 2026)
- NCSC (Royaume-Uni), «Thinking about the security of AI systems», 30 de agosto de 2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems (consultado em 3 de novembro de 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 26 de julho de 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consultado em 3 de novembro de 2026)
Citar este artigo
Brain, «O Transformer e o mecanismo de atenção», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp257_pt_2026,
author = {Brain},
title = {O Transformer e o mecanismo de atenção},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pt/articles/arquitetura-transformer-atencao/},
note = {CC BY 4.0}
}