--- id: CP-258 slug: tokenizacao-llm-fragmentos lang: pt title: A tokenização dos LLM description: Um modelo de linguagem lê fragmentos de texto, não frases. O que isso muda para um colaborador e as armadilhas de segurança. canonical_url: https://startbrain.io/cyberpedia/pt/articles/tokenizacao-llm-fragmentos/ markdown_url: https://startbrain.io/cyberpedia/pt/articles/tokenizacao-llm-fragmentos.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «A tokenização dos LLM», Cyberpedia, 2026. https://startbrain.io/cyberpedia/pt/articles/tokenizacao-llm-fragmentos/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-005 schema: G3 updated: "2026-11-03" translations: pt: https://startbrain.io/cyberpedia/pt/articles/tokenizacao-llm-fragmentos/ fr: https://startbrain.io/cyberpedia/fr/articles/tokenisation-llm-fragments/ en: https://startbrain.io/cyberpedia/en/articles/llm-tokenization-explained/ de: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ es: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ it: https://startbrain.io/cyberpedia/it/articles/tokenizzazione-llm-frammenti/ nl: https://startbrain.io/cyberpedia/nl/articles/tokenisatie-llm-tekstfragmenten/ sources: - "n": 1 title: Neural Machine Translation of Rare Words with Subword Units publisher: arXiv url: https://arxiv.org/abs/1508.07909 published: "2015-08-31" accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ published: "2024-04-10" accessed: "2026-11-03" - "n": 3 title: "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing" publisher: arXiv url: https://arxiv.org/abs/1808.06226 published: "2018-08-19" accessed: "2026-11-03" - "n": 4 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 6 title: Universal and Transferable Adversarial Attacks on Aligned Language Models publisher: arXiv url: https://arxiv.org/abs/2307.15043 published: "2023-07-27" accessed: "2026-11-03" - "n": 7 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" --- # A tokenização dos LLM Quando escreve a um assistente de IA, tem a impressão de que ele lê frases como um colega. Os trabalhos de investigação em que esta ficha se apoia descrevem outro funcionamento: as palavras raras são codificadas como sequências de unidades mais pequenas do que a palavra, a que aqui se chama fragmentos (ou tokens) [1]. Esta ficha explica a ideia em termos simples e, depois, o que o colaborador pode retirar dela para formular os seus pedidos, verificar as respostas e evitar algumas armadilhas de segurança. As fontes do dossiê descrevem a divisão do texto e os ataques por texto desconcertante. Não medem o custo de uma troca nem o tamanho da janela de contexto de um produto concreto: esses pontos não são, por isso, tratados aqui. ## Em 30 segundos - Onde acontece: sempre que cola um texto, um nome ou um documento num assistente de IA, ou lhe pede que resuma uma página. - O que quer o atacante: fazer o modelo ler instruções que você não vê, porque uma injeção de instruções pode ser impercetível para um ser humano [2]. - O reflexo: formular instruções precisas, verificar números e citações na fonte e nunca colar dados sensíveis numa ferramenta não validada. - Se já o fez: avise a sua equipa de segurança, indicando a ferramenta utilizada e a natureza dos dados colados. ## Perguntas diretas ### Um modelo de linguagem lê as palavras tal como as escrevemos? Não exatamente. Em 2015, investigadores descreveram, para a tradução automática, modelos que trabalham com um vocabulário fixo, embora traduzir seja um problema de vocabulário aberto [1]. A solução deles consiste em codificar as palavras raras ou desconhecidas como sequências de unidades mais pequenas do que a palavra [1]. ### Como é dividido o texto? Os autores de 2015 comparam várias técnicas de segmentação, entre as quais modelos simples de sequências de carateres e uma segmentação baseada no algoritmo de compressão «byte pair encoding» [1]. Medem um ganho de 1,1 pontos de BLEU para o inglês-alemão e de 1,3 para o inglês-russo, em comparação com um método de recurso baseado em dicionário [1]. ### Depende da língua? A ferramenta SentencePiece, apresentada em 2018 por Taku Kudo e John Richardson, descreve-se como um divisor de subunidades independente da língua [3]. Aprende as suas unidades diretamente a partir de frases em bruto, ao passo que as ferramentas existentes pressupunham um texto já dividido em palavras [3]. É publicada em código aberto sob licença Apache 2 [3]. As fontes aqui citadas não medem em que medida uma língua é pior servida do que outra: essa questão fica em aberto aqui. ### Porque é que um nome raro ou uma palavra inventada levanta problemas? A intuição do artigo de 2015 é que os nomes próprios, as palavras compostas e as palavras emprestadas se traduzem melhor por pedaços do que por palavras inteiras [1]. As palavras raras são codificadas em subunidades [1]. A ligação com os erros em nomes raros é uma leitura desta ficha, não um resultado medido nas fontes. ### Os modelos têm limites conhecidos? O modelo GPT-3, apresentado em 2020 com 175 mil milhões de parâmetros, recebe as suas tarefas e os seus exemplos unicamente sob a forma de texto [4]. Os autores observam que ele consegue tarefas como recolocar palavras por ordem ou fazer somas de três algarismos, mas também que continua com dificuldades em certos conjuntos de dados [4]. Um resultado correto uma vez não garante, portanto, um resultado correto da vez seguinte. ## Como funciona As fontes dão o seguinte princípio. O modelo trabalha com um vocabulário de tamanho fixo [1]. As palavras raras são reconstituídas a partir de várias unidades [1]. A ferramenta de divisão pode ser treinada com texto em bruto, sem divisão prévia em palavras [3]. As instruções passam pelo mesmo canal que os dados. No estudo sobre o GPT-3, as tarefas e os exemplos são «specified purely via text interaction with the model» [4]. Segundo a OWASP, a injeção de instruções designa entradas que alteram o comportamento do modelo de forma não prevista, mesmo que sejam impercetíveis para um ser humano, desde que o modelo as leia [2]. Aproximar os dois pontos é uma leitura desta ficha, não uma afirmação da OWASP. ## O que faz Formular instruções claras. Indique o papel esperado, a tarefa e o formato da resposta. A OWASP recomenda aos conceptores de sistemas que especifiquem o papel, as capacidades e os limites do modelo e que definam um formato de saída claro [2]. O colaborador pode aproveitar esse espírito nos seus pedidos. Pedir fontes e depois verificá-las. A OWASP aconselha a pedir um raciocínio detalhado e citações de fontes, validando o resultado com código determinístico [2]. Para um colaborador, isso traduz-se numa verificação manual: abrir a fonte citada, reler o número, confirmar que a citação existe palavra por palavra. Os autores do GPT-3 assinalam eles próprios conjuntos de dados em que o modelo continua com dificuldades [4]. Manter o controlo das ações importantes. A OWASP recomenda uma validação humana para as operações privilegiadas, a fim de impedir ações não autorizadas [2]. Não deixe um assistente enviar uma mensagem ou alterar um ficheiro sem revisão. Não colar dados sensíveis. A OWASP inclui a divulgação de informações sensíveis entre as consequências possíveis de uma injeção de instruções [2]. O NCSC britânico visa sistemas de IA que funcionem sem revelar dados sensíveis a terceiros não autorizados [5]. Na empresa, aplique a regra da sua organização sobre as ferramentas autorizadas. Separar o conteúdo externo das suas instruções. Quando o assistente resume uma página web ou um ficheiro recebido, esse conteúdo pode conter instruções ocultas [2]. A OWASP aconselha a separar e a assinalar claramente o conteúdo não fiável [2]. ## As armadilhas O texto invisível ou desconcertante. Segundo a OWASP, uma injeção de instruções não precisa de ser legível por um ser humano, desde que o conteúdo seja lido pelo modelo [2]. Num cenário que descreve, um utilizador pede o resumo de uma página web com instruções ocultas: o modelo insere uma imagem ligada a um endereço e a conversa privada é exfiltrada [2]. As cadeias de carateres sem sentido. A OWASP descreve um atacante que acrescenta a um pedido uma sequência de carateres de aparência absurda. Essa sequência influencia a resposta e contorna as proteções [2]. A investigação apresenta uma versão automatizada: um sufixo adversarial encontrado por técnicas de pesquisa gananciosas e baseadas no gradiente [6]. As línguas misturadas e as codificações. A OWASP cita também o atacante que emprega várias línguas ou codifica as suas instruções, por exemplo em Base64 ou com emojis, para escapar aos filtros [2]. Os ficheiros armadilhados. Noutro cenário da OWASP, um CV contém instruções fragmentadas. Quando um modelo avalia a candidatura, os pedaços combinam-se e produzem uma recomendação positiva apesar do conteúdo real do CV [2]. Num terceiro, um documento alterado num repositório usado por uma aplicação de geração aumentada por recuperação distorce os resultados [2]. As proteções imperfeitas. A OWASP precisa que a geração aumentada por recuperação e o ajuste fino não eliminam por completo as injeções de instruções [2]. Considera também incerto que exista um método de prevenção infalível [2]. O NCSC lembra que os sistemas de IA têm vulnerabilidades novas, a tratar além das ameaças clássicas [5]. O NIST publicou em janeiro de 2024 uma taxonomia dos ataques à aprendizagem automática, com um glossário destinado a leitores não especialistas [7]. ## Casos reais ### Julho de 2023: um sufixo que funciona em vários assistentes A 27 de julho de 2023, Andy Zou e os seus coautores, entre os quais Nicholas Carlini, submetem um método que produz automaticamente um sufixo a acrescentar a um pedido [6]. Esse sufixo procura maximizar a probabilidade de o modelo responder de forma afirmativa em vez de recusar [6]. Treinado com vários pedidos e com dois modelos (Vicuna-7B e 13B), provoca também conteúdos indesejáveis nas interfaces públicas do ChatGPT, do Bard e do Claude, bem como em modelos abertos como LLaMA-2-Chat, Pythia e Falcon [6]. ## Fontes 1. arXiv, «Neural Machine Translation of Rare Words with Subword Units», 31 de agosto de 2015. https://arxiv.org/abs/1508.07909 (consultado em 3 de novembro de 2026) 2. OWASP, «LLM01:2025 Prompt Injection», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultado em 3 de novembro de 2026) 3. arXiv, «SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing», 19 de agosto de 2018. https://arxiv.org/abs/1808.06226 (consultado em 3 de novembro de 2026) 4. arXiv, «Language Models are Few-Shot Learners», 28 de maio de 2020. https://arxiv.org/abs/2005.14165 (consultado em 3 de novembro de 2026) 5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de novembro de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado em 3 de novembro de 2026) 6. arXiv, «Universal and Transferable Adversarial Attacks on Aligned Language Models», 27 de julho de 2023. https://arxiv.org/abs/2307.15043 (consultado em 3 de novembro de 2026) 7. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado em 3 de novembro de 2026) --- Fonte original: Cyberpedia, a enciclopédia pública de cibersegurança e IA publicada pela Brain. Versão canónica: https://startbrain.io/cyberpedia/pt/articles/tokenizacao-llm-fragmentos/ Pode reutilizar livremente este texto sob a licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), desde que cite «Brain, Cyberpedia» com uma ligação para o endereço acima.