--- id: CP-258 slug: tokenizacion-llm-fragmentos lang: es title: La tokenización de los LLM description: Un modelo de lenguaje lee fragmentos de texto, no frases. Qué implica para un empleado y qué trampas de seguridad existen. canonical_url: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ markdown_url: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «La tokenización de los LLM», Cyberpedia, 2026. https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ (CC BY 4.0) wing: 4 theme: understand_ai reflex: air-005 schema: G3 updated: "2026-11-03" translations: es: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ fr: https://startbrain.io/cyberpedia/fr/articles/tokenisation-llm-fragments/ en: https://startbrain.io/cyberpedia/en/articles/llm-tokenization-explained/ de: https://startbrain.io/cyberpedia/de/articles/tokenisierung-llm-textfragmente/ it: https://startbrain.io/cyberpedia/it/articles/tokenizzazione-llm-frammenti/ sources: - "n": 1 title: Neural Machine Translation of Rare Words with Subword Units publisher: arXiv url: https://arxiv.org/abs/1508.07909 published: "2015-08-31" accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ published: "2024-04-10" accessed: "2026-11-03" - "n": 3 title: "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing" publisher: arXiv url: https://arxiv.org/abs/1808.06226 published: "2018-08-19" accessed: "2026-11-03" - "n": 4 title: Language Models are Few-Shot Learners publisher: arXiv url: https://arxiv.org/abs/2005.14165 published: "2020-05-28" accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" - "n": 6 title: Universal and Transferable Adversarial Attacks on Aligned Language Models publisher: arXiv url: https://arxiv.org/abs/2307.15043 published: "2023-07-27" accessed: "2026-11-03" - "n": 7 title: "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations" publisher: NIST url: https://csrc.nist.gov/pubs/ai/100/2/e2023/final accessed: "2026-11-03" --- # La tokenización de los LLM Al escribir a un asistente de IA, parece que lee frases como lo haría un compañero de trabajo. Las investigaciones en las que se apoya esta ficha describen un funcionamiento distinto: las palabras raras se codifican como secuencias de unidades más pequeñas que la palabra, que aquí se llaman fragmentos (o tokens) [1]. Esta ficha explica la idea en términos sencillos y después indica qué puede sacar de ella el empleado para formular sus peticiones, comprobar las respuestas y evitar algunas trampas de seguridad. Las fuentes del expediente describen la segmentación del texto y los ataques mediante texto desconcertante. No miden el coste de un intercambio ni el tamaño de la ventana de contexto de un producto concreto, de modo que esos puntos no se tratan aquí. ## En 30 segundos - Dónde ocurre: cada vez que pega un texto, un nombre o un documento en un asistente de IA, o le pide que resuma una página. - Qué quiere el atacante: que el modelo lea instrucciones que usted no ve, porque una inyección de instrucciones puede ser imperceptible para una persona [2]. - El reflejo: El reflejo: formular instrucciones precisas, comprobar cifras y citas en la fuente y no pegar nunca datos sensibles en una herramienta no validada. - Si ya lo ha hecho: avise a su equipo de seguridad e indique la herramienta utilizada y el tipo de datos pegados. ## Preguntas directas ### ¿Lee un modelo de lenguaje las palabras tal como las escribimos? No tal cual. En 2015, unos investigadores describieron, para la traducción automática, modelos que trabajan con un vocabulario fijo, aunque traducir es un problema de vocabulario abierto [1]. Su solución consiste en codificar las palabras raras o desconocidas como secuencias de unidades más pequeñas que la palabra [1]. ### ¿Cómo se divide el texto? Los autores de 2015 comparan varias técnicas de segmentación, entre ellas modelos sencillos de secuencias de caracteres y una segmentación basada en el algoritmo de compresión «byte pair encoding» [1]. Miden una mejora de 1,1 puntos de BLEU del inglés al alemán y de 1,3 del inglés al ruso, frente a un método de respaldo basado en diccionario [1]. ### ¿Depende del idioma? La herramienta SentencePiece, presentada en 2018 por Taku Kudo y John Richardson, se describe como un segmentador de subunidades independiente del idioma [3]. Aprende sus unidades directamente a partir de frases sin procesar, mientras que las herramientas existentes suponían un texto ya dividido en palabras [3]. Se publica como código abierto con licencia Apache 2 [3]. Las fuentes citadas aquí no miden hasta qué punto un idioma está peor atendido que otro: esa cuestión queda abierta aquí. ### ¿Por qué plantea problemas un nombre raro o una palabra inventada? La intuición del artículo de 2015 es que los nombres propios, las palabras compuestas y los préstamos se traducen mejor por partes que como palabras enteras [1]. Las palabras raras se codifican en subunidades [1]. La relación con los errores en nombres raros es una interpretación de esta ficha, no un resultado medido en las fuentes. ### ¿Tienen los modelos límites conocidos? El modelo GPT-3, presentado en 2020 con 175 000 millones de parámetros, recibe sus tareas y sus ejemplos únicamente como texto [4]. Sus autores señalan que resuelve tareas como reordenar palabras o hacer sumas de tres cifras, pero también que sigue teniendo dificultades con algunos conjuntos de datos [4]. Un resultado correcto una vez no garantiza, por tanto, un resultado correcto la vez siguiente. ## Cómo funciona Las fuentes dan el principio siguiente. El modelo trabaja con un vocabulario de tamaño fijo [1]. Las palabras raras se reconstruyen a partir de varias unidades [1]. La herramienta de segmentación puede entrenarse con texto sin procesar, sin división previa en palabras [3]. Las instrucciones pasan por el mismo canal que los datos. En el estudio sobre GPT-3, las tareas y los ejemplos se «specified purely via text interaction with the model» [4]. Según OWASP, la inyección de instrucciones designa entradas que modifican el comportamiento del modelo de forma no prevista, aunque sean imperceptibles para una persona, siempre que el modelo las lea [2]. Relacionar ambos puntos es una interpretación de esta ficha, no una afirmación de OWASP. ## Qué hace usted Formular instrucciones claras. Indique el papel esperado, la tarea y el formato de la respuesta. OWASP recomienda a los diseñadores de sistemas precisar el papel, las capacidades y los límites del modelo, y definir un formato de salida claro [2]. El empleado puede aplicar ese mismo espíritu en sus peticiones. Pedir fuentes y luego comprobarlas. OWASP aconseja pedir un razonamiento detallado y citas de fuentes, y validar el resultado con código determinista [2]. Para un empleado, eso se traduce en una comprobación manual: abrir la fuente citada, volver a leer la cifra y verificar que la cita existe palabra por palabra. Los propios autores de GPT-3 señalan conjuntos de datos con los que el modelo sigue teniendo dificultades [4]. Mantener el control de las acciones importantes. OWASP recomienda la aprobación humana para las operaciones con privilegios, a fin de impedir acciones no autorizadas [2]. No deje que un asistente envíe un mensaje ni modifique un archivo sin revisión. No pegar datos sensibles. OWASP incluye la divulgación de información sensible entre las posibles consecuencias de una inyección de instrucciones [2]. El NCSC británico apunta a sistemas de IA que funcionen sin revelar datos sensibles a terceros no autorizados [5]. En la empresa, aplique la norma de su organización sobre las herramientas autorizadas. Separar el contenido externo de sus instrucciones. Cuando el asistente resume una página web o un archivo recibido, ese contenido puede incluir instrucciones ocultas [2]. OWASP aconseja separar y señalar claramente el contenido no fiable [2]. ## Las trampas El texto invisible o desconcertante. Según OWASP, una inyección de instrucciones no necesita ser legible para una persona, siempre que el modelo lea el contenido [2]. En un escenario que describe, un usuario hace resumir una página web con instrucciones ocultas: el modelo inserta una imagen vinculada a una dirección y la conversación privada se exfiltra [2]. Las cadenas de caracteres sin sentido. OWASP describe a un atacante que añade a una petición una secuencia de caracteres de apariencia absurda. Esa secuencia influye en la respuesta y elude las protecciones [2]. La investigación ofrece una versión automatizada: un sufijo adversarial hallado con técnicas de búsqueda voraces y basadas en el gradiente [6]. Los idiomas mezclados y las codificaciones. OWASP cita también al atacante que emplea varios idiomas o codifica sus instrucciones, por ejemplo en Base64 o con emojis, para escapar a los filtros [2]. Los archivos trampa. En otro escenario de OWASP, un currículum contiene instrucciones fragmentadas. Cuando un modelo evalúa la candidatura, los fragmentos se combinan y producen una recomendación positiva a pesar del contenido real del currículum [2]. En un tercero, un documento modificado en un repositorio utilizado por una aplicación de generación aumentada por recuperación falsea los resultados [2]. Las protecciones imperfectas. OWASP precisa que la generación aumentada por recuperación y el ajuste fino no eliminan por completo las inyecciones de instrucciones [2]. Considera también incierto que exista un método de prevención infalible [2]. El NCSC recuerda que los sistemas de IA tienen vulnerabilidades nuevas, que hay que tratar además de las amenazas clásicas [5]. El NIST publicó en enero de 2024 una taxonomía de los ataques al aprendizaje automático, con un glosario dirigido a lectores no expertos [7]. ## Casos reales ### Julio de 2023: un sufijo que funciona en varios asistentes El 27 de julio de 2023, Andy Zou y sus coautores, entre ellos Nicholas Carlini, presentan un método que produce automáticamente un sufijo para añadir a una petición [6]. Ese sufijo busca maximizar la probabilidad de que el modelo responda de forma afirmativa en lugar de negarse [6]. Entrenado con varias peticiones y con dos modelos (Vicuna-7B y 13B), provoca también contenidos indeseables en las interfaces públicas de ChatGPT, Bard y Claude, así como en modelos abiertos como LLaMA-2-Chat, Pythia y Falcon [6]. ## Fuentes 1. arXiv, «Neural Machine Translation of Rare Words with Subword Units», 31 de agosto de 2015. https://arxiv.org/abs/1508.07909 (consultado el 3 de noviembre de 2026) 2. OWASP, «LLM01:2025 Prompt Injection», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultado el 3 de noviembre de 2026) 3. arXiv, «SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing», 19 de agosto de 2018. https://arxiv.org/abs/1808.06226 (consultado el 3 de noviembre de 2026) 4. arXiv, «Language Models are Few-Shot Learners», 28 de mayo de 2020. https://arxiv.org/abs/2005.14165 (consultado el 3 de noviembre de 2026) 5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de noviembre de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado el 3 de noviembre de 2026) 6. arXiv, «Universal and Transferable Adversarial Attacks on Aligned Language Models», 27 de julio de 2023. https://arxiv.org/abs/2307.15043 (consultado el 3 de noviembre de 2026) 7. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://csrc.nist.gov/pubs/ai/100/2/e2023/final (consultado el 3 de noviembre de 2026) --- Fuente original: Cyberpedia, la enciclopedia pública de ciberseguridad e IA publicada por Brain. Versión canónica: https://startbrain.io/cyberpedia/es/articles/tokenizacion-llm-fragmentos/ Puede reutilizar este texto libremente bajo la licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), siempre que cite «Brain, Cyberpedia» con un enlace a la dirección anterior.