Tokens, cuantización y otras palabras raras: el diccionario del Laboratorio
El vocabulario mínimo para entender cualquier noticia de IA: tokens, cuantización, VRAM, fine-tuning, RAG... explicado sin dolor.
Cuando empezamos en esto, la mitad de las noticias no las entendíamos por el idioma: tokens, cuantización, inference… Aquí va el diccionario que nos habría ahorrado meses. Los términos ordenados de más a menos importantes.
Lo básico imprescindible
Token: la unidad con la que los modelos leen y escriben. No es una palabra exacta: es un trozo de texto (~4 caracteres en inglés, algo menos en español). “automóvil” puede ser 2-3 tokens. Cuando un modelo dice “contexto de 128K tokens”, cabe más o menos una novela.
Prompt: lo que le escribes al modelo. Un prompt claro ayuda, pero la calidad también depende del modelo, los datos, el contexto, las herramientas y la validación.
Inference (inferencia): el momento en que el modelo “piensa” y te responde. Cuando un servidor de IA “sirve inferencia”, está ejecutando el modelo para responder peticiones.
Cuantización: técnica para hacer los modelos más pequeños guardando los números con menos precisión. Pasar de pesos de 16-bit a una representación de 4-bit puede reducir de forma importante la memoria de los pesos, pero la pérdida de calidad y el ahorro efectivo dependen del formato, el runtime y el modelo. Q4, Q8, IQ3… son niveles distintos.
VRAM: la memoria de la tarjeta gráfica. Es el recurso más cotizado del IA local: el modelo entero (más el contexto) tiene que caber ahí para ir rápido. La RAM de tu PC también vale, pero a cambio de velocidad.
Memoria unificada: cuando la CPU y la GPU comparten la misma memoria, como en los Mac, las DGX Spark / ASUS GX10 o los AMD Strix Halo. Permite cargar modelos mucho más grandes que con una tarjeta gráfica normal, aunque suele ser más lenta por token. Ojo: lo que reservas para el modelo se lo quitas al sistema.
Tokens por segundo (tok/s): la velocidad a la que el modelo escribe. Por encima de unos 20 tok/s la lectura se siente fluida. Hay dos cifras distintas: la de leer tu prompt (prefill, suele ser rápida) y la de generar la respuesta (decode, la que notas).
Intermedio
Fine-tuning: reentrenar un modelo existente con tus datos para especializarlo. Como darle un máster a un generalista.
RAG (Retrieval-Augmented Generation): en vez de esperar que el modelo sepa de tus documentos, se los buscas tú y se los pegas en el prompt. Combinación de búsqueda (embeddings) + generación (LLM). Es cómo las empresas “ enchufan” sus datos a la IA.
Temperature: el dial de creatividad. Baja (0-0.3): respuestas predecibles, ideal para extraer datos. Alta (0.8-1.2): más variadas y creativas, ideal para brainstorming.
System prompt: las instrucciones de fondo que definen cómo actúa el modelo (“Eres un asistente que responde en español, conciso…”). El usuario no lo ve, pero lo condiciona todo.
KV Cache: la memoria que guarda lo ya procesado de la conversación para no repetir el trabajo. Por eso la primera respuesta tarda más que las siguientes.
Avanzado (pero lo oirás siempre)
MoE (Mixture of Experts): arquitectura con múltiples “expertos” internos; por cada token solo se activan unos pocos. Permite modelos gigantes con velocidad de pequeños.
Distillation (destilación): entrenar un modelo pequeño imitando las respuestas de uno gigante. Es como aprender del mejor del curso: el alumno no sabe tanto, pero es mucho más rápido y barato.
LoRA: fine-tuning ligero. En vez de reentrenar el modelo entero, se entrena un “complemento” de unos pocos MB que se enchufa al modelo base. Así se hacen variantes de estilo o especializadas a coste mínimo.
Speculative decoding: truco de velocidad donde un modelo pequeño propone tokens y el grande los valida. Puede reducir latencia, pero depende de la compatibilidad, la tasa de aceptación y el coste de mantener el drafter.
Test-time compute: la nueva frontera — en vez de mejorar el modelo, darle MÁS tiempo de pensamiento en el momento de responder. Los modelos “de razonamiento” (o1, R1) son esto: mejor respuesta a cambio de más cómputo.
Guardaros este post en marcadores: cada vez que una noticia os deje con la cara de tonto, aquí volveremos. Y si hay un término que nos hayamos dejado y os vuelva loco, escríbenos y lo añadimos. 📖