Cuantizar modelos de IA: que quepan en vuestro equipo
Un modelo de inteligencia artificial (IA) ocupa lo que ocupan sus parámetros por los bits de cada uno. Cuantizar es guardarlos con menos bits para que quepan en vuestra tarjeta gráfica, perdiendo un poco de calidad. Niveles, formatos y ejemplos con Qwen3.
Hablemos de vuestro proyectoLa cuenta
Parámetros por bytes por parámetro. Eso es todo.
- Original (16 bits): 2 bytes por parámetro. Un 32B ocupa unos 64 GB: no cabe en una tarjeta gráfica convencional.
- Q8: ~1 byte por parámetro. El mismo 32B baja a unos 34 GB, casi sin pérdida apreciable.
- Q4: ~0,6 bytes por parámetro. El 32B se queda en unos 20 GB: el equilibrio típico, con algo de pérdida.
- Q2–Q3: menos de la mitad que Q4, y ahí la pérdida ya se nota.
- Y suma la memoria de trabajo: el contexto y el programa también ocupan. Calculad un 20% por encima del archivo.
Los formatos sin complicaciones
El nivel dice cuánto ocupa; el formato dice con qué programa se usa.
GGUF
El de llama.cpp y Ollama. El que usaréis en local casi seguro. El nombre dice el nivel: Q8_0, Q6_K, Q4_K_M… la M es el punto de partida recomendado.
AWQ y GPTQ
Compresión de 4 bits pensada para servir en unidad de procesamiento gráfico (GPU) con programas como vLLM. Si el modelo se ejecuta en un servidor, consultad estos formatos.
FP8
A medio camino entre el original y los 4 bits. DeepSeek V3 salió directamente así. Para equipo serio.
NF4
Para programar y ajustar modelos en Python, no para servirlos.
Ejemplos con Qwen3
La familia Qwen3 vale para verlo porque tiene todos los tamaños, con licencia Apache 2.0.
- Qwen3-32B en Q4 ≈ 20 GB: no cabe en 16 GB; pide tarjeta de 24 GB o más.
- Qwen3-30B-A3B (de expertos) en Q4 ≈ 19 GB: tampoco entra en 16 GB, aunque use 3B por palabra. La memoria la determinan los parámetros totales.
- Qwen3-14B en Q4 ≈ 9 GB: cabe holgado en 16 GB y deja sitio para el contexto.
- Qwen3-8B en Q4 ≈ 5 GB: funciona incluso en un portátil modesto.
Regla práctica: el modelo mayor que quepa en Q4 suele dar más que uno menor en Q8, hasta que bajas de 3 bits: ahí compensa más un modelo menor en Q4. Y ante la duda, se prueba con vuestro caso.
Preguntas que nos hacen
¿Se nota la pérdida?
En Q8 casi no; en Q4 un poco, y depende de la tarea: para redactar y resumir se nota menos que para mates o código. Se prueba con vuestro caso.
¿Qué formato usamos?
En local con Ollama o llama.cpp: GGUF Q4_K_M para empezar. En servidor con vLLM: AWQ o FP8.
¿Comprimimos o descargamos?
Descargad: casi todos los modelos abiertos traen versiones ya comprimidas. Comprimir por vuestra cuenta solo compensa en casos raros.
¿La compresión vale para mezcla de expertos (MoE, Mixture of Experts)?
Sí, con la misma regla: se comprimen los totales. Por eso un MoE grande sigue sin caber en poco equipo. Lo explicamos en la guía de MoE frente a denso.
Cuéntanos qué necesitáis construir
Analizaremos vuestra necesidad y os ayudaremos a definir una solución técnica y los siguientes pasos. Contadnos qué necesitáis y os diremos con claridad si podemos ayudaros.