MoE frente a denso: qué modelo usar en vuestro equipo
Los modelos abiertos de inteligencia artificial (IA) vienen en dos arquitecturas: densos y de mezcla de expertos (MoE, Mixture of Experts). La diferencia que importa en local es cuánta memoria piden y cuántos parámetros trabajan por palabra. Esta guía lo explica con ejemplos.
Hablemos de vuestro proyectoDensos y de expertos: la diferencia
Un denso usa todo el modelo para cada palabra. Uno de mezcla de expertos (MoE, Mixture of Experts) tiene muchos especialistas y solo llama a unos pocos cada vez. De ahí las dos cifras de cada ficha: parámetros totales y parámetros activos.
Denso
Cada palabra pasa por el modelo entero. 27B densos son 27B trabajando. Ejemplos: Gemma 3 27B o Qwen3-32B.
De expertos (MoE)
Cada palabra la atienden unos pocos expertos que elige un distribuidor. El nombre ya trae las dos cifras: Qwen3-30B-A3B son unos 30B en total y unos 3B activos por palabra.
Modelo denso
Todos los parámetros participan en cada palabra. Más capacidad = más cómputo por respuesta.
mezcla de expertos (MoE, Mixture of Experts)
Cada palabra activa unos pocos expertos.
Un router activa solo unos pocos «expertos» por palabra. Mucha capacidad total, poco cómputo real.
Ejemplos con cifras
Cuatro de expertos y dos densos que verás citados por todas partes:
- Qwen3-30B-A3B: 30B en total, unos 3B activos por palabra. Licencia Apache 2.0.
- Qwen3-235B-A22B: 235B en total, 22B activos. Solo para equipo grande.
- DeepSeek V3 (y R1, del mismo tamaño): 671B en total, 37B activos. El archivo comprimido pesa unos 400 GB: no es para un equipo modesto.
- Mixtral 8x7B: 47B en total, unos 13B activos. El MoE abierto clásico, con licencia Apache 2.0.
- gpt-oss 20B: 21B en total, 3,6B activos; de serie ocupa 13 GB y cabe en 16 GB. Su hermano mayor, gpt-oss 120B: 117B en total, 5B activos; requiere una unidad de procesamiento gráfico (GPU) de 80 GB. Ambos con licencia Apache 2.0.
- Densos Qwen3-32B y Gemma 3 27B: aquí lo que veis es lo que hay; todo el modelo trabaja.
DeepSeek trae licencia propia: como con todo, leedla antes de ponerlo en producción.
Lo que importa cuando se ejecuta en vuestro equipo
La tarjeta gráfica tiene que cargar el modelo entero: los parámetros totales son el criterio para la memoria. Los activos mandan en velocidad.
- Un MoE grande no cabe en una tarjeta gráfica modesta aunque use pocos parámetros por palabra: los 671B de DeepSeek ocupan cientos de GB sí o sí.
- Con poco equipo, el denso mediano suele ser la opción sensata: unas 27–32B comprimidas caben en 16 GB para un usuario a la vez.
- El MoE compensa cuando hay memoria de sobra: más calidad por palabra, porque cada una la atiende el experto que corresponde.
- Para voz, ni uno ni otro: la transcripción usa modelos de voz pequeños.
Cómo elegir
Poco equipo (16 GB)
Un denso de unas 27–32B en versión comprimida, o un MoE pequeño como gpt-oss 20B.
Equipo grande (80 GB)
Un MoE mediano (Qwen3-30B-A3B, gpt-oss 120B) da más calidad por palabra.
Centro de datos
Los grandes (DeepSeek, Qwen3-235B) solo tienen sentido con cientos de GB de memoria.
Los nombres cambian cada pocos meses; la cuenta no: memoria para los totales, velocidad para los activos.
Preguntas que nos hacen
¿Un MoE es mejor que un denso?
Por palabra generada, un MoE rinde como un denso mayor con menos cálculo. Pero pide la memoria del modelo entero. En local, el criterio es lo que quepa en vuestra tarjeta gráfica.
¿Cabe DeepSeek en nuestro servidor?
No, salvo que tengáis cientos de GB de memoria. Para equipos normales, consultad Qwen3, gpt-oss o Mixtral.
¿Y esto qué tiene que ver con el hospital?
Lo mismo que el hardware: si la IA se ejecuta en vuestro centro, alguien elige modelo y equipo. La guía de hardware lo concreta con cifras.
¿Podemos usar estos modelos en producción?
Qwen3, Mixtral y gpt-oss salieron con Apache 2.0, que permite uso comercial. Cada modelo trae su licencia: leedla antes de ponerlo en marcha.
Cuéntanos qué necesitáis construir
Analizaremos vuestra necesidad y os ayudaremos a definir una solución técnica y los siguientes pasos. Contadnos qué necesitáis y os diremos con claridad si podemos ayudaros.