Qué hardware necesitáis para un modelo de IA local
Cuánta memoria de vídeo, qué modelo y qué servidor para ejecutar inteligencia artificial (IA) en vuestra propia red sin que el dato salga. Con el hardware real de un proyecto entregado.
Hablemos de vuestro proyectoPor qué esto depende del hardware
Si la IA tiene que ejecutarse en vuestra red porque el dato no puede salir, no pagáis una suscripción: compráis un equipo. La buena noticia es que hoy un modelo grande cabe en un equipo modesto. En esta guía contamos qué mirar, con lo que aprendimos en un proyecto entregado.
Si primero queréis entender para qué sirve una IA privada en un entorno como el hospital, empezad por la guía de IA privada en hospitales. Aquí vamos directo a la parte del hardware.
Qué mirar al comprar el servidor
Cuatro piezas deciden si el modelo cabe y a qué velocidad responde.
Memoria de vídeo (VRAM)
Es el criterio decisivo. El modelo carga en la unidad de procesamiento gráfico (GPU): si no cabe, no hay velocidad que valga. Para un modelo de unas 27B en versión comprimida, 16 GB es la referencia que usamos en un proyecto, para un usuario a la vez.
El modelo y su versión comprimida
Los modelos de pesos abiertos se pueden comprimir para que ocupen menos memoria: se pierde un poco de calidad a cambio de caber en una tarjeta más modesta. Esa compresión es la que decide si os basta un equipo de gama media o necesitáis uno mayor para el mismo trabajo.
RAM y disco
La RAM del sistema tiene que aguantar la carga del modelo y el tráfico de trabajo; el disco, los pesos de varios modelos y los registros de uso. No son el cuello de botella, pero no los ignoréis.
Red segmentada
El servidor vive en un tramo de vuestra red, no en la de los usuarios. La segmentación y el tráfico cifrado son parte del diseño del servidor.
El equipo de un proyecto real
En el caso de IA local para datos clínicos implantamos el sistema sobre un equipo modesto, con estas condiciones medidas:
- Una tarjeta gráfica de 16 GB en un equipo de gama de entrada. El coste de aquel despliegue está en el caso; lo importante es el orden de magnitud, no la cifra exacta, porque los precios cambian.
- El modelo en servicio: uno abierto de unas 27B de parámetros, en versión comprimida para que cupiera en esos 16 GB.
- Ritmo de trabajo para una persona a la vez: respuestas en segundos al redactar o resumir. Las cifras exactas están en el caso.
- Todo dentro del edificio: nada salió de aquel equipo.
En aquel proyecto lo usaba una persona a la vez desde sus herramientas (Copilot, Opencode, agentes, chat interno). Vale como base para probar y trabajar de uno en uno; para varios a la vez hay que dimensionar de otra forma.
Lo que no hace falta
No hace falta un centro de proceso de datos (CPD)
Un servidor en vuestra red resuelve la mayoría de los primeros casos. Ampliar después, si el uso lo pide, sale mejor que comprar de más al principio.
No hace falta pagar por uso
El coste es el equipo, fijo y vuestro. No hay factura que crezca con el volumen de trabajo.
16 GB dan para unas 27B, de uno en uno
Es nuestra referencia medida: un modelo de unas 27B en versión comprimida, para un usuario a la vez. No es una garantía para cualquier caso: la primera decisión es el caso de uso, no la tarjeta.
Cuándo sí hace falta más
Si el caso pide un modelo mayor o varios usuarios a la vez, se recalcula la memoria y se amplía el equipo. Eso se fija en el diagnóstico, antes de comprar.
Cómo empezar
El caso de uso primero
Definimos qué va a hacer la IA (transcripción, resumen, agentes, alertas) y qué datos maneja. De eso sale el tamaño de modelo que necesitáis y, con él, el hardware.
Medir antes de comprar
Validamos el modelo con vuestro caso usando datos de ejemplo: velocidad, errores y cuántos usuarios a la vez aguanta. Lo que no dé, se sabe antes de gastar.
Despliegue en vuestra red
Instalamos el sistema en vuestro hardware, dentro de la Unión Europea, con red segmentada y registro de auditoría por equipo y cliente. Lo mantenemos mes a mes: actualizaciones, seguridad y formación.
Preguntas frecuentes
¿Cuánto cuesta el equipo?
Depende del modelo y de cuántos lo vayan a usar a la vez. Nuestra referencia: un equipo de entrada con tarjeta gráfica de 16 GB para un modelo de unas 27B en versión comprimida y un usuario a la vez. El coste de aquel despliegue está en el caso; en un hospital, con formato rack, garantía y soporte, la cifra es otra. Lo fijamos en el diagnóstico antes de que compréis nada.
¿Y si necesitamos un modelo mayor o más usuarios?
Se recalcula la memoria y se amplía el equipo. La lógica es la misma: caso de uso, modelo, versión y memoria. Lo dimensionamos en el diagnóstico.
¿Podemos usar la nube para las partes no sensibles?
Sí, y es lo que hacemos en la práctica: se migran primero los flujos con datos sensibles a vuestra infraestructura y el resto se deja donde esté, caso a caso.
¿Quién lo actualiza después?
La fase de mantenimiento mensual: actualizaciones de modelos y seguridad, soporte, revisión de la normativa y formación de vuestro equipo.
Cuéntanos qué necesitáis construir
Analizaremos vuestra necesidad y os ayudaremos a definir una solución técnica y los siguientes pasos. Contadnos qué necesitáis y os diremos con claridad si podemos ayudaros.