Contacto

Qué hardware necesitáis para un modelo de IA local

Cuánta memoria de vídeo, qué modelo y qué servidor para ejecutar inteligencia artificial (IA) en vuestra propia red sin que el dato salga. Con el hardware real de un proyecto entregado.

Hablemos de vuestro proyecto

Por qué esto depende del hardware

Si la IA tiene que ejecutarse en vuestra red porque el dato no puede salir, no pagáis una suscripción: compráis un equipo. La buena noticia es que hoy un modelo grande cabe en un equipo modesto. En esta guía contamos qué mirar, con lo que aprendimos en un proyecto entregado.

Si primero queréis entender para qué sirve una IA privada en un entorno como el hospital, empezad por la guía de IA privada en hospitales. Aquí vamos directo a la parte del hardware.

Qué mirar al comprar el servidor

Cuatro piezas deciden si el modelo cabe y a qué velocidad responde.

Memoria de vídeo (VRAM)

Es el criterio decisivo. El modelo carga en la unidad de procesamiento gráfico (GPU): si no cabe, no hay velocidad que valga. Para un modelo de unas 27B en versión comprimida, 16 GB es la referencia que usamos en un proyecto, para un usuario a la vez.

El modelo y su versión comprimida

Los modelos de pesos abiertos se pueden comprimir para que ocupen menos memoria: se pierde un poco de calidad a cambio de caber en una tarjeta más modesta. Esa compresión es la que decide si os basta un equipo de gama media o necesitáis uno mayor para el mismo trabajo.

RAM y disco

La RAM del sistema tiene que aguantar la carga del modelo y el tráfico de trabajo; el disco, los pesos de varios modelos y los registros de uso. No son el cuello de botella, pero no los ignoréis.

Red segmentada

El servidor vive en un tramo de vuestra red, no en la de los usuarios. La segmentación y el tráfico cifrado son parte del diseño del servidor.

El equipo de un proyecto real

En el caso de IA local para datos clínicos implantamos el sistema sobre un equipo modesto, con estas condiciones medidas:

  • Una tarjeta gráfica de 16 GB en un equipo de gama de entrada. El coste de aquel despliegue está en el caso; lo importante es el orden de magnitud, no la cifra exacta, porque los precios cambian.
  • El modelo en servicio: uno abierto de unas 27B de parámetros, en versión comprimida para que cupiera en esos 16 GB.
  • Ritmo de trabajo para una persona a la vez: respuestas en segundos al redactar o resumir. Las cifras exactas están en el caso.
  • Todo dentro del edificio: nada salió de aquel equipo.

En aquel proyecto lo usaba una persona a la vez desde sus herramientas (Copilot, Opencode, agentes, chat interno). Vale como base para probar y trabajar de uno en uno; para varios a la vez hay que dimensionar de otra forma.

Lo que no hace falta

No hace falta un centro de proceso de datos (CPD)

Un servidor en vuestra red resuelve la mayoría de los primeros casos. Ampliar después, si el uso lo pide, sale mejor que comprar de más al principio.

No hace falta pagar por uso

El coste es el equipo, fijo y vuestro. No hay factura que crezca con el volumen de trabajo.

16 GB dan para unas 27B, de uno en uno

Es nuestra referencia medida: un modelo de unas 27B en versión comprimida, para un usuario a la vez. No es una garantía para cualquier caso: la primera decisión es el caso de uso, no la tarjeta.

Cuándo sí hace falta más

Si el caso pide un modelo mayor o varios usuarios a la vez, se recalcula la memoria y se amplía el equipo. Eso se fija en el diagnóstico, antes de comprar.

Cómo empezar

1

El caso de uso primero

Definimos qué va a hacer la IA (transcripción, resumen, agentes, alertas) y qué datos maneja. De eso sale el tamaño de modelo que necesitáis y, con él, el hardware.

2

Medir antes de comprar

Validamos el modelo con vuestro caso usando datos de ejemplo: velocidad, errores y cuántos usuarios a la vez aguanta. Lo que no dé, se sabe antes de gastar.

3

Despliegue en vuestra red

Instalamos el sistema en vuestro hardware, dentro de la Unión Europea, con red segmentada y registro de auditoría por equipo y cliente. Lo mantenemos mes a mes: actualizaciones, seguridad y formación.

Preguntas frecuentes

¿Cuánto cuesta el equipo?

Depende del modelo y de cuántos lo vayan a usar a la vez. Nuestra referencia: un equipo de entrada con tarjeta gráfica de 16 GB para un modelo de unas 27B en versión comprimida y un usuario a la vez. El coste de aquel despliegue está en el caso; en un hospital, con formato rack, garantía y soporte, la cifra es otra. Lo fijamos en el diagnóstico antes de que compréis nada.

¿Y si necesitamos un modelo mayor o más usuarios?

Se recalcula la memoria y se amplía el equipo. La lógica es la misma: caso de uso, modelo, versión y memoria. Lo dimensionamos en el diagnóstico.

¿Podemos usar la nube para las partes no sensibles?

Sí, y es lo que hacemos en la práctica: se migran primero los flujos con datos sensibles a vuestra infraestructura y el resto se deja donde esté, caso a caso.

¿Quién lo actualiza después?

La fase de mantenimiento mensual: actualizaciones de modelos y seguridad, soporte, revisión de la normativa y formación de vuestro equipo.

Cuéntanos qué necesitáis construir

Analizaremos vuestra necesidad y os ayudaremos a definir una solución técnica y los siguientes pasos. Contadnos qué necesitáis y os diremos con claridad si podemos ayudaros.