Plataforma de Inteligencia Artificial On-Premise
Nivel avanzado, para escalar. Los datos no salen de la empresa.
1. Resumen ejecutivo
Esta propuesta describe una plataforma de IA generativa 100% on-premise para cientos de usuarios al mismo tiempo y varios departamentos. Ningún documento ni consulta sale a la nube.
El nivel avanzado usa una GPU NVIDIA RTX PRO 6000 Blackwell de 96 GB y un procesador AMD EPYC de la serie 9005 o 9004. Con esa memoria se pueden correr modelos de 70B o más en BF16 y modelos de 120B cuantizados. La GPU se puede partir con MIG en hasta 4 instancias aisladas de 24 GB, una por departamento, con aislamiento de hardware.
El software es de código abierto: vLLM o TGI para la inferencia, LocalAI para usuarios y cuotas, ChromaDB para el conocimiento por área y Nginx para el acceso seguro. El hardware se estima entre USD 25.000 y 38.000. Las licencias no tienen costo. La implementación y el soporte los hace Servi-Net y se cotizan a USD 48,70 ($75.000) la hora.
2. Objetivos y alcance
2.1. Objetivos
- Poner en marcha una IA generativa local de alto rendimiento, sin depender de la nube.
- Dar acceso a muchos usuarios y a varios departamentos, con usuario, rol, cuota y aislamiento por hardware.
- Separar el conocimiento: cada área consulta solo sus documentos.
- Dejar un servidor estable, listo para sumar más GPU o más áreas después.
2.2. Qué incluye
- Compra, instalación y configuración del servidor.
- Sistema Linux, drivers NVIDIA, CUDA y Docker.
- vLLM o TGI, LocalAI, ChromaDB y Nginx.
- MIG para aislar el cómputo de cada departamento.
- Bases de conocimiento para 4 departamentos piloto, a definir con el cliente.
- Pruebas de carga, ajuste, documentación y capacitación.
2.3. Qué no incluye
- Carga masiva de archivos históricos fuera de los cuatro pilotos.
- Horas de soporte posteriores a la puesta en marcha. Servi-Net las cotiza a USD 48,70 ($75.000) la hora, aparte de la implementación.
3. Arquitectura
Hay un solo servidor, en la red de la empresa. Las personas entran con el navegador: no instalan nada en su PC. Nginx recibe el acceso, LocalAI decide quién puede preguntar y con qué límite, vLLM o TGI responden en la instancia MIG de ese departamento y ChromaDB aporta solo sus documentos.
Nginx
Puerta de entrada, certificado TLS y único acceso desde la red interna
LocalAI
Login, roles, cuotas y claves de API. Enruta cada consulta al modelo y a la instancia MIG de su departamento.
vLLM o TGI
Motor de respuestas. Agrupa muchas consultas a la vez. API compatible con OpenAI.
RTX PRO 6000 Blackwell · 96 GB
MIG: hasta 4 instancias de 24 GB. Modelos de 70B en BF16 y de 120B cuantizados.
ChromaDB
Una base de documentos por departamento. No se mezclan.
4. Hardware y valorización
4.1. Componentes
| Componente | Modelo recomendado | Para qué sirve |
|---|---|---|
| GPU | NVIDIA RTX PRO 6000 Blackwell Workstation Edition | 96 GB GDDR7 ECC, 24.064 núcleos CUDA, 600 W, PCIe 5.0. Soporta MIG. Corre modelos de 70B en BF16 y de 120B cuantizados. |
| CPU | AMD EPYC 9335 o EPYC 9355 (SP5) | 32 núcleos y 64 hilos, 280 W, PCIe 5.0 y DDR5-6400. La serie 9005 es la recomendada. |
| Placa madre | Supermicro H14SSL-NT o Gigabyte MZ33-AR1 | Socket SP5, DDR5-6400 y PCIe 5.0, formato ATX o E-ATX. |
| Memoria | 256 GB DDR5 ECC RDIMM (4 × 64 GB), ampliable a 512 GB | DDR5-6400. Carga los modelos grandes antes de pasarlos a la GPU. |
| Disco | SSD NVMe PCIe 5.0 de 4 TB (por ejemplo Samsung 9100 PRO) | Sistema, modelos y bases de documentos. En la configuración recomendada, 8 TB. |
| Fuente | 1600 W, 80 Plus Titanium o Platinum (ASUS ROG Thor o Cooler Master) | La GPU consume 600 W. Hace falta margen y conector ATX 3.1. |
| Gabinete | Chasis de servidor o torre grande, con buen flujo de aire | Lugar para la GPU y ventilación frontal. |
| Refrigeración | Disipador para socket SP5 (por ejemplo Noctua NH-U14S TR5-SP6) | El procesador llega a 280 W. Tiene que ser compatible con la placa. |
4.2. Total de hardware
| Configuración | USD | ARS |
|---|---|---|
| Mínima — 256 GB de RAM, disco de 4 TB, EPYC 9335 | 25.000 – 30.000 | A cotizar |
| Recomendada — 512 GB de RAM, disco de 8 TB, EPYC 9355 | 32.000 – 38.000 | A cotizar |
5. Partición MIG por departamento
MIG parte la RTX PRO 6000 a nivel de hardware. Cada departamento queda con memoria y motores de cómputo propios. Eso no se consigue con una GPU de consumo, donde el aislamiento es solo por software.
| Perfil | Memoria | Motores | Uso típico |
|---|---|---|---|
| 1g.24gb | 24 GB | 1 | Un departamento (Legal, RR. HH., Ventas o Soporte). |
| 2g.48gb | 48 GB | 2 | Un área que necesite un modelo más grande. |
| 4g.96gb | 96 GB | 4 | Toda la GPU, para una tarea de máxima exigencia. |
Ejemplo para cuatro departamentos piloto, cada uno con 24 GB:
| Departamento | Instancia | Memoria | Modelo |
|---|---|---|---|
| Legal | 1g.24gb | 24 GB | Qwen 14B o Llama 3 8B |
| RR. HH. | 1g.24gb | 24 GB | Qwen 14B, afinado para currículums |
| Ventas | 1g.24gb | 24 GB | Llama 3 8B, para propuestas |
| Soporte | 1g.24gb | 24 GB | Qwen 14B, sobre manuales |
6. Uso por sector
Varias áreas pueden usar la plataforma al mismo tiempo. Cada una ve solo su material.
| Departamento | Para qué lo usa | Modelo | Cómo entra |
|---|---|---|---|
| RR. HH. | Lectura de currículums, consultas de convenio y textos de búsqueda. | Qwen 14B | Web y API |
| Legal | Lectura de contratos, cláusulas y normas internas. | Qwen 14B o Llama 3 8B | Web y API, sobre los documentos legales |
| Ventas | Borradores de propuestas, respuestas a licitaciones y consulta de precios. | Llama 3 8B | Web y API, sobre catálogo y precios |
| Soporte | Respuestas a partir de manuales y tickets. | Qwen 14B | Web |
| Data Science | Informes, análisis y tareas de más exigencia. | Modelos de 70B en BF16 | API |
| TI | Usuarios, cuotas, MIG y el estado del servidor. | — | Panel de LocalAI |
Con 96 GB y el agrupado de consultas de vLLM, la plataforma atiende cientos de personas a la vez con una demora estable. La consulta de Legal no se responde con documentos de RR. HH.
7. Plan de trabajo
| Fase | Tiempo | Qué se hace | Qué queda entregado |
|---|---|---|---|
| 1. Hardware | 4 a 8 semanas | Cotización y compra del equipo. La RTX PRO 6000 puede demorar. | Equipo recibido y verificado. |
| 2. Servidor | 1 a 2 semanas | Sistema Linux, drivers NVIDIA, CUDA y Docker. | Servidor en la red. |
| 3. Motor de IA | 1 semana | vLLM o TGI, modelos de 70B o más, prueba de la API. | La API responde. |
| 4. MIG | 1 semana | Instancias MIG, asignación a cada departamento y prueba de que no se cruzan. | Cada área con su instancia. |
| 5. Documentos por área | 2 a 3 semanas | ChromaDB, cuatro bases piloto, carga de documentos y prueba de aislamiento. | Cada área responde solo con lo suyo. |
| 6. Prueba y capacitación | 2 semanas | Prueba de carga, ajuste de cuotas, manuales y una sesión con el equipo. | Lista para usar. |
Plazo total: 2 a 4 meses. Las seis fases, con cuatro áreas piloto, entran en ese plazo.
8. Garantía y soporte
- Hardware: 12 meses, según el proveedor.
- Software: código abierto, sin costo de licencia.
- Implementación y soporte: los hace Servi-Net. Se cotizan a USD 48,70 ($75.000) la hora, no como un monto cerrado.
- Documentos que se entregan: manual de uso, guía de administración y cómo hacer la copia de seguridad.
9. Inversión
| Concepto | USD | ARS |
|---|---|---|
| Hardware | 25.000 – 38.000 | A cotizar |
| Software | 0 | $0 |
| Implementación (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Soporte (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Capacitación | 48,70 por hora | Horas de implementación, a $75.000 la hora |
| Total de hardware | 25.000 – 38.000 | A cotizar |
Nota: todos los valores no incluyen los impuestos.
10. Cierre y próximos pasos
Con esta plataforma la empresa:
- abre la IA a toda la organización, con cientos de personas a la vez;
- aísla por hardware los recursos de cada departamento;
- puede correr modelos de 70B o más para razonamientos más exigentes;
- deja los documentos y las consultas dentro de su red;
- puede sumar otra GPU después, sin cambiar el esquema.
Para arrancar:
- Definir los cuatro departamentos piloto y el primer uso de cada uno.
- Pedir la cotización formal del equipo.
- Aprobar el presupuesto.
- Comprar el hardware e instalar.
Quedamos a disposición para revisar cualquier punto o para mostrar la plataforma en una demo.