Plataforma de Inteligencia Artificial On-Premise
Nivel intermedio, lista para producción. Los datos no salen de la empresa.
1. Resumen ejecutivo
Esta propuesta describe una plataforma de IA generativa 100% on-premise: ningún documento ni consulta sale a la nube. La usan IT, Marketing, Tráfico, Administración, Control de Gestión, RR. HH., Ventas y otras áreas, cada una con sus documentos y sus permisos.
El nivel intermedio está pensado para 5 a 20 usuarios al mismo tiempo. El equipo es una estación de trabajo con GPU NVIDIA RTX 5090 de 32 GB y procesador AMD Ryzen 9 9950X. El software es de código abierto: vLLM para la inferencia, LocalAI para usuarios y cuotas, ChromaDB para el conocimiento por área y Nginx para el acceso seguro.
El hardware se estima entre USD 6.875 y 8.750 (cerca de $11.250.000 a $14.375.000). Las licencias de software no tienen costo. La implementación y el soporte los hace Servi-Net y se cotizan a USD 48,70 ($75.000) la hora.
2. Objetivos y alcance
2.1. Objetivos
- Poner en marcha una IA generativa local, sin depender de servicios en la nube.
- Dar acceso a varios departamentos, con usuario, rol y cuota propios.
- Separar el conocimiento: cada área consulta solo sus documentos.
- Dejar una base que después se pueda ampliar, sin rehacer la solución.
2.2. Qué incluye
- Compra, instalación y configuración de la workstation.
- Sistema Linux y la pila de IA: vLLM, LocalAI, ChromaDB y Nginx.
- Usuarios, roles, cuotas y claves de API.
- Bases de conocimiento para 3 departamentos piloto, a definir con el cliente.
- Pruebas de carga, ajuste y documentación.
- Capacitación a TI y a usuarios clave.
2.3. Qué no incluye
- Carga masiva de archivos históricos fuera de los tres pilotos.
- Horas de soporte posteriores a la puesta en marcha. Servi-Net las cotiza a USD 48,70 ($75.000) la hora, aparte de la implementación.
3. Arquitectura
Hay un solo servidor, en la red de la empresa. Las personas entran con el navegador: no instalan nada en su PC. Nginx recibe el acceso, LocalAI decide quién puede preguntar y con qué límite, vLLM genera la respuesta en la GPU y ChromaDB aporta solo los documentos del departamento de esa persona.
Nginx
Puerta de entrada, certificado TLS y único acceso desde la red interna
LocalAI
Login, roles, cuotas y claves de API. Enruta cada consulta al modelo y a la base de su departamento.
vLLM
Motor de respuestas. Atiende varias consultas a la vez. API compatible con OpenAI.
NVIDIA RTX 5090 · 32 GB
Qwen 14B y Llama 3 8B, en el servidor local
ChromaDB
Una base de documentos por departamento. No se mezclan.
4. Hardware y valorización
4.1. Componentes
| Componente | Modelo recomendado | Para qué sirve |
|---|---|---|
| GPU | NVIDIA GeForce RTX 5090, 32 GB GDDR7 | Define el tamaño del modelo y cuántas personas pueden usarlo a la vez. PCIe 5.0. |
| CPU | AMD Ryzen 9 9950X (16 núcleos / 32 hilos) o Ryzen 9 7950X | Hasta 5,7 GHz. Prepara los datos antes de pasarlos a la GPU. |
| Placa madre | MSI X670E Gaming Plus WiFi | Socket AM5, DDR5 y PCIe 5.0. |
| Memoria | 64 GB DDR5 5600 MHz (2 × 32 GB) | Carga los modelos antes de enviarlos a la GPU. |
| Disco | SSD NVMe PCIe 4.0 de 2 TB (por ejemplo Crucial T710) | Sistema, modelos y bases de documentos. |
| Fuente | Thermaltake Toughpower GF A3 1200 W, 80 Plus Gold | 1200 W, modular, ATX 3.1. Margen para la RTX 5090. |
| Gabinete | Corsair 5000D Frame RS | Flujo de aire y lugar para una GPU de tres slots. |
| Refrigeración | Water cooler ID-Cooling FX360 LCD, 360 mm | Mantiene el procesador estable cuando la GPU trabaja seguido. |
4.2. Total de hardware
| Configuración | USD | ARS |
|---|---|---|
| Mínima: RTX 5090, 64 GB de RAM, SSD de 2 TB | 6.875 – 7.500 | $11.250.000 – $12.500.000 |
| Recomendada: mismos componentes, con margen de gabinete, fuente y refrigeración | 7.500 – 8.750 | $12.500.000 – $14.375.000 |
5. Uso por sector
Varias áreas pueden usar la plataforma al mismo tiempo. Cada una ve solo su material.
| Departamento | Para qué sirve | Modelo | Cómo entra |
|---|---|---|---|
| IT | Usuarios, cuotas, estado del equipo y consulta de documentación técnica. | Llama 3 8B | Panel de LocalAI, web y API |
| Marketing | Borradores de piezas, campañas y textos a partir del material de la marca. | Qwen 14B | Web y API |
| Tráfico | Consultas operativas y seguimiento a partir de procedimientos e instructivos. | Llama 3 8B | Web y API |
| Administración | Lectura de procedimientos, notas internas y documentos de gestión. | Qwen 14B | Web y API |
| Control de Gestión | Lectura de informes, indicadores y cuadros de seguimiento. | Qwen 14B | Web y API |
| RR. HH. | Lectura de CVs, consultas de convenio y textos de búsqueda. | Qwen 14B | Web y API |
| Ventas | Borradores de propuestas, respuestas a licitaciones y consulta de precios. | Llama 3 8B | Web y API, sobre catálogo y precios |
| Otros | Casos que se definan con el cliente, con su propia base de documentos. | Según el caso | Web y API |
Con la RTX 5090 y modelos de 13B a 14B en 4 bits, la plataforma atiende entre 5 y 20 personas a la vez, con una demora menor a 100 ms por token. Si más adelante hace falta más capacidad, se suma otra GPU sin cambiar el esquema.
Cada departamento tiene su base en ChromaDB y sus propias credenciales. La consulta de Ventas no se responde con documentos de RR. HH.
6. Plan de trabajo
| Fase | Tiempo | Qué se hace | Qué queda entregado |
|---|---|---|---|
| 1. Hardware | 2 a 3 semanas | Cotización y compra: equipo armado o componentes. | Equipo recibido y verificado. |
| 2. Servidor | 1 semana | Sistema Linux, drivers NVIDIA, CUDA y Docker. | Servidor en la red. |
| 3. Motor de IA | 1 a 2 semanas | vLLM en Docker, modelos Qwen 14B y Llama 3 8B, prueba de la API. | La API responde. |
| 4. Usuarios | 1 semana | LocalAI con login, usuarios, cuotas y Nginx con HTTPS. | Cada persona entra con su usuario. |
| 5. Documentos por área | 2 a 3 semanas | ChromaDB, tres bases piloto, carga de documentos y prueba de que no se cruzan. | Cada área responde solo con lo suyo. |
| 6. Prueba y capacitación | 1 a 2 semanas | Prueba de carga, ajuste de cuotas, manuales y una sesión con el equipo. | Lista para usar. |
Plazo total: 2 a 3 meses. Las seis fases, con tres áreas piloto, entran en ese plazo.
7. Garantía y soporte
- Hardware: 12 meses, según el proveedor.
- Implementación y soporte: los hace Servi-Net. Se cotizan a USD 48,70 ($75.000) la hora, no como un monto cerrado.
- Documentos que se entregan: manual de uso, guía de administración y cómo hacer la copia de seguridad.
8. Inversión
| Concepto | USD | ARS |
|---|---|---|
| Hardware | 6.875 – 8.750 | $11.250.000 – $14.375.000 |
| Software | 0 | $0 |
| Implementación (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Soporte (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Capacitación | 48,70 por hora | Horas de implementación, a $75.000 la hora |
| Total de hardware | 6.875 – 8.750 | $11.250.000 – $14.375.000 |
Nota: todos los valores no incluyen los impuestos.
9. Cierre y próximos pasos
Con esta plataforma la empresa:
- deja los documentos y las consultas dentro de su red;
- abre la IA a varias áreas, con permiso y cupo por persona;
- prueba casos reales sobre sus propios archivos, con un presupuesto acotado;
- puede crecer después sin cambiar el esquema.
Para arrancar:
- Definir los tres departamentos piloto y el primer uso de cada uno.
- Pedir la cotización formal del equipo.
- Aprobar el presupuesto.
- Comprar el hardware e instalar.
Quedamos a disposición para revisar cualquier punto o para mostrar la plataforma en una demo.