Plataforma de Inteligencia Artificial On-Premise
Nivel intermedio hogareño (piloto accesible). Los datos no salen de la empresa.
1. Resumen ejecutivo
Esta propuesta describe una plataforma de IA generativa 100% on-premise, con enfoque de bajo costo y rápida puesta en marcha. El nivel intermedio hogareño está pensado para que entre 5 y 10 usuarios de distintos departamentos accedan a la IA con sus propios documentos, sin que ningún dato salga a la nube.
La arquitectura se apoya en una PC de escritorio de gama alta con GPU NVIDIA RTX 3060 de 12 GB (o RTX 4060 Ti de 16 GB como alternativa superior), procesador AMD Ryzen 5 y 32 GB de RAM DDR5. El software es código abierto: Ollama (inferencia), Open WebUI (interfaz tipo ChatGPT) y AnythingLLM (RAG por departamento).
La inversión en hardware se estima entre USD 1.800 y 2.800 (aproximadamente $3.000.000 – $4.800.000 a tipo de cambio de referencia), un ahorro del 65–70% respecto al nivel intermedio de producción. Es ideal para validar IA on-premise con presupuesto acotado antes de escalar. La implementación y el soporte los hace Servi-Net a USD 48,70 ($75.000) la hora.
2. Objetivos y alcance
2.1. Objetivos
- Validar el uso de IA generativa local con inversión mínima, sin dependencia de la nube.
- Habilitar acceso multiusuario básico para 5–10 usuarios de distintos departamentos.
- Segmentar el conocimiento (RAG) para que cada área consulte solo sus documentos.
- Servir como prueba de concepto que justifique, más adelante, migrar a infraestructura de producción.
2.2. Qué incluye
- Suministro, instalación y configuración del hardware (PC de escritorio).
- Sistema Linux en el servidor (drivers NVIDIA y contenedores).
- Despliegue de Ollama, Open WebUI y AnythingLLM.
- Autenticación básica y espacios de trabajo por departamento.
- Bases de conocimiento vectoriales (RAG) para un mínimo de 3 departamentos piloto.
- Pruebas, documentación y capacitación básica al personal de TI.
2.3. Qué no incluye
- Desarrollo de aplicaciones de front-end a medida.
- Migración masiva de datos históricos.
- Soporte continuado posterior (se cotiza aparte a USD 48,70 / $75.000 la hora).
- Alta concurrencia: más de 10 usuarios simultáneos con uso intensivo.
3. Arquitectura
La solución es monolítica y simplificada: un solo equipo ejecuta todos los componentes. Los usuarios entran con el navegador. La separación de datos se hace con espacios de trabajo en AnythingLLM.
Open WebUI
Interfaz unificada, login básico y chat para todos los departamentos.
AnythingLLM
Espacios por departamento y bases vectoriales aisladas (LanceDB integrado).
Ollama
Motor de inferencia, gestión de modelos y API compatible con OpenAI.
NVIDIA RTX 3060 · 12 GB
Llama 3.1 8B, Qwen 7B, Mistral 7B (cuantización Q4)
4. Hardware y valorización
4.1. Componentes
| Componente | Modelo recomendado | Para qué sirve |
|---|---|---|
| GPU | NVIDIA RTX 3060 12 GB (ASUS Dual, MSI Ventus, Gigabyte Windforce) o RTX 4060 Ti 16 GB | Componente crítico: define tamaño del modelo y velocidad. 12 GB GDDR6, PCIe 4.0. |
| CPU | AMD Ryzen 5 5600 (6C/12T) o Ryzen 5 7600 (AM5) | Coordina la GPU y el sistema; suficiente para este piloto. |
| Placa madre | ASUS Prime A620M-K (AM5) o Gigabyte B650M D3HP | Socket AM5, DDR5, PCIe 4.0. |
| Memoria | 32 GB DDR5 5600 MHz (2 × 16 GB) | Mínimo recomendado para modelos 7B–13B; con 16 GB el equipo queda corto. |
| Disco | SSD NVMe PCIe 4.0 de 1 TB (Kingston NV3, WD Blue SN5100) | Sistema, modelos y bases vectoriales iniciales. |
| Fuente | 750 W 80 Plus Bronze/Gold (MSI MAG A750BN, ASUS Prime 750W) | Margen amplio para RTX 3060 (~170 W TDP) y el resto del equipo. |
| Gabinete | Mid-Tower ATX (Jalatec, Raptor, Cooler Master Elite) | Buen flujo de aire; no hace falta gabinete premium. |
| Refrigeración | Disipador de torre (ARCTIC Freezer 36) o cooler de serie | Ryzen 5 no exige refrigeración líquida en este uso. |
Los rangos de inversión son orientativos; la cotización formal define importes. Todos los valores no incluyen impuestos.
4.2. Total de hardware
| Configuración | USD | ARS (referencia) |
|---|---|---|
| Mínima: RTX 3060, Ryzen 5 5600, 32 GB DDR5, SSD 1 TB | 1.800 – 2.200 | $3.000.000 – $3.800.000 |
| Recomendada: RTX 4060 Ti 16 GB, Ryzen 5 7600, 32 GB DDR5, SSD 1 TB | 2.300 – 2.800 | $3.800.000 – $4.800.000 |
| Alternativa PC armada con RTX 3060 (llave en mano) | 2.500 – 3.500 | $4.000.000 – $6.000.000 |
5. Software: pila simplificada
Toda la pila es código abierto y sin costo de licencia, elegida para abaratar y simplificar la operación frente al nivel de producción.
| Función | Producción (intermedio) | Hogareño (esta propuesta) | Ventaja |
|---|---|---|---|
| Motor de inferencia | vLLM | Ollama o LM Studio | Instalación simple, modelos automáticos, API compatible con OpenAI. |
| Interfaz | LocalAI + Open WebUI | Open WebUI con Ollama | Experiencia tipo ChatGPT, multiusuario básico. |
| RAG por departamento | ChromaDB separado | AnythingLLM | Espacios de trabajo con documentos propios por área. |
| Autenticación | LocalAI con RBAC y cuotas | Login básico de Open WebUI | Suficiente para 5–10 usuarios en piloto; luego se puede migrar a LocalAI. |
6. Comparativa con el nivel intermedio de producción
| Dimensión | Intermedio (producción) | Intermedio hogareño |
|---|---|---|
| GPU | RTX 5090 32 GB | RTX 3060 12 GB o RTX 4060 Ti 16 GB |
| CPU | Ryzen 9 9950X | Ryzen 5 5600 / 7600 |
| RAM | 64 GB DDR5 | 32 GB DDR5 |
| Software | vLLM + LocalAI + ChromaDB | Ollama + Open WebUI + AnythingLLM |
| Usuarios concurrentes | 5–20 | 5–10 (uso moderado) |
| Modelos | 13B–34B | 7B–13B (Q4) |
| Plazo | 2 a 3 meses | 1 a 2 semanas |
| Hardware (USD) | 6.875 – 8.750 | 1.800 – 2.800 |
| Ahorro aprox. | — | 65–70% |
7. Capacidades y sectores
Entre 5 y 10 usuarios de distintos departamentos pueden usar la plataforma a la vez, cada uno en su espacio.
| Departamento | Caso de uso | Modelo | Acceso |
|---|---|---|---|
| RR. HH. | Filtrado de CVs, consultas de convenio, descripciones de puesto. | Llama 3.1 8B | Web + RAG |
| Legal | Contratos simples, cláusulas, resumen de normativas. | Qwen 7B o Llama 3.1 8B | Web + RAG |
| Ventas | Borradores de propuestas, respuestas frecuentes. | Llama 3.1 8B | Web + RAG |
| Soporte | Chatbot sobre manuales y FAQ. | Qwen 7B | Web |
| Administración / TI | Usuarios y espacios de trabajo. | — | Panel Open WebUI |
Con RTX 3060 y modelos 7B–8B en Q4, la plataforma atiende 5–10 usuarios concurrentes con latencia aceptable. Uso intensivo simultáneo puede ralentizar respuestas.
Qué se puede hacer
- Modelos 7B–8B con buena velocidad; 13B–14B con velocidad aceptable.
- RAG sobre documentos de hasta 50–100 páginas por departamento.
- Chatbots internos, borradores, resúmenes y extracción de datos.
Limitaciones
- Modelos 30B+ no corren con fluidez (requieren 24 GB+ de VRAM).
- Concurrencia limitada bajo carga pesada.
- En 13B, orden de magnitud ~8–15 tokens/segundo.
8. Plan de trabajo
| Fase | Tiempo | Qué se hace | Entregable |
|---|---|---|---|
| 1. Hardware | 3–5 días | Cotización y compra de componentes o PC armada. | Equipo recibido y verificado. |
| 2. Sistema | 1–2 días | Sistema Linux, drivers NVIDIA, Docker. | GPU reconocida y servidor listo. |
| 3. Ollama | 1 día | Instalación, modelos Llama 3.1 8B y Qwen 7B, prueba de API. | API de inferencia operativa. |
| 4. Open WebUI | 1 día | Despliegue, autenticación y usuarios. | Interfaz web con login. |
| 5. AnythingLLM | 2–3 días | Espacios por departamento, ingesta piloto, pruebas RAG. | Cada área responde con sus documentos. |
| 6. Prueba y capacitación | 2–3 días | Pruebas con usuarios, ajustes, documentación y capacitación. | Sistema listo para uso. |
Plazo total: 1 a 2 semanas.
9. Garantía y soporte
- Hardware: 12 meses según proveedor.
- Software: código abierto, sin licencia. Soporte y mantenimiento: Servi-Net a USD 48,70 ($75.000) la hora.
- Documentación: manual de usuario, guía de administración y procedimiento de backup.
10. Inversión
| Concepto | USD | ARS |
|---|---|---|
| Hardware (PC completa) | 1.800 – 2.800 | $3.000.000 – $4.800.000 |
| Software | 0 | $0 |
| Implementación (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Soporte (Servi-Net) | 48,70 por hora | $75.000 por hora |
| Capacitación | 48,70 por hora | Horas de implementación, a $75.000 la hora |
Nota: todos los valores no incluyen los impuestos.
11. Cierre y próximos pasos
El nivel intermedio hogareño permite validar IA on-premise con inversión baja: 5–10 usuarios, modelos 7B–13B, RAG por departamento e implementación en 1–2 semanas.
Para arrancar:
- Definir los tres departamentos piloto y el primer caso de uso de cada uno.
- Pedir cotización formal del hardware.
- Aprobar presupuesto e iniciar compra del equipo.
Quedamos a disposición para ampliar cualquier punto o coordinar una demostración.