Ejecutar un LLM en local en OVH o en on-premise con Ollama permite mantener el control sobre los datos, reducir la dependencia de las API cloud y desplegar una IA privada para el desarrollo, el análisis documental o la asistencia de negocio.
En 2026, los modelos open weights como Llama, Mistral, Qwen o DeepSeek hacen que la IA local sea mucho más accesible. Con Ollama, un servidor dedicado de OVH, una máquina on-premise o un nodo homelab puede ejecutar un modelo de lenguaje sin enviar los prompts a un servicio de terceros.
Este enfoque interesa especialmente a los equipos técnicos, las agencias web, las DSI y las empresas que manejan datos sensibles. Para una agencia como DualMedia, que acompaña proyectos web, móviles y de negocio, un LLM local se convierte en una herramienta concreta para prototipar, documentar, analizar código o asistir workflows internos sin exponer informaciones confidenciales.
Por qué ejecutar un LLM en local en OVH o en on-premise
Un LLM local responde a una expectativa sencilla: utilizar la IA generativa sin confiar sus datos a una plataforma externa. Los prompts, los archivos, los logs y las configuraciones permanecen en la infraestructura controlada por la empresa.
Esta lógica encaja muy bien en los entornos OVH, los servidores bare metal, las máquinas virtualizadas y las instalaciones on-premise. Evita depender únicamente de una API remota, al tiempo que mantiene una solución flexible para los usos internos.
En un equipo de desarrollo, esto puede servir para revisar código, explicar un error del servidor, generar un script bash, resumir una documentación o analizar archivos técnicos. La principal ventaja no proviene solo de la velocidad, sino de la confidencialidad y del control del entorno.
- Conservar los prompts y documentos dentro de la red interna.
- Reducir la dependencia de los servicios de IA propietarios.
- Probar varios modelos open weights según las necesidades.
- Crear una interfaz privada con Open WebUI.
- Conectar el LLM a herramientas de negocio, API o una base documental interna.
Para proyectos más avanzados, la elección de la herramienta de IA también debe estar alineada con las limitaciones del negocio, los recursos del servidor y la seguridad. La guía de DualMedia sobre la elección de las herramientas de IA para un proyecto detalla esta lógica de selección del lado de los equipos técnicos y managers.
Ollama y Open WebUI: el dúo sencillo para una IA local
Ollama ejecuta modelos de lenguaje en local desde la línea de comandos o mediante una API REST. Open WebUI añade una interfaz web similar a ChatGPT, con historico, conversaciones de varios turnos, gestión de archivos y funcionalidades orientadas a RAG.
El principio es claro: Ollama se ocupa del motor de inferencia, Open WebUI proporciona laexperiencia del usuario. Esta separación permite conservar una arquitectura legible, fácil de mantener y adaptada tanto a los servidores dedicados como a las máquinas internas.
En un servidor equipado con una RTX 3060, Llama 3.1 8B puede alcanzar aproximadamente 40 tokens por segundo en un contexto favorable. Esta performance es más que suficiente para revisión de código, síntesis de logs o generación de documentación técnica.
En una máquina más modesta, como un mini-servidor de tipo MS-01 con suficiente RAM, los modelos 7B siguen siendo utilizables en el día a día. El tiempo de respuesta aumenta solo con CPU, pero el uso sigue siendo pertinente para solicitudes puntuales o asistentes internos.
Qué configuración elegir para ejecutar un LLM en local
La elección del hardware depende del modelo, de la cuantización, del número de usuarios y del nivel de confort esperado. Un modelo pequeño puede funcionar con CPU, mientras que un modelo más voluminoso resulta mucho más cómodo con una GPU NVIDIA o un chip Apple Silicon reciente.
Para una empresa, la verdadera pregunta no es solo “¿funciona?”. También hay que evaluar la latencia, la carga simultánea, la seguridad, el almacenamiento de los modelos y la integración en las herramientas internas.
| Configuración | Uso recomendado | Modelos adecuados | Puntos a tener en cuenta |
|---|---|---|---|
| CPU reciente con 16 Go de RAM | Asistente personal, resúmenes, scripts simples | Mistral 7B, Phi-3 Mini, Llama 3.2 3B | Respuestas más lentas, poco adecuado para usos simultáneos |
| Servidor OVH con GPU NVIDIA | Equipo técnico, code review, análisis documental | Llama 3.1 8B, Qwen, DeepSeek según los recursos | Coste del servidor, supervisión de la GPU, securización de la red |
| Servidor on-premise dedicado | Datos sensibles, conformité interna, RAG privado | Mistral, Llama, Qwen en cuantización adaptada | Mantenimiento, copias de seguridad, acceso remoto seguro |
| Homelab o mini-servidor | Pruebas, vigilancia tecnológica, automatizaciones personales | Modelos de 3B a 7B | RAM limitada, refrigeración, disponibilidad |
Los modelos 7B suelen constituir el mejor punto de entrada. Según la cuantización, generalmente requieren entre 4 y 8 GB de RAM, lo que permite hacerlos funcionar en una máquina de 16 GB manteniendo otros servicios activos.
En un contexto de agencia o pyme, esta configuración es suficiente para validar los usos antes de dimensionar una infraestructura más robusta. DualMedia recomienda a menudo empezar por un perímetro controlado: un modelo, algunos casos de uso, una interfaz web y una política de acceso clara.
Instalar Ollama Docker y Open WebUI en un servidor
Docker simplifica enormemente la instalación de Ollama y de Open WebUI. El enfoque basado en contenedores permite aislar los servicios, conservar los datos en volúmenes persistentes y mover más fácilmente la stack entre un servidor OVH, una VM o una máquina on-premise.
Una configuración clásica se basa en dos servicios. El primero lanza la imagen ollama/ollama y expone el port 11434. El segundo inicia Open WebUI, expone la interfaz en un port web y luego se conecta a Ollama mediante la dirección interna de la red Docker.
En una stack Docker Compose, los volúmenes pueden, por ejemplo, apuntar a /opt/stacks/ollama/data para los modelos y a /opt/stacks/open-webui/data para los datos de la interfaz. Esta organización evita perder los modelos descargados lors de una actualización de contenedor.
Para una GPU NVIDIA, hay que prever el runtime compatible y declarar el acceso a la GPU en la configuración de Docker. Esta etapa transforma la experiencia de usuario: las respuestas se vuelven más rápidas, sobre todo con modelos 7B u 8B.
Una vez iniciados los contenedores, los modelos se descargan directamente desde el terminal. Comandos como docker exec -it ollama ollama pull llama3.2, docker exec -it ollama ollama pull mistral o docker exec -it ollama ollama pull phi3.5 permiten añadir rápidamente los primeros modelos.
Qué modelos LLM utilizar con Ollama en local
Ollama da acceso a varias familias de modelos open weights. La elección correcta depende del idioma, del tipo de tarea, de los recursos disponibles y del nivel de precisión esperado.
Mistral 7B sigue siendo un excelente compromiso para el francés, los resúmenes y los intercambios generalistas. Llama 3.2 se adapta bien a las tareas técnicas, mientras que Phi-3 Mini es pertinente para las máquinas más limitadas en memoria.
Qwen ofrece una relorción calidad/recursos interesante para un uso diario, especialmente cuando hay que encadenar solicitudes técnicas sin movilizar una infraestructura pesada. Los modelos DeepSeek, por su parte, suelen estudiarse para usos orientados al razonamiento, al código y al análisis estructurado.
El panorama de los modelos evoluciona rápido, en particular con el auge de las alternativas asiáticas y europeas. Para seguir las tendencias, el artículo de DualMedia sobre las mejores IA chinas ofrece una visión útil de los actores y modelos que hay que vigilar.
Casos de uso concretos para un LLM local en empresa
Un LLM local se vuelve realmente útil lorsque responde a necesidades recurrentes. Por ejemplo, un equipo de explotación puede pedirle que resuma logs de Proxmox, explique un error de Nginx o proponga un comando de diagnóstico sin exponer las IP internas.
Un equipo web puede utilizarlo para revisar un componente, reformular una documentación de cliente, generar un modelo de ticket o producir un primer análisis de un problema de performance. En este contexto, la IA no es un gadget: acelera las tareas de bajo valor creativo pero de forte carga cognitiva.
Open WebUI también añade una capa interesante con los archivos adjuntos y el RAG. Una empresa puede indexar documentación interna, un repositorio de procedimientos o manuales técnicos para consultar sus propios conocimientos.
Para una aplicación empresarial, este enfoque puede enriquecer un back-office, una herramienta de support o un asistente interno. DualMedia acompaña este tipo de reflexión en proyectos de desarrollo de aplicaciones de negocio, donde la IA debe seguir siendo útil, segura e integrada en el workflow existente.
Ejemplo de uso: análisis de logs y generación de scripts
Imaginemos una pyme que aloja varios servicios internos en OVH y mantiene algunas herramientas on-premise. Su equipo técnico recibe regularmente logs que contienen nombres de máquinas, direcciones privadas y fragmentos de configuración.
Con un LLM local, el equipo puede pegar estos extractos en Open WebUI para solicitar una síntesis, una hipótesis de fallo o un script bash de verificación. Los datos no salen de la red controlada, lo que cambia profundamente el nivel de confianza.
Este tipo de escenario ilustra bien la diferencia con una IA cloud generalista. El beneficio no es solo funcional, también es organizativo: el equipo se atreve a utilizar el asistente con datos reales.
Proteger Ollama en OVH o on-premise
Un LLM local nunca debe convertirse en un servicio abierto a todo Internet. Exponer directamente el port de Ollama en público anula gran parte del interés en materia de confidencialidad y crea un riesgo de abuso.
La buena práctica consiste en mantener Ollama en la red interna. Open WebUI puede publicarse detrás de un reverse proxy con HTTPS, autenticación forte y reglas de acceso adaptadas.
Para un acceso remoto, es mejor pasar por una VPN, un túnel seguro o una solución de autenticación robusta. El objetivo es sencillo: tratar la IA local como cualquier servicio sensible, al mismo nivel que una herramienta de administración o que un panel de bord de servidor.
- No exponer el port 11434 públicamente.
- Utilizar un reverse proxy para Open WebUI.
- Activar una autenticación forte en la interfaz.
- Limitar el acceso por IP, VPN o red privada.
- Supervisar la carga de CPU, RAM, GPU y disco.
- Actualizar regularmente los contenedores e imágenes.
La seguridad también debe cubrir los prompts y los documentos inyectados en la herramienta. Incluso en local, un asistente de IA puede conservar un historico o indexar archivos; por tanto, hay que definir una política clara de conservación y eliminación.
Integrar un LLM local en una aplicación web o móvil
Ollama expone una API REST, lo que facilita su integración en una aplicación web, una herramienta interna o un prototipo móvil. Resulta posible crear una interfaz a medida, conectar un sistema de tickets o añadir un asistente a un back-office.
No obstante, esta integración requiere método. Hay que gestionar los permisos, filtrar las entradas, limitar los volúmenes, rastrear los usos y prever respuestas adecuadas cuando el modelo se equivoca o carece de contexto.
En una arquitectura profesional, el LLM no debe decidir por sí solo. Debe estar respaldado por reglas de negocio, fuentes fiables, control humano y una experiencia de usuario bien diseñada.
Es precisamente en este punto donde la experiencia UX, web y móvil se vuelve esencial. Una agencia como DualMedia puede ayudar a transformar una experimentación con Ollama en una funcionalidad utilizable: asistente de supporte, motor de búsqueda documental, ayuda a la redacción o copiloto interno.
Este enfoque también se alinea con las prácticas de las agencias que utilizan la IA para mejorrar el rendormiento y los contenidos de los sitios web. El artículo sobre el uso de la inteligencia artificial por las agencias web muestra cómo estas herramientas pueden integrarse en una estrategia digital más amplia.
OVH, on-premise o cloud IA: cómo decidir
La elección entre un LLM local, un servidor OVH y una API cloud depende del nivel de confidencialidad, del presupuesto, de la carga prevista y de la necesidad de personalización. Ningún modelo de alojamiento es universal.
Un servicio cloud sigue siendo práctico para acceder rápidamente a modelos muy potentes sin gestionar la infraestructura. En cambio, Ollama en un servidor privado ofrece más control, pero obliga a supervisar los recursos, las actualizaciones y la seguridad.
| Opción | Beneficios | Límites | Mejor contexto |
|---|---|---|---|
| Ollama en OVH | Control, disponibilidad remota, recursos dedicados | Administración del servidor, seguridad por gestionar | Equipos técnicos, agencias, pymes con necesidades habituales |
| Ollama on-premise | Datos internos, control físico, baja exposición externa | Mantenimiento del hardware, acceso remoto que debe controlarse | Sectores sensibles, SI internos, documentación privada |
| API IA cloud | Potencia, simplicidad, modelos avanzados | Dependencia del proveedor, transferencia de datos | Prototipos rápidos, usos no sensibles, picos puntuales |
| Enfoque híbrido | Flexibilidad, arbitraje según la sensibilidad | Arquitectura más compleja | Empresas con varios niveles de confidencialidad |
Un enfoque híbrido suele funcionar muy bien. Los datos sensibles pasan por el LLM local, mientras que ciertas tareas menos críticas pueden seguir en una API externa más potente.
Esta división evita las posiciones extremas. La cuestión no es sustituir todas las herramientas existentes, sino elegir el motor adecuado para el uso adecuado.
Buenas prácticas para pasar de la experimentación a la producción
Instalar Ollama en diez minutos es una cosa. Hacerlo fiable para un equipo es otra.
El primer paso consiste en delimitar los usos. Una IA local destinada a resumir logs no tiene las mismas exigencias que un asistente documental conectado a archivos de RR. HH., jurídicos o comerciales.
A continuación, hay que definir un modelo por defecto, probar las performances, controlar la calidad de las respuestas y documentar las limitaciones. Sin esta disciplina, la herramienta corre el riesgo de convertirse en un juguete técnico en lugar de una verdadera palanca operativa.
- Identificar tres casos de uso prioritarios y medibles.
- Elegir un modelo adaptado a los recursos disponibles.
- Desplegar Ollama y Open WebUI en una red protegida.
- Probar las respuestas con datos realistas pero controlados.
- Formar a los usuarios en los buenos prompts y en las limitaciones del modelo.
- Implementar una supervisión de CPU, RAM, GPU y almacenamiento.
- Prever una estrategia de copia de seguridad y actualización.
Este método progresivo asegura el proyecto. También permite decidir objetivamente si conviene seguir con un servidor existente, alquilar una máquina más potente o integrar la IA en una aplicación empresarial específica.
Nuestra opinión
Ejecutar un LLM en local en OVH o en on-premise con Ollama es hoy una opción creíble para los equipos que quieren conciliar IA, confidencialidad y dominio técnico. La combinación de Ollama y Open WebUI ofrece una base simple, clara y lo bastante robusta para muchos usos profesionales.
El mejor punto de partida sigue siendo un modelo 7B bien elegido, una instalación Docker limpia y una exposición de red mínima. Antes de buscar el modelo más potente, hay que validar los casos de uso, la seguridad y la experiencia de usuario.
Para una empresa, el interés se revela sobre todo cuando el LLM local se integra en un proceso real: support interna, documentación, desarrollo, análisis de logs o aplicación de negocio. Es en esta integración donde el acompañamiento de una agencia web y móvil experta como DualMedia apporte aporta más valor.
¿Cómo ejecutar un LLM en local en OVH con Ollama?
Hay que instalar Ollama en un servidor OVH, idealmente mediante Docker, y luego descargar un modelo compatible. A continuación, Open WebUI puede proporcionar una interfaz web privada conectada a Ollama en la red interna.
¿Hace falta una GPU para ejecutar un LLM en local?
No, Ollama también funciona solo con CPU. Una GPU acelera fortement la inferencia, pero los modelos 3B o 7B cuantificados siguen siendo utilizables en un procesador reciente con suficiente RAM.
¿Qué modelos elegir para un LLM local con Ollama?
Mistral 7B, Llama 3.2, Phi-3 Mini y Qwen son buenos puntos de partida. La elección depende del idioma, de la memoria disponible, de la necesidad de velocidad y del tipo de tareas a tratar.
¿Es obligatorio Open WebUI para usar Ollama?
No, Open WebUI no es obligatorio. Ollama expone una API REST utilizable directamente, pero Open WebUI apporte una interfaz confortable con historique, archivos y conversaciones de varios turnos.
¿Un LLM en local es más seguro que una API cloud?
Sí, si la instalación está protegida correctamente. Los datos permanecen en su infraestructura, pero hay que evitar cualquier exposición pública de Ollama y asegurar el acceso a Open WebUI.
¿Se puede utilizar Ollama en un servidor on-premise?
Sí, Ollama funciona muy bien en un servidor on-premise. Esta opción conviene a las empresas que quieren mantener sus datos en su red interna y controlar físicamente la infraestructura.
¿Cuánta RAM se necesita para ejecutar un LLM en local?
Un modelo 7B cuantificado suele requerir entre 4 y 8 Go de RAM. Con 16 Go de RAM, es posible hacer funcionar un modelo ligero manteniendo otros servicios activos.
¿Se puede integrar Ollama en una aplicación web o móvil?
Sí, Ollama puede integrarse a través de su API REST. Así, una aplicación web, móvil o empresarial puede consultar un modelo local, siempre que se controlen los accesos, los prompts y las respuestas.
¿Qué diferencia hay entre Ollama local y ChatGPT?
La principal diferencia se refiere al alojamiento y a los datos. Con Ollama local, los prompts y los documentos permanecen en su servidor, mientras que un servicio en la nube procesa las solicitudes en una infraestructura externa.
¿Es Ollama adecuado para una agencia web o móvil?
Sí, Ollama puede ayudar a una agencia web o móvil a analizar código, redactar documentación, probar prompts y asistir en proyectos de negocio. El interés aumenta lorsque la herramienta está integrada en workflows internos seguros.
¿Quieres obtener una cotización detallada para una aplicación móvil o sitio web?
Nuestro equipo de expertos en desarrollo y diseño de DualMedia está listo para hacer realidad sus ideas. Contáctenos hoy mismo para obtener un presupuesto rápido y preciso: contact@dualmedia.fr