L’IA locale entreprise consiste à faire tourner tout ou partie d’un système d’intelligence artificielle sur vos propres serveurs, postes ou environnements privés, au lieu de tout envoyer dans le cloud. Le bon choix dépend surtout de quatre critères : sensibilité des données, latence attendue, budget d’exploitation et capacité interne à maintenir l’infrastructure. Pour une PME, l’architecture hybride est souvent la plus raisonnable. Et depuis mi-septembre 2026, le sujet n’est plus théorique : NVIDIA, Palantir et Booz Allen Hamilton ont restreint l’usage des modèles d’OpenAI et d’Anthropic pour protéger leurs données.
IA locale entreprise : ce que ça change vraiment
Une IA locale traite les données près de vous : dans vos locaux, chez un hébergeur privé, sur un serveur dédié OVHcloud, dans un cloud privé, ou parfois directement sur un appareil. Une IA dans le cloud utilise des ressources distantes, par exemple via Microsoft Azure, Google Cloud, AWS ou des API de modèles comme ceux proposés par OpenAI, Anthropic ou Mistral AI.
La différence n’est pas philosophique. Elle touche le risque, le délai et le coût. En local, vous gardez davantage de contrôle sur l’emplacement des données et sur les accès, mais vous héritez aussi de l’exploitation technique : machines, mises à jour, supervision, sauvegardes, sécurité, renouvellement matériel. Dans le cloud, vous gagnez en vitesse de démarrage et en élasticité, mais vous dépendez plus fortement des tarifs à l’usage, des conditions du fournisseur et des flux de données sortants.
Pour un dirigeant, la vraie question est simple : quelle partie de l’IA mérite d’être gardée près de l’entreprise, et quelle partie peut être externalisée sans augmenter inutilement les risques ? Gartner définit en 2025 l’infrastructure d’IA hybride comme une capacité à exécuter des charges IA et machine learning à la fois sur site, dans le cloud et en périphérie, c’est-à-dire près des utilisateurs ou des machines.
Pourquoi NVIDIA et Palantir limitent les modèles externes
Le 14 septembre 2026, The Information, repris par Reuters, a révélé que Palantir, NVIDIA et Booz Allen Hamilton restreignent ou menacent d’abandonner les modèles avancés d’Anthropic et d’OpenAI tant que ces éditeurs ne garantissent pas une protection stricte de leur propriété intellectuelle. Palantir exige un engagement irrévocable de zéro conservation des données avant d’exposer ces modèles dans sa plateforme AIP. NVIDIA cantonne les modèles d’Anthropic aux tâches peu sensibles et s’appuie sur ses propres modèles Nemotron pour le travail interne. Booz Allen interdit à ses équipes d’utiliser le modèle commercial d’Anthropic sur des projets de cybersécurité touchant des données propriétaires.
Le déclencheur est précis : une politique de conservation des journaux d’usage pendant 30 jours, introduite en juin par Anthropic avec son modèle Fable et justifiée par la détection d’attaques complexes. Les deux éditeurs affirment ne pas entraîner leurs modèles sur les données clients par défaut, mais la seule possibilité qu’un fournisseur conserve des requêtes, des extraits de code ou des métadonnées suffit à inquiéter des organisations qui manipulent des secrets industriels, des données de défense ou des informations clients. Anthropic a réagi en annonçant Enterprise Frontier Safeguards, un dispositif qui permet aux clients entreprise de stocker leurs données d’activité dans leur propre cloud, sous leurs propres clés de chiffrement, avec un déploiement progressif prévu cet automne. Microsoft, de son côté, exploite ces inquiétudes pour vendre ses environnements cloud isolés.
Deux leçons pour une PME. D’abord, la localisation du modèle ne règle pas tout : ce qui compte, c’est le contrat sur les journaux d’usage, les métadonnées et la durée de rétention. Ensuite, les grands comptes qui disposent déjà de GPU basculent vers des modèles ouverts exécutés chez eux. NVIDIA et Palantir ont d’ailleurs présenté ensemble une architecture de référence d’IA souveraine, combinant la plateforme AIP et les modèles Nemotron, pour faire tourner l’IA sur les données de l’organisation sans les exposer à un fournisseur de modèle externe. Une PME n’a pas ces moyens, mais elle peut appliquer la même logique : classer ses données par sensibilité, puis choisir le niveau d’architecture adapté à chaque usage.
Du SaaS grand public au modèle local : les quatre niveaux d’architecture
Plutôt qu’un choix binaire entre cloud et local, il est plus juste de raisonner par paliers. Chaque niveau augmente le contrôle sur les données, mais aussi le coût et la responsabilité d’exploitation.
Niveau 1 : le SaaS grand public
ChatGPT, Claude, Gemini, Perplexity ou Le Chat de Mistral dans leur version web standard. Aucune mise en place, accès aux meilleurs modèles, mais les conditions d’utilisation sont celles du grand public : les données saisies peuvent être conservées et, selon les réglages, servir à améliorer le service. Ce niveau convient à la veille, aux brouillons, à l’aide rédactionnelle sur du contenu non confidentiel. Il est à proscrire pour des contrats, des fichiers RH ou du code propriétaire, sauf à souscrire une offre Team ou Enterprise avec des engagements écrits.
Niveau 2 : l’API entreprise
Le même type de modèle, consommé via une API ou une plateforme cloud managée : Azure OpenAI, Amazon Bedrock, Google Vertex AI, ou les API directes d’OpenAI, d’Anthropic et de Mistral AI. Le cadre est contractuel : pas d’entraînement sur vos données, accord de traitement conforme au RGPD, choix de la région d’hébergement, parfois zéro rétention sur demande. C’est le niveau de la plupart des chatbots internes et des outils de résumé documentaire. L’affaire NVIDIA/Palantir rappelle que le point sensible est la rétention des journaux d’usage : lisez cette clause avant de signer, et négociez-la si vos données le justifient.
Niveau 3 : le cloud privé
Le modèle est déployé dans un environnement dédié : réseau privé virtuel, cloud souverain (OVHcloud, Scaleway, Outscale, S3NS), Azure Local, Google Distributed Cloud ou hébergeur privé. Le fournisseur du modèle ne voit pas vos requêtes, vous conservez la souplesse du cloud et vous garantissez la résidence des données en France ou en Europe. Le coût est plus élevé et l’exploitation partagée, mais c’est le niveau privilégié des secteurs réglementés : santé, finance, défense, collectivités.
Niveau 4 : le modèle local
Un modèle ouvert (Llama, Mistral, Qwen, Nemotron, Gemma) exécuté sur vos serveurs GPU ou directement sur les postes. Contrôle total, coût marginal nul par requête, mais capacité limitée par le matériel et exploitation entièrement à votre charge.
Perplexity Portable Computer montre où en est ce niveau pour un poste de travail. Depuis le 14 septembre 2026, cet agent local s’installe sur Windows via le Microsoft Store, fait tourner un modèle Qwen 3.8 27B sur la machine et exécute des tâches en plusieurs étapes sur les fichiers, la messagerie et les applications du poste, sans rien envoyer au cloud sauf autorisation explicite de l’utilisateur. Le ticket d’entrée est élevé : une carte NVIDIA GeForce RTX ou RTX PRO avec au moins 24 Go de mémoire vidéo, soit une RTX 3090, 4090 ou 5090, ou une station DGX Spark à plusieurs milliers d’euros, plus un abonnement Pro ou Max. Équiper dix collaborateurs revient à acheter dix GPU haut de gamme, à assumer la consommation électrique et à se passer d’un support entreprise encore embryonnaire. L’agent local est prometteur, mais il exige une infrastructure GPU sérieuse et une organisation capable de la maintenir.
Cloud, local, hybride : le comparatif utile avant de budgéter
Le tableau ci-dessous donne des ordres de grandeur observés sur le marché français pour des projets PME. Ils varient fortement selon le volume de données, le modèle utilisé, les exigences de sécurité et le niveau d’intégration au système d’information existant. Honnêtement, à petit budget, mieux vaut souvent tester en cloud avant d’acheter du matériel.
| Architecture | Cas d’usage adapté | Budget de départ courant en France | Délai réaliste pour un premier lot | Point de vigilance |
|---|---|---|---|---|
| IA cloud via API | Chatbot interne, résumé de documents, aide rédactionnelle, recherche sémantique | 5 000 à 25 000 € hors coûts d’usage | 3 à 8 semaines | Coût variable par requête et données envoyées au fournisseur |
| IA locale sur serveur dédié ou GPU | Données sensibles, traitement documentaire interne, recherche augmentée confidentielle | 25 000 à 80 000 € selon matériel et intégration | 8 à 16 semaines | Maintenance, sécurité, performances du modèle |
| Architecture hybride | Orchestration cloud, inférence locale, besoins de conformité ou faible latence | 30 000 à 120 000 € selon périmètre | 10 à 20 semaines | Complexité de gouvernance et synchronisation des données |
| IA embarquée dans une app ou un poste | Mode hors ligne, mobile terrain, filtrage local, confidentialité utilisateur | 15 000 à 60 000 € en plus du projet applicatif | 6 à 14 semaines | Puissance limitée et mises à jour distribuées |
Ces chiffres n’incluent pas toujours l’hébergement mensuel, les licences, l’audit de sécurité ou le nettoyage des données. C’est souvent là que le budget dérape. Un prototype à 10 000 € peut fonctionner en démonstration, puis devenir fragile dès qu’il faut gérer les droits utilisateurs, les journaux d’audit, le RGPD et les sauvegardes.
Sur les projets que nous menons, nous voyons souvent un écart entre le coût du modèle et le coût du système autour du modèle. L’interface, les connecteurs métiers, la base documentaire, les tests, la supervision et la sécurité comptent parfois davantage que le choix entre deux grands modèles de langage.
Quand l’IA locale est le bon choix
L’IA locale entreprise se justifie d’abord quand les données ne doivent pas sortir d’un périmètre maîtrisé. C’est le cas pour des dossiers médicaux, des données industrielles, des contrats sensibles, des fichiers RH, des plans techniques ou des informations couvertes par des engagements clients. Le RGPD impose déjà une logique de minimisation et de maîtrise des traitements ; l’AI Act européen ajoute progressivement des obligations de transparence, certaines étant applicables depuis le 2 août 2026 pour des systèmes d’IA concernés.
La latence peut aussi faire pencher la balance. Si un système doit répondre en quelques dizaines de millisecondes sur une ligne de production, dans un véhicule, dans une application terrain ou dans un site mal connecté, envoyer chaque requête vers un cloud public devient risqué. Les sujets d’IA embarquée dans les applications mobiles illustrent bien ce compromis entre autonomie, confidentialité et puissance de calcul.
Autre cas fréquent : les coûts d’usage imprévisibles. Les grands modèles facturés au volume de tokens, c’est-à-dire aux morceaux de texte traités, peuvent être économiques au lancement puis coûteux quand les usages se généralisent. Gartner a signalé en 2026 que des centres de données sur site modernisés pouvaient répondre aux risques de coûts de tokens et de concentration des données pour les usages d’IA agentique, ces assistants capables d’enchaîner plusieurs actions.
Des offres confirment cette tendance. Microsoft indique qu’Azure Local peut traiter certaines charges IA sur site, avec Foundry Local pour l’inférence locale et des pipelines de recherche dans les limites du réseau. Google Distributed Cloud air-gapped est présenté comme pouvant fonctionner sans connexion à Google Cloud ni à Internet public. Zoom a aussi annoncé en 2026 une offre AI On-Prem pour traiter des transcriptions et sous-titres dans l’infrastructure de clients réglementés.
Quand le cloud reste plus rationnel
Le cloud reste souvent le meilleur point de départ pour valider un cas d’usage. Vous accédez rapidement à des modèles puissants, à des GPU coûteux à acheter, à des services managés et à une montée en charge progressive. Si votre priorité est de tester une idée métier en un mois, l’IA locale peut ralentir le projet sans bénéfice immédiat.
Le cloud convient bien aux données peu sensibles, aux pics ponctuels, aux prototypes et aux usages qui exigent les meilleurs modèles disponibles. Il évite aussi d’acheter du matériel qui sera peut-être sous-dimensionné six mois plus tard. Côté agence, le réflexe est de séparer le test de valeur du choix définitif d’infrastructure : prouver d’abord que l’IA sert vraiment le métier, puis durcir l’architecture.
Un piège classique consiste à choisir le local pour “ne rien envoyer dehors”, tout en connectant ensuite l’outil à des services SaaS, des messageries, des CRM ou des exports non maîtrisés. La sécurité ne se résume pas au lieu d’exécution du modèle. Elle dépend aussi des droits d’accès, des journaux, du chiffrement, des sauvegardes et du plan de reprise après incident. Sur ce point, les principes de sauvegarde 3-2-1 contre les ransomwares restent très concrets pour une PME.
L’architecture hybride, souvent le meilleur compromis PME
Le schéma hybride consiste à combiner cloud et local. Par exemple : préparation ou entraînement dans le cloud, inférence en local. L’inférence désigne le moment où le modèle produit une réponse à partir d’une question ou d’un document. Ce modèle de déploiement est couramment recommandé par les grands fournisseurs pour les besoins de résidence des données, de faible latence ou de fonctionnement hors ligne.
Un cas typique : une PME veut interroger ses contrats, devis, procédures et fiches produits. Les documents restent dans un stockage contrôlé, éventuellement avec MongoDB Search ou Vector Search disponible en environnements locaux et privés depuis 2026 selon MongoDB. Le cloud peut servir à orchestrer certains traitements non sensibles, tandis que la recherche augmentée, aussi appelée RAG pour retrieval augmented generation, reste proche des données.
Cette approche limite l’exposition tout en évitant de reconstruire tout un cloud privé. Elle demande en revanche une architecture propre : identité unique, gestion des rôles, chiffrement, journalisation, supervision et politique de conservation. Si votre projet touche aussi un site ou une application client, le choix d’architecture doit être pensé avec le socle digital existant, comme on le ferait pour un site d’entreprise en architecture headless ou une application métier.
Le piège moins visible : la “gravité des données”. Plus vos données sont volumineuses, nettoyées et enrichies dans un environnement, plus elles deviennent coûteuses à déplacer. Démarrer vite en cloud est pratique, mais si tout votre historique documentaire, vos vecteurs et vos règles métiers y sont enfermés, revenir en arrière peut prendre des mois.
Les critères de décision à mettre noir sur blanc
Avant de demander un devis, formalisez les arbitrages. Une bonne décision ne part pas d’une préférence technique, mais d’un niveau de risque acceptable. Une IA locale entreprise mal exploitée peut être moins sûre qu’une IA cloud bien gouvernée.
- Sensibilité des données : données personnelles, secrets industriels, données de santé, informations contractuelles ou financières.
- Exigences réglementaires : RGPD, AI Act, NIS2 si votre activité entre dans le périmètre, clauses clients, localisation des traitements.
- Latence et disponibilité : besoin de réponse immédiate, usage hors ligne, dépendance acceptable à Internet.
- Coût total : matériel, licences, hébergement, tokens, stockage, sauvegardes, supervision et temps humain.
- Compétences internes : capacité à maintenir Linux, Kubernetes, bases vectorielles, GPU, mises à jour de modèles et sécurité.
- Réversibilité : possibilité de changer de fournisseur, d’exporter les données et de remplacer un modèle.
- Rétention chez le fournisseur : durée de conservation des journaux d’usage, métadonnées collectées, possibilité de zéro rétention contractuelle.
La conformité mérite un traitement spécifique. Depuis 2026, certaines obligations de transparence de l’AI Act sont applicables, notamment autour de l’information des utilisateurs et du marquage ou de la détection pour certains systèmes. L’architecture doit donc prévoir des journaux, des traces de décision, une documentation fournisseur et des mécanismes d’information. Ce n’est pas un supplément administratif ; c’est une partie du système.
Pour les entreprises concernées par les exigences de cybersécurité, le sujet rejoint aussi la gouvernance des risques numériques. Le suivi de la directive NIS2 et de sa transposition en France aide à comprendre pourquoi les questions d’hébergement, de continuité et de contrôle fournisseur deviennent centrales.
Une méthode simple pour choisir sans se tromper
Commencez par un cadrage de deux à trois semaines. Identifiez les données, les utilisateurs, les décisions que l’IA influencera, les systèmes à connecter et le niveau de confidentialité. À ce stade, le livrable utile n’est pas une maquette brillante, mais une matrice de risques et de coûts.
Passez ensuite par un pilote limité. Un bon pilote traite un vrai jeu de données, avec des utilisateurs métiers, des mesures de qualité et une estimation de charge. Si le sujet est documentaire, mesurez le taux de réponses correctes, les hallucinations, les sources citées et le temps gagné. Si le sujet concerne une application, comparez aussi l’option mobile, web ou PWA ; le choix du canal compte autant que le modèle, comme pour arbitrer entre application mobile et site web.
Vient enfin la décision d’industrialisation. À ce moment seulement, choisissez cloud, local ou hybride. À moins d’avoir des contraintes fortes dès le départ, acheter une infrastructure GPU avant d’avoir validé l’usage métier est rarement une bonne idée. À l’inverse, ignorer la souveraineté des données pour gagner trois semaines peut coûter cher si un client ou un auditeur bloque le déploiement.
Cadrer ce type de projet en amont évite la plupart des mauvaises surprises : budget d’usage sous-estimé, données trop dispersées, responsabilités fournisseur floues, sécurité ajoutée trop tard. Un regard extérieur aide surtout à poser les bons arbitrages avant que l’architecture ne devienne difficile à corriger.
FAQ sur l’IA locale et le cloud en entreprise
Combien coûte une IA locale entreprise ?
Pour une PME française, un premier projet sérieux démarre souvent autour de 25 000 à 80 000 € selon le matériel, les données et les intégrations. Il faut ajouter l’exploitation : hébergement, maintenance, sauvegardes, sécurité et mises à jour.
Une IA locale est-elle forcément plus sécurisée que le cloud ?
Non. Elle donne plus de contrôle sur l’emplacement des données, mais elle exige une exploitation solide. Un cloud bien configuré peut être plus sûr qu’un serveur local mal supervisé.
Faut-il imiter NVIDIA et Palantir et bannir les modèles externes ?
Pour la plupart des PME, non. Ces groupes protègent des secrets industriels et des données de défense avec des GPU déjà en place. La bonne démarche consiste à classer ses données par sensibilité, à utiliser une API entreprise avec des garanties de rétention pour les usages courants, et à réserver le cloud privé ou le modèle local aux données réellement critiques.
Peut-on commencer en cloud puis passer en local ?
Oui, à condition de prévoir la réversibilité dès le départ : formats exportables, base documentaire maîtrisée, abstraction des modèles et contrats clairs. Sans cela, la migration peut devenir longue et coûteuse.
Quelle architecture choisir pour un chatbot interne avec documents confidentiels ?
Une approche hybride est souvent adaptée : interface et orchestration contrôlées, documents stockés dans un environnement privé, et inférence locale ou cloud souverain selon le niveau de sensibilité.
L’AI Act impose-t-il d’utiliser une IA locale ?
Non. L’AI Act n’impose pas par principe une architecture locale, mais il renforce les exigences de transparence, de documentation et de gouvernance pour certains systèmes. Ces obligations doivent être intégrées dans le choix technique.