Peut-on faire tourner un LLM sur un serveur dédié sans GPU ?

Un LLM peut-il tourner sur un CPU sans GPU ?

Oui : un LLM quantifié tourne sur le CPU d'un serveur ordinaire, depuis la RAM système, sans aucun GPU. La quantification stocke les poids du modèle sur moins de bits, ce qui réduit le fichier et le fait tenir dans la mémoire standard.

• llama.cpp est un moteur d'inférence en C/C++ simple. Son README liste la prise en charge d'AVX, AVX2, AVX512 et AMX sur les CPU x86. Il liste aussi la quantification entière de 1,5 à 8 bits « pour une inférence plus rapide et une utilisation mémoire réduite ».
• Ollama enveloppe un exécuteur de modèle avec une bibliothèque de modèles et une API. Sa FAQ indique que ollama ps affiche « 100% CPU » lorsqu'un modèle est entièrement chargé en mémoire système.

Les deux lisent les fichiers de modèle GGUF. Les deux tournent sous Linux, ce que Ironatoll installe exclusivement.

De combien de RAM ai-je besoin pour faire tourner un LLM sur CPU ?

Règle empirique : la RAM doit contenir le fichier du modèle, plus la mémoire du contexte, plus quelques gigaoctets pour le système. La taille de téléchargement d'un modèle quantifié est proche de ce qu'il occupe en RAM. Le contexte (le cache KV) vient en plus.

La FAQ d'Ollama donne les leviers. Sa fenêtre de contexte par défaut est de 4 096 tokens. La RAM requise évolue avec le nombre de requêtes parallèles multiplié par la longueur du contexte. Avec Flash Attention activé, la quantification du cache KV en q8_0 utilise environ la moitié de la mémoire du f16 par défaut.

Les tailles de téléchargement ci-dessous proviennent de la bibliothèque Ollama, consultée le 30 octobre 2026.

Pourquoi la bande passante mémoire compte-t-elle plus que le nombre de cœurs ?

La vitesse d'écriture d'une réponse est limitée par la vitesse à laquelle le CPU lit les poids depuis la RAM, pas par son nombre de cœurs. Un contributeur de llama.cpp le dit clairement : pour ces modèles, « PP est limité par le calcul et TG par la mémoire ». PP désigne le traitement du prompt, TG la génération de texte.

Chaque nouveau token lit les poids du modèle depuis la mémoire. Ainsi, sur la même machine, un modèle deux fois plus gros écrit environ deux fois moins vite. Deux conséquences pour la location :

• Le nombre de canaux mémoire compte. Les CPU serveur avec plus de canaux mémoire déplacent plus de données par seconde. Notre comparaison Ryzen ou EPYC liste les canaux par plateforme.
• Les cœurs aident toujours pour les prompts. Les prompts longs, les documents et le contexte de retrieval sont limités par le calcul, donc plus de cœurs raccourcissent l'attente avant le premier token.

Nous ne publions aucun chiffre de tokens par seconde : nous n'avons pas mesuré nos serveurs. Lancez llama-bench de llama.cpp sur votre propre serveur pour mesurer votre modèle.

Quand ai-je besoin d'un GPU à la place ?

Vous avez besoin d'un GPU pour les grands modèles à vitesse interactive, pour de nombreux utilisateurs à la fois et pour l'entraînement. La mémoire GPU est bien plus rapide que la RAM serveur, ce qui correspond exactement à ce dont la génération de texte a besoin.

Ironatoll n'a pas d'offres GPU. Un serveur CPU convient pour :

• un assistant privé ou un modèle de codage pour une personne ou une petite équipe ;
• des tâches par lots qui tournent la nuit, comme les résumés, l'étiquetage ou la traduction ;
• les embeddings et le retrieval pour un index de recherche privé ;
• un front end API, une base de données vectorielle ou un stockage de documents à côté d'un GPU loué ailleurs.

Pour des modèles 70B en temps réel, de nombreux chats simultanés ou du fine-tuning, louez de la capacité GPU chez un hébergeur qui en vend.

Comment configurer Ollama ou llama.cpp sur un serveur dédié ?

Installez avec les commandes officielles, gardez l'API sur 127.0.0.1 et accédez-y via un tunnel SSH. Ollama écoute sur 127.0.0.1:11434 par défaut, et son guide Linux le fait tourner comme service systemd sous son propre utilisateur ollama. llama-server écoute aussi sur 127.0.0.1 par défaut et accepte une --api-key.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
ollama ps          # shows 100% CPU when the model sits in system RAM

# from your own computer: reach the API through SSH
ssh -L 11434:127.0.0.1:11434 root@YOUR_SERVER_IP
curl http://localhost:11434/api/chat -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

llama-server -m ./model.gguf -c 8192 --host 127.0.0.1 --api-key CHANGE_ME

Quelle offre Ironatoll choisir pour un LLM ?

Choisissez d'abord par RAM, ensuite par CPU. Vérifiez le modèle de CPU de chaque offre avant de commander : des plateformes plus récentes et plus de canaux mémoire signifient une génération plus rapide.

Selon la vérification de Ironatoll sur 30 October 2026, un serveur dédié comparable à Atoll 256 coûtait un médian de $1065.88 chez 8 hôtes qui acceptent la crypto sans pièce d'identité ; Ironatoll facture $406.37. Les prix du marché pour chaque palier sont dans l'index des prix des serveurs dédiés.

Un modèle auto-hébergé garde aussi les prompts sur du matériel que vous louez seul. Lisez ce qu'un hébergeur peut voir sur votre serveur avant de charger des documents privés. Chaque offre est sur combien coûte un serveur dédié Ironatoll.