Kann ich ein LLM auf einem Dedicated Server ohne GPU betreiben?

Kann ein LLM ohne GPU auf einer CPU laufen?

Ja: ein quantisiertes LLM läuft auf einer gewöhnlichen Server-CPU, aus dem System-RAM, ganz ohne GPU. Die Quantisierung speichert die Gewichte des Modells in weniger Bits, sodass die Datei schrumpft und in normalen Arbeitsspeicher passt.

• llama.cpp ist eine reine C/C++-Inferenz-Engine. Ihre README listet AVX-, AVX2-, AVX512- und AMX-Unterstützung auf x86-CPUs auf. Sie listet außerdem 1,5-Bit- bis 8-Bit-Ganzzahl-Quantisierung „für schnellere Inferenz und reduzierten Speicherverbrauch“ auf.
• Ollama umhüllt einen Model Runner mit einer Modellbibliothek und einer API. Die FAQ sagt, ollama ps zeigt „100 % CPU“, wenn ein Modell vollständig im Systemspeicher geladen ist.

Beide lesen GGUF-Modelldateien. Beide laufen auf Linux, und mehr installiert Ironatoll nicht.

Wie viel RAM brauche ich, um ein LLM auf der CPU auszuführen?

Faustregel: Der RAM muss die Modelldatei, den Kontextspeicher und ein paar Gigabyte für das System aufnehmen. Die Downloadgröße eines quantisierten Modells entspricht nahezu dem, was es im RAM belegt. Der Kontext (der KV-Cache) kommt obendrauf.

Die Ollama-FAQ nennt die Stellschrauben. Das Standard-Kontextfenster beträgt 4.096 Tokens. Der benötigte RAM skaliert mit der Anzahl paralleler Anfragen mal der Kontextlänge. Mit aktiviertem Flash Attention verbraucht die Quantisierung des KV-Cache auf q8_0 etwa die Hälfte des Speichers der Standardeinstellung f16.

Die folgenden Downloadgrößen stammen aus der Ollama-Bibliothek, abgerufen am 30. Oktober 2026.

Warum zählt die Speicherbandbreite mehr als die Kernzahl?

Wie schnell eine Antwort geschrieben wird, hängt davon ab, wie schnell die CPU die Gewichte aus dem RAM liest, nicht von der Zahl der Kerne. Ein llama.cpp-Mitwirkender sagt es klar: Für diese Modelle gilt "PP is compute-bound and TG is memory-bound". PP ist die Prompt-Verarbeitung, TG die Texterzeugung.

Jedes neue Token liest die Gewichte des Modells aus dem Speicher. Auf derselben Maschine schreibt ein doppelt so großes Modell also etwa halb so schnell. Zwei Folgen fürs Mieten:

• Speicherkanäle zählen. Server-CPUs mit mehr Speicherkanälen bewegen mehr Daten pro Sekunde. Unser Ryzen- oder EPYC-Vergleich listet die Kanäle je Plattform.
• Kerne helfen weiterhin bei Prompts. Lange Prompts, Dokumente und Retrieval-Kontext sind compute-bound, mehr Kerne verkürzen also die Wartezeit bis zum ersten Token.

Wir veröffentlichen keine Tokens-pro-Sekunde-Zahl: Wir haben unsere Server nicht gemessen. Führen Sie llama-bench aus llama.cpp auf Ihrem eigenen Server aus, um Ihr Modell zu messen.

Wann brauche ich stattdessen eine GPU?

Eine GPU brauchen Sie für große Modelle mit interaktiver Geschwindigkeit, für viele Nutzer gleichzeitig und fürs Training. GPU-Speicher ist weit schneller als Server-RAM, und genau das braucht die Texterzeugung.

Ironatoll hat keine GPU-Pläne. Ein CPU-Server passt für:

• einen privaten Assistenten oder ein Coding-Modell für eine Person oder ein kleines Team;
• Batch-Jobs, die über Nacht laufen, etwa Zusammenfassungen, Tagging oder Übersetzung;
• Embeddings und Retrieval für einen privaten Suchindex;
• ein API-Frontend, eine Vektordatenbank oder Dokumentenspeicherung neben einer anderswo gemieteten GPU.

Für 70B-Modelle in Echtzeit, viele gleichzeitige Chats oder Fine-Tuning mieten Sie GPU-Kapazität bei einem Anbieter, der sie verkauft.

Wie richte ich Ollama oder llama.cpp auf einem Dedicated Server ein?

Mit den offiziellen Befehlen installieren, die API auf 127.0.0.1 belassen und über einen SSH-Tunnel darauf zugreifen. Ollama lauscht standardmäßig auf 127.0.0.1:11434, und seine Linux-Anleitung richtet es als systemd-Dienst unter einem eigenen ollama-Benutzer ein. llama-server lauscht ebenfalls standardmäßig auf 127.0.0.1 und akzeptiert einen --api-key.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
ollama ps          # shows 100% CPU when the model sits in system RAM

# from your own computer: reach the API through SSH
ssh -L 11434:127.0.0.1:11434 root@YOUR_SERVER_IP
curl http://localhost:11434/api/chat -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

llama-server -m ./model.gguf -c 8192 --host 127.0.0.1 --api-key CHANGE_ME

Welchen Ironatoll-Plan sollte ich für ein LLM wählen?

Zuerst nach RAM, dann nach CPU. Prüfen Sie das CPU-Modell jedes Plans, bevor Sie bestellen: neuere Plattformen und mehr Speicherkanäle bedeuten schnellere Generierung.

Laut der Prüfung von Ironatoll zu 30 October 2026 kostete ein Dedicated Server vergleichbar mit Atoll 256 einen Median von $1065.88 bei 8 Hosts, die Krypto ohne Ausweis akzeptieren; Ironatoll verlangt $406.37. Marktpreise für jede Stufe stehen im Dedicated-Server-Preisindex.

Ein selbst gehostetes Modell hält Prompts außerdem auf Hardware, die allein Sie mieten. Lesen Sie was ein Anbieter auf Ihrem Server sehen kann, bevor Sie private Dokumente laden. Alle Pläne stehen unter wie viel ein Ironatoll Dedicated Server kostet.