GPU olmadan bir dedicated sunucuda LLM çalıştırabilir miyim?

Bir LLM GPU olmadan CPU üzerinde çalışabilir mi?

Evet: nicemlenmiş bir LLM, sıradan bir sunucu CPU'sunda, sistem RAM'inden, hiç GPU olmadan çalışır. Nicemleme, modelin ağırlıklarını daha az bitte saklar; böylece dosya küçülür ve normal belleğe sığar.

• llama.cpp sade bir C/C++ çıkarım motorudur. README'si x86 CPU'larda AVX, AVX2, AVX512 ve AMX desteğini listeler. Ayrıca 1,5 bitten 8 bite kadar tamsayı nicemlemesini "daha hızlı çıkarım ve daha az bellek kullanımı için" listeler.
• Ollama bir model çalıştırıcısını bir model kütüphanesi ve bir API ile sarar. SSS'si, bir model tamamen sistem belleğine yüklendiğinde ollama ps'in "%100 CPU" gösterdiğini söyler.

Her ikisi de GGUF model dosyalarını okur. Her ikisi de Linux üzerinde çalışır; Ironatoll'in kurduğu tek sistem de budur.

CPU üzerinde bir LLM çalıştırmak için ne kadar RAM gerekir?

Kaba kural: RAM, model dosyasını, artı bağlam belleğini, artı sistem için birkaç gigabaytı tutmalıdır. Nicemlenmiş bir modelin indirme boyutu, RAM'de kapladığı alana yakındır. Bağlam (KV önbelleği) bunun üstüne eklenir.

Ollama'nın SSS'si kaldıraçları verir. Varsayılan bağlam penceresi 4.096 tokendır. Gerekli RAM, paralel istek sayısı çarpı bağlam uzunluğuyla ölçeklenir. Flash Attention açıkken KV önbelleğini q8_0'e nicemlemek, varsayılan f16'in yaklaşık yarısı kadar bellek kullanır.

Aşağıdaki indirme boyutları Ollama kütüphanesinden alınmıştır ve 30 Ekim 2026'da okunmuştur.

Bellek bant genişliği neden çekirdek sayısından daha önemli?

Bir yanıt yazma hızı, CPU'nun ağırlıkları RAM'den ne kadar hızlı okuduğuyla sınırlıdır, çekirdek sayısıyla değil. Bir llama.cpp katkıda bulunanı bunu açıkça ifade ediyor: bu modeller için "PP hesaplama sınırlı, TG ise bellek sınırlıdır". PP istem işleme, TG metin üretimidir.

Her yeni token, modelin ağırlıklarını bellekten okur. Yani aynı makinede, iki kat büyük bir model yaklaşık yarı hızda yazar. Kiralama için iki sonuç:

• Bellek kanalları önemlidir. Daha fazla bellek kanalına sahip sunucu CPU'ları saniyede daha fazla veri taşır. Ryzen veya EPYC karşılaştırmamız platform başına kanalları listeler.
• Çekirdekler istemlerde hâlâ yardımcı olur. Uzun istemler, belgeler ve erişim bağlamı hesaplama sınırlıdır, dolayısıyla daha fazla çekirdek ilk token öncesindeki beklemeyi kısaltır.

Saniye başına token rakamı yayınlamıyoruz: sunucularımızı ölçmedik. Modelinizi ölçmek için llama.cpp'den llama-bench komutunu kendi sunucunuzda çalıştırın.

Ne zaman GPU'ya ihtiyacım olur?

Büyük modelleri etkileşimli hızda, aynı anda çok sayıda kullanıcıyla ve eğitim için kullanmak istediğinizde GPU'ya ihtiyacınız olur. GPU belleği sunucu RAM'inden çok daha hızlıdır ve metin üretiminin ihtiyaç duyduğu tam da budur.

Ironatoll GPU planı sunmuyor. Bir CPU sunucusu şunlara uyar:

• bir kişi veya küçük bir ekip için özel bir asistan veya kodlama modeli;
• özetleme, etiketleme veya çeviri gibi gece boyunca çalışan toplu işler;
• özel bir arama dizini için embedding'ler ve erişim;
• başka bir yerde kiralanan bir GPU'nun yanında bir API ön ucu, bir vektör veritabanı veya belge depolama.

Gerçek zamanlı 70B modeller, çok sayıda eşzamanlı sohbet veya ince ayar için GPU kapasitesini satan bir sağlayıcıdan GPU kapasitesi kiralayın.

Ollama veya llama.cpp'yi özel bir sunucuda nasıl kurarım?

Resmî komutlarla kurun, API'yi 127.0.0.1 üzerinde tutun ve ona bir SSH tüneli üzerinden erişin. Ollama varsayılan olarak 127.0.0.1:11434 üzerinde dinler ve Linux kılavuzu onu kendi ollama kullanıcısı altında bir systemd servisi olarak çalıştırır. llama-server de varsayılan olarak 127.0.0.1 üzerinde dinler ve bir --api-key kabul eder.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
ollama ps          # shows 100% CPU when the model sits in system RAM

# from your own computer: reach the API through SSH
ssh -L 11434:127.0.0.1:11434 root@YOUR_SERVER_IP
curl http://localhost:11434/api/chat -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

llama-server -m ./model.gguf -c 8192 --host 127.0.0.1 --api-key CHANGE_ME

Bir LLM için hangi Ironatoll planını seçmeliyim?

Önce RAM'e, sonra CPU'ya göre seçin. Sipariş vermeden önce her planın CPU modelini kontrol edin: daha yeni platformlar ve daha fazla bellek kanalı daha hızlı üretim demektir.

Ironatoll'nin 30 October 2026 kontrolüne göre, Atoll 256 ile karşılaştırılabilir bir özel sunucu, kimlik olmadan kripto kabul eden 8 sunucu üzerinde medyan $1065.88 tutarındaydı; Ironatoll ise $406.37 alıyor. Her kademe için piyasa fiyatları özel sunucu fiyat endeksinde.

Kendi barındırdığınız bir model ayrıca istemleri yalnızca sizin kiraladığınız donanımda tutar. Özel belgelerinizi yüklemeden önce bir sağlayıcının sunucunuzda neleri görebileceğini okuyun. Her plan bir Ironatoll özel sunucunun ne kadara mal olduğu sayfasında.