Dá para rodar um LLM em um servidor dedicado sem GPU?

Um LLM pode rodar em uma CPU sem GPU?

Sim: um LLM quantizado roda em uma CPU de servidor comum, a partir da RAM do sistema, sem GPU alguma. A quantização armazena os pesos do modelo em menos bits, então o arquivo encolhe e cabe na memória normal.

• llama.cpp é um motor de inferência em C/C++ puro. Seu README lista suporte a AVX, AVX2, AVX512 e AMX em CPUs x86. Também lista quantização de inteiros de 1,5 a 8 bits "para inferência mais rápida e menor uso de memória".
• Ollama envolve um executor de modelos com uma biblioteca de modelos e uma API. Seu FAQ diz que ollama ps mostra "100% CPU" quando um modelo é carregado inteiramente na memória do sistema.

Ambos leem arquivos de modelo GGUF. Ambos rodam em Linux, que é tudo o que a Ironatoll instala.

Quanta RAM eu preciso para rodar um LLM na CPU?

Regra geral: a RAM precisa comportar o arquivo do modelo, mais a memória do contexto, mais alguns gigabytes para o sistema. O tamanho de download de um modelo quantizado fica próximo do que ele ocupa na RAM. O contexto (o cache KV) vem por cima.

O FAQ do Ollama dá as alavancas. Sua janela de contexto padrão é de 4.096 tokens. A RAM necessária escala com o número de requisições paralelas vezes o comprimento do contexto. Com Flash Attention ativado, quantizar o cache KV para q8_0 usa cerca de metade da memória do padrão f16.

Os tamanhos de download abaixo vêm da biblioteca do Ollama, consultada em 30 de outubro de 2026.

Por que a largura de banda de memória importa mais que a contagem de núcleos?

A escrita de uma resposta é limitada pela velocidade com que a CPU lê os pesos da RAM, não pela quantidade de núcleos que ela tem. Um colaborador do llama.cpp diz claramente: para esses modelos, "PP é limitado por computação e TG é limitado por memória". PP é processamento de prompt, TG é geração de texto.

Cada novo token lê os pesos do modelo da memória. Então, na mesma máquina, um modelo duas vezes maior escreve cerca de metade da velocidade. Duas consequências para aluguel:

• Canais de memória contam. CPUs de servidor com mais canais de memória movem mais dados por segundo. Nossa comparação Ryzen ou EPYC lista os canais por plataforma.
• Núcleos ainda ajudam com prompts. Prompts longos, documentos e contexto de recuperação são limitados por computação, então mais núcleos encurtam a espera antes do primeiro token.

Não publicamos número de tokens por segundo: não medimos nossos servidores. Execute llama-bench do llama.cpp no seu próprio servidor para medir seu modelo.

Quando preciso de uma GPU?

Você precisa de uma GPU para modelos grandes em velocidade interativa, para muitos usuários ao mesmo tempo e para treinamento. A memória da GPU é muito mais rápida que a RAM do servidor, que é exatamente o que a geração de texto precisa.

Ironatoll não tem planos com GPU. Um servidor CPU serve para:

• um assistente privado ou modelo de programação para uma pessoa ou uma equipe pequena;
• trabalhos em lote que rodam durante a noite, como resumos, marcação ou tradução;
• embeddings e recuperação para um índice de busca privado;
• um front end de API, um banco de dados vetorial ou armazenamento de documentos ao lado de uma GPU alugada em outro lugar.

Para modelos 70B em tempo real, muitos chats simultâneos ou fine-tuning, alugue capacidade de GPU de um host que a vende.

Como configuro o Ollama ou o llama.cpp em um servidor dedicado?

Instale com os comandos oficiais, mantenha a API em 127.0.0.1 e acesse-a por um túnel SSH. O Ollama escuta em 127.0.0.1:11434 por padrão, e seu guia para Linux o executa como um serviço systemd sob seu próprio usuário ollama. O llama-server também escuta em 127.0.0.1 por padrão e aceita uma --api-key.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
ollama ps          # shows 100% CPU when the model sits in system RAM

# from your own computer: reach the API through SSH
ssh -L 11434:127.0.0.1:11434 root@YOUR_SERVER_IP
curl http://localhost:11434/api/chat -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

llama-server -m ./model.gguf -c 8192 --host 127.0.0.1 --api-key CHANGE_ME

Qual plano Ironatoll devo escolher para um LLM?

Escolha por RAM primeiro, depois por CPU. Verifique o modelo de CPU de cada plano antes de fazer o pedido: plataformas mais novas e mais canais de memória significam geração mais rápida.

De acordo com a verificação da Ironatoll em 30 October 2026, um servidor dedicado comparável ao Atoll 256 custou uma mediana de $1065.88 na 8 hosts que aceita cripto sem identidade; a Ironatoll cobra $406.37. Os preços de mercado para cada tier estão no índice de preços de servidor dedicado.

Um modelo auto-hospedado também mantém os prompts em hardware que você aluga sozinho. Leia o que um host pode ver no seu servidor antes de carregar documentos privados. Todo plano está em quanto custa um servidor dedicado Ironatoll.