¿Puedo ejecutar un LLM en un servidor dedicado sin GPU?

¿Puede un LLM ejecutarse en una CPU sin GPU?

Sí: un LLM cuantizado se ejecuta en la CPU de un servidor normal, desde la RAM del sistema, sin ninguna GPU. La cuantización almacena los pesos del modelo en menos bits, así que el archivo se reduce y cabe en memoria normal.

• llama.cpp es un motor de inferencia en C/C++ puro. Su README indica compatibilidad con AVX, AVX2, AVX512 y AMX en CPU x86. También indica cuantización entera de 1.5 bits a 8 bits "para una inferencia más rápida y un menor uso de memoria".
• Ollama envuelve un ejecutor de modelos con una biblioteca de modelos y una API. Su FAQ dice que ollama ps muestra "100% CPU" cuando un modelo se carga enteramente en la memoria del sistema.

Ambos leen archivos de modelo GGUF. Ambos funcionan en Linux, que es lo único que instala Ironatoll.

¿Cuánta RAM necesito para ejecutar un LLM en CPU?

Regla general: la RAM debe contener el archivo del modelo, más la memoria de contexto, más unos pocos gigabytes para el sistema. El tamaño de descarga de un modelo cuantizado se acerca a lo que ocupa en RAM. El contexto (la caché KV) va aparte.

La FAQ de Ollama indica las palancas. Su ventana de contexto por defecto es de 4.096 tokens. La RAM necesaria escala con el número de solicitudes paralelas por la longitud del contexto. Con Flash Attention activado, cuantizar la caché KV a q8_0 usa aproximadamente la mitad de la memoria que el f16 por defecto.

Los tamaños de descarga de abajo provienen de la biblioteca de Ollama, consultada el 30 de octubre de 2026.

¿Por qué importa más el ancho de banda de memoria que la cantidad de núcleos?

Escribir una respuesta está limitado por la rapidez con que la CPU lee los pesos desde la RAM, no por cuántos núcleos tenga. Un colaborador de llama.cpp lo dice con claridad: para estos modelos, "PP is compute-bound and TG is memory-bound". PP es el procesamiento del prompt, TG es la generación de texto.

Cada token nuevo lee los pesos del modelo desde la memoria. Así que, en la misma máquina, un modelo del doble de tamaño escribe aproximadamente a la mitad de velocidad. Dos consecuencias a la hora de alquilar:

• Los canales de memoria cuentan. Las CPU de servidor con más canales de memoria mueven más datos por segundo. Nuestra comparativa Ryzen o EPYC enumera los canales por plataforma.
• Los núcleos siguen ayudando con los prompts. Los prompts largos, los documentos y el contexto de recuperación dependen de la capacidad de cómputo, así que más núcleos acortan la espera hasta el primer token.

No publicamos ninguna cifra de tokens por segundo: no hemos medido nuestros servidores. Ejecuta llama-bench de llama.cpp en tu propio servidor para medir tu modelo.

¿Cuándo necesito una GPU en su lugar?

Necesitas una GPU para modelos grandes a velocidad interactiva, para muchos usuarios a la vez y para entrenar. La memoria de la GPU es mucho más rápida que la RAM de servidor, que es justo lo que necesita la generación de texto.

Ironatoll no tiene planes con GPU. Un servidor de CPU sirve para:

• un asistente privado o un modelo de programación para una persona o un equipo pequeño;
• trabajos por lotes que se ejecutan de noche, como resúmenes, etiquetado o traducción;
• embeddings y recuperación para un índice de búsqueda privado;
• un front end de API, una base de datos vectorial o almacenamiento de documentos junto a una GPU alquilada en otro sitio.

Para modelos de 70B en tiempo real, muchos chats simultáneos o fine-tuning, alquila capacidad de GPU a un proveedor que la venda.

¿Cómo configuro Ollama o llama.cpp en un servidor dedicado?

Instala con los comandos oficiales, mantén la API en 127.0.0.1 y accede a ella mediante un túnel SSH. Ollama escucha en 127.0.0.1:11434 por defecto, y su guía para Linux lo ejecuta como servicio systemd bajo su propio usuario ollama. llama-server también escucha en 127.0.0.1 por defecto y acepta una --api-key.

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
ollama ps          # shows 100% CPU when the model sits in system RAM

# from your own computer: reach the API through SSH
ssh -L 11434:127.0.0.1:11434 root@YOUR_SERVER_IP
curl http://localhost:11434/api/chat -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

llama-server -m ./model.gguf -c 8192 --host 127.0.0.1 --api-key CHANGE_ME

¿Qué plan de Ironatoll debería elegir para un LLM?

Elige primero por RAM y luego por CPU. Comprueba el modelo de CPU de cada plan antes de hacer el pedido: las plataformas más nuevas y más canales de memoria significan una generación más rápida.

Según la comprobación de Ironatoll de 30 October 2026, un servidor dedicado comparable a Atoll 256 costaba una mediana de $1065.88 en 8 hosts que aceptan criptomonedas sin identificación; Ironatoll cobra $406.37. Los precios de mercado de cada nivel están en el índice de precios de servidores dedicados.

Un modelo autoalojado también mantiene los prompts en hardware que alquilas en exclusiva. Lee qué puede ver un proveedor en tu servidor antes de cargar documentos privados. Todos los planes están en cuánto cuesta un servidor dedicado Ironatoll.