- Community aggregator
- Country: United States
Cómo correr un modelo de 180B sin GPU: POCKET-Darwin-180B en GGUF con llama.cpp
TL;DR POCKET-Darwin-180B-GGUF es la versión cuantizada del modelo abierto Darwin-180B-RSI, pensada para correr sin GPU. Puntos clave para quien va a desplegarlo: Pesa 111 GB en GGUF (el original en BF16 ocupa 360 GB) y se ejecuta con llama.cpp . Hasta 21 tokens por segundo solo en CPU (1 socket, 16…