- Community aggregator
- Country: United States
Latest coverage
- Community aggregator
- Country: United States
Strata: cómo correr un modelo MoE de 125B en 12 GB de VRAM
Un modelo de lenguaje con más de 100.000 millones de parámetros normalmente necesita un servidor con varias GPU de centro de datos. Strata, un motor de inferencia open source, lo hace correr en una tarjeta gráfica de PC gamer con apenas 12 GB de VRAM gracias al offloading de expertos. La pieza…