A 35B AI model running on a Mac mini with under 3 GB of active memory. Edge0 streams the model's experts from your SSD instead of loading the whole thing into RAM. → 14.9 to 17.7 tokens per second o…
Este tweet presenta un modelo de IA de 35B parámetros que puede ejecutarse eficientemente en hardware limitado, lo cual es valioso para equipos de desarrollo e investigación de IA. La capacidad de streamear expertos desde SSD reduce significativamente los requisitos de memoria, abriendo nuevas posibilidades para implementaciones de borde y aplicaciones de IA más accesibles.