You can now run the biggest open AI models on a 4 GB graphics card. AirLLM loads a model one layer at a time instead of all at once, so it fits in a tiny amount of video memory: → Kimi K3, 2.8 trill…
Este tweet presenta AirLLM, una innovadora técnica que permite ejecutar grandes modelos de IA en GPUs con memoria limitada, lo cual es extremadamente valioso para equipos de desarrollo e investigación en IA. Al reducir los requisitos de hardware, facilita el acceso y la experimentación con modelos de IA de vanguardia, acelerando el progreso en el campo.