Someone got Kimi K3 - a 2.78 trillion parameter model - running on a single CPU with 8GB of RAM. No GPU. No framework. No BLAS. Just C99 and a disk. The whole engine is 176KB. The model streams off …
Este tweet describe una innovación significativa en el desarrollo de software para IA, permitiendo ejecutar un modelo extremadamente grande en hardware muy limitado. Esto abre nuevas posibilidades para la democratización del acceso a modelos de IA avanzados y podría inspirar mejoras en la eficiencia computacional. Un equipo técnico avanzado debería estar al tanto de este desarrollo para explorar sus implicaciones en optimización de recursos y accesibilidad de la tecnología.