One DGX Spark. 64 simultaneous users. 700+ tokens per second. 38 watts. Each user gets their own prompt and KV cache A device that fits on a desk just served a small company's entire AI workload h…
Este tweet presenta un avance significativo en hardware para IA, ofreciendo un dispositivo compacto con capacidad para manejar cargas de trabajo intensivas de IA para múltiples usuarios simultáneamente. Su eficiencia energética y rendimiento destacan como características clave para equipos de desarrollo avanzado e investigación de IA, ya que pueden reducir costos operativos y acelerar el desarrollo de aplicaciones de IA.