One architectural change can cut KV cache by 8x! In standard multi-head attention, every query head gets its own key and value head. So a model with 64 query heads therefore stores 64 sets of key an…
Este tweet proporciona información valiosa sobre optimizaciones en la arquitectura de modelos de atención, específicamente en la reducción del tamaño de la caché KV. Es relevante para equipos de desarrollo avanzado e investigación de IA ya que presenta una técnica que puede mejorar significativamente la eficiencia computacional de los modelos grandes.