K2-Horizon: el informe técnico de la flota de seis modelos abiertos de IFM ya está disponible
El informe técnico de K2-Horizon —la flota de seis modelos totalmente abiertos del Institute of Foundation Models, de 900 millones a 375.000 millones de parámetros— es el paper más votado de la lista diaria de Hugging Face. Detalla cómo un modelo de 36.000 millones con 4.000 millones activos casi iguala a uno denso de 32.000 millones, una aceleración de la decodificación hasta 2,2 veces sin modelo de borrador, y unos 10 billones de tokens sintéticos de preentrenamiento.
K2-Horizon es una flota de seis modelos de lenguaje totalmente abiertos, de un denso de 900 millones de parámetros a un MoE de 375.000 millones con 23.000 millones activos, construido para razonamiento general y trabajo de agentes en matemáticas, ciencia, ingeniería de software y deep research. El informe técnico, publicado en arXiv el 15 de noviembre y en lo más alto de la lista diaria de papers, va más allá de las tablas: explica las decisiones de modelado y cómo se validó cada una.
Destacan dos novedades. La Mixture-of-Value Attention (MoVA) aplica la filosofía MoE a las proyecciones de valor de la atención, y un gateado de atención softplus —más flexible y con motivación teórica— permite que el modelo de 36.000 millones con 4.000 millones de parámetros activos casi iguale a un denso de 32.000 millones entrenado con los mismos datos, usando una séptima parte de parámetros activos. La otra es Uno, unos adaptadores de difusión sin pérdida que aceleran la decodificación hasta 2,2 veces sin un modelo de borrador aparte: la misma línea de la decodificación especulativa, pero implementada dentro del propio modelo.
En lo abierto, el lanzamiento sigue la definición LLM360 de código abierto: el historial de desarrollo completo, los puntos de control intermedios de cada etapa, los datos de preentrenamiento, los registros de entrenamiento y todo el código de entrenamiento, evaluación e infraestructura —incluido el marco xLLM a escala de producción para entrenamiento denso y MoE, y la pila de refuerzo RL360. Los pipelines produjeron unos 10 billones de tokens sintéticos de preentrenamiento —una muestra de que los datos sintéticos pueden ser un ingrediente mayor del preentrenamiento a escala—, y cuatro de los modelos comparten un corpus de 22 billones de tokens, lo que permite estudios controlados de escala y esparsidad. Los modelos ya están en Hugging Face, en versiones originales y cuantizadas a FP8 y NVFP4.
