NVIDIA y AI4Bharat: Nemotron-pretraining-Indic-v1, 2,8 billones de tokens indios con pipeline de datos abierto
NVIDIA y AI4Bharat publican Nemotron-pretraining-Indic-v1, un corpus de preentrenamiento de 2,8 billones (2.8 T) de tokens para las lenguas del sur de Asia, y —lo más importante para la comunidad— el pipeline abierto de generación de datos con el que se produjo: un proceso transparente que va de documentos fuente en inglés a textos en lenguas indicas. Es un caso de referencia de cómo se hace un corpus de preentrenamiento serio y reproducible, y abre la puerta a fine-tunings y auditorías sobre cómo se construyen los datos. Ya está disponible en Hugging Face junto a la línea Nemotron.