AnySpeechRecognizer y AnyDecisionModel: modelos abiertos para la plataforma de Apple
El ingeniero Matt Massicotte (mattt) ha publicado dos paquetes de Swift que traen modelos abiertos de habla y de decisión a la plataforma de Apple. AnySpeechRecognizer corre Parakeet y Qwen3-ASR sobre Core ML —sin GPU, con unos 100 MB de memoria— y añade diarización de hablantes en el dispositivo con Sortformer. AnyDecisionModel hace lo propio con «decision models» que contestan preguntas de sí/no, opción múltiple y escalas con resultados tipados y probabilidades, derivados de la propia distribución del modelo en vez de texto generado.
El primer paquete, AnySpeechRecognizer (Swift 6.2, para macOS 26 e iOS 26), corre la familia de transcripción Parakeet: Parakeet TDT 0.6B v3 de NVIDIA, que soporta 25 idiomas europeos con detección automática de idioma; su versión Ultra, entrenada por Moondream; y Parakeet Unified, la variante inglesa de NVIDIA. A esos se suma Qwen3-ASR de Alibaba (0.6B y 1.7B), que añade mandarín, cantonés, japonés y coreano —idiomas que Parakeet no cubre— y devuelve un único resultado por segmento de hasta 40 segundos. Todo funciona sobre Core ML, el compilador de Apple que convierte modelos PyTorch en Metal: los modelos están publicados ya en el Hub como versiones Core ML del propio mattt.
Las mediciones del blog, tomadas con su herramienta de línea de comandos `hear` en un Mac Studio M4 Max, son sólidas. Sobre archivos de 3 a 8 minutos de LibriSpeech, Parakeet v3 alcanza un 1,55% de error de palabra (2,78% en la mitad difícil) frente al 2,12% del transcriptor propio de Apple; una hora de audio tarda unos 20 a 40 segundos desde un archivo y consume unos 100 MB de memoria una vez que Core ML ha compilado el modelo. La diarización de hablantes corre sobre Sortformer 4spk v2/v2.1 de NVIDIA —que sigue hasta cuatro hablantes, incluso cuando se pisan, y atribuye cada palabra a su turno— en el mismo tiempo real que la transcripción. Qwen3-ASR es mucho más lento y necesita varios gigabytes de memoria, así que el blog lo recomienda para archivos y no para tiempo real. En reuniones con solapamientos (grabaciones AMI) todos los motores superan el 23% de error: el propio proyecto recuerda que los números salen de una sola máquina y unos pocos conjuntos, e invita a medir con el hardware y los audios propios.
AnyDecisionModel ataca un terreno menos común: los «decision models». En vez de generar texto libre, derivan la respuesta de la propia distribución de probabilidad del modelo, y las preguntas de sí/no, opción múltiple o escalas de Likert salen como resultados tipados con su probabilidad explícita. La interfaz es la misma para todos los motores: MLX, Core AI (macOS 27 e iOS 27) y llama.cpp para correr en el dispositivo, y Jev (la API «System One» de TypeSafe) u Ollama para modelos remotos.
La cabeza de decisión de referencia es Clef, el modelo de Cloudflare: la variante clef-flash-4bit pesa 6,2 GB de descarga, el model card recomienda un Mac con al menos 16 GB de memoria, y admite hasta 16.384 tokens por pregunta. Los dos paquetes comparten el mismo diseño —una interfaz única sobre motores intercambiables— y el proyecto incluye la CLI `hear` con subcomandos para transcribir, etiquetar y evaluar. Todo es abierto: el código en GitHub y los modelos en el Hub.