El sistema puede identificar hasta más de 20 hablantes distintos en una misma conversación, soporta más de 70 idiomas y cambia de idioma dentro de una misma oración sin perder precisión. (Fuente: Meta AI Research)
Meta Superintelligence Labs presentó Muse Voice Transcribe, su primer modelo de percepción de audio en tiempo real. Según la compañía, se trata de un primer hito en el camino hacia llevar sus modelos de voz en tiempo real a los usuarios, con reconocimiento de voz por streaming, diarización (identificación de quién habla) con más de 20 interlocutores, y detección del inicio y fin del habla.
El modelo es multilingüe, con cambio de idioma fluido dentro de una misma conversación, y mejora su precisión mediante sesgo de idioma, palabras clave y contexto. Meta afirma ocupar el primer puesto en Artificial Analysis tanto en reconocimiento de voz por streaming como en puntos de referencia públicos de diarización.
Muse Voice Transcribe es un modelo multimodal autorregresivo de la familia Muse Spark. El audio se procesa en fragmentos de 80 milisegundos, cada uno convertido en un solo token. En cada fragmento, el modelo decide si seguir escuchando el siguiente fragmento o emitir un token de texto. Como el modelo tiene control total sobre cuándo escuchar, decide cuánto contexto de audio necesita antes de transcribir una palabra, lo que la compañía llama demora adaptativa: cuanto más espera antes de predecir, más precisa es la transcripción, pero mayor la latencia. Gracias a esta demora adaptativa, Muse Voice Transcribe logra un balance óptimo entre velocidad y precisión.
El modelo está entrenado con más de 70 idiomas, de los cuales 25 fueron verificados exhaustivamente en este primer lanzamiento. También soporta contexto de más de una hora de duración y más de 20 hablantes simultáneos sin necesidad de posprocesamiento.
Con un solo toque, el dictado por voz en Meta AI y Muse Code ya está potenciado por Muse Voice Transcribe, y puede usarse con cualquier aplicación y en cualquier ventana de la pantalla. El modelo ya está disponible a través de la Meta Model API, la app de Meta AI para Mac, y Muse Code.
Nota elaborada con asistencia de IA. Fuentes verificadas y contenido editado por el equipo de Infosertec. Conocé nuestro proceso editorial.