Dongcha Beating AI News, a Microsoft AI lançou três modelos de áudio de uma só vez, nomeadamente MAI-Transcribe-2-Streaming, MAI-Voice-2.1 e MAI-Voice-2.1-Flash. O primeiro é responsável por converter fala em texto em tempo real, e os dois últimos são responsáveis por gerar texto em fala, principalmente para agentes de voz de baixa latência.
Entre eles, MAI-Transscribe-2-Streaming pode continuar a produzir texto antes que a pessoa termine de falar e oferece suporte a 60 idiomas e detecção automática de idioma. As classificações de transcrição de fala em streaming da Artificial Analysis mostram que ela ocupa o primeiro lugar na precisão da transcrição final e da primeira transcrição parcial, com uma taxa de erro de palavra de 2,5%. O texto final foi retornado aproximadamente 0,13 segundos após a detecção do final da fala, em comparação com 2,7% e 0,49 segundos do Grok Voice Transcribe 2.0.
MAI-Voice-2.1 suporta 23 idiomas, permitindo que a mesma voz alterne entre diferentes idiomas. A versão Flash foi projetada para reduzir a latência, com tempo de inferência do modelo de cerca de 45 ms e um preço de US$ 15 por milhão de caracteres; a versão padrão dura cerca de 550 ms e custa US$ 22. Ambos os modelos suportam correspondência vocal com um pequeno trecho de áudio de referência.
Essa combinação resolve o problema de espera que mais afeta a experiência do agente de voz. O sistema pode começar a transcrever e raciocinar antecipadamente quando o usuário estiver falando e, em seguida, usar o Flash para gerar rapidamente uma resposta de voz, sem ter que esperar o término de uma frase completa antes de iniciar o trabalho.