Dongcha schlägt AI News: Microsoft AI hat drei Audiomodelle auf einmal auf den Markt gebracht, nämlich MAI-Transcribe-2-Streaming, MAI-Voice-2.1 und MAI-Voice-2.1-Flash. Ersteres ist für die Umwandlung von Echtzeitsprache in Text verantwortlich, und die beiden letzteren sind für die Erzeugung von Text in Sprache verantwortlich, hauptsächlich für Sprachagenten mit geringer Latenz.
Unter anderem kann MAI-Transcribe-2-Streaming weiterhin Text ausgeben, bevor die Person mit dem Sprechen fertig ist, und unterstützt 60 Sprachen sowie die automatische Spracherkennung. Die Streaming-Sprachtranskriptionsrankings von Artificial Analysis zeigen, dass es mit einer Wortfehlerrate von 2,5 % sowohl bei der endgültigen als auch bei der ersten Teiltranskriptionsgenauigkeit an erster Stelle steht. Der endgültige Text wurde ungefähr 0,13 Sekunden nach Erkennung des Endes der Rede zurückgegeben, verglichen mit 2,7 % und 0,49 Sekunden bei Grok Voice Transcribe 2.0.
MAI-Voice-2.1 unterstützt 23 Sprachen, sodass dieselbe Stimme zwischen verschiedenen Sprachen wechseln kann. Die Flash-Version ist darauf ausgelegt, die Latenz zu reduzieren, mit einer Modellinferenzzeit von etwa 45 ms und einem Preis von 15 US-Dollar pro Million Zeichen; Die Standardversion dauert etwa 550 ms und kostet 22 US-Dollar. Beide Modelle unterstützen den Stimmabgleich mit einem kurzen Referenz-Audiostück.
Diese Kombination löst das Warteproblem, das die Erfahrung des Sprachagenten am meisten beeinträchtigt. Das System kann im Voraus mit der Transkription und Argumentation beginnen, wenn der Benutzer spricht, und generiert dann mithilfe von Flash schnell eine Sprachantwort, ohne dass vor Beginn der Arbeit auf das Ende eines vollständigen Satzes gewartet werden muss.