Xiaomi hat das industrielle Sprachmodell Xiaomi-CocktailASR-1 offiziell veröffentlicht und als Open Source bereitgestellt. Diese Nachricht wurde am 11. September bekannt gegeben. Laut den Informationen des offiziellen Weibo-Kanals von Xiaomi ist dieses Modell speziell auf komplexe Sprachszenarien mit mehreren Sprechern ausgerichtet und konzentriert sich darauf, das „Cocktailparty“-Problem in der Spracherkennung zu lösen, also die Herausforderung, in einer lauten Umgebung die Sprache eines bestimmten Zielsprechers aus mehreren Sprechern zu identifizieren und zu transkribieren.
Wie Xiaomi erklärt, verwendet Xiaomi-CocktailASR-1 eine End-to-End LLM-Architektur, die eine Referenzaudioaufnahme des Zielsprechers als Stimmabdruckhinweis nutzt. In Situationen mit überlappenden Äußerungen kann das Modell den Inhalt des Zielsprechers extrahieren und ausschließlich transkribieren. Offiziell wird darauf hingewiesen, dass das Modell auf einer umfangreichen Datenbasis mit mehreren Sprechern trainiert wurde und in mehreren gängigen Testdatensätzen für mehrere Sprecher, wie AliMeeting, AMI und LibriMix, die beste Leistung erzielt hat.
Xiaomi-CocktailASR-1 verfügt über die Fähigkeit zur Spracherkennung mehrerer Sprecher
Gleichzeitig kann die Erkennungsleistung in Szenarien mit einem einzelnen Sprecher mit gängigen ASR-Modellen für Einzelsprecher konkurrieren. Es ist möglich, mit demselben Modell sowohl Einzel- als auch Mehrpersonenszenarien zu berücksichtigen, ohne zwischen verschiedenen Spracherkennungsmodellen wechseln zu müssen. Darüber hinaus verfügt das Modell über die Fähigkeit zur Ablehnung von Negativbeispielen; wenn im Audio kein Zielsprecher vorhanden ist, kann das Modell leeren Text ausgeben, um das Risiko von Fehlidentifikationen und Fehlaktivierungen durch nicht zielgerichtete Sprache zu verringern.
Xiaomi erwähnt außerdem, dass Xiaomi-CocktailASR-1 den Modus der Ketteninferenzen unterstützt, der einen erklärbaren Inferenzprozess für die Erkennungsergebnisse bereitstellt. Derzeit sind die Modellgewichte und der Inferenzcode von Xiaomi-CocktailASR-1 bereits Open Source verfügbar.