ByteDance a publié le grand modèle de voix en duplex Seeduplex, l'interaction vocale IA entre dans l'ère du « écouter et parler »

Message AIMPACT, 9 avril, l’équipe Seed de ByteDance a publié le modèle natif de voix en mode duplex intégral Seeduplex, désormais déployé à grande échelle dans l’application Doubao, marquant une évolution de l’interaction vocale du « tour par tour » vers une conversation naturelle en temps réel.

Seeduplex combine un modélage conjoint de la voix et du sens pour permettre un traitement synchronisé « écouter et parler » en même temps ; dans des environnements complexes, sa résistance aux interférences s’améliore de manière significative. Les données indiquent qu’en comparaison avec les solutions classiques semi-duplex, son taux de réponses erronées et son taux d’interruptions involontaires diminuent d’environ 50 %.

En termes d’expérience d’interaction, ce modèle introduit une technologie dynamique d’arrêt en détection, réduisant la latence de réponse d’environ 250 millisecondes, et diminuant le phénomène où l’on « coupe la parole » de 40 %, permettant de distinguer plus précisément les pauses de l’utilisateur de la fin de la conversation. En outre, grâce à l’échantillonnage spéculatif et à des optimisations par quantification, le système conserve une faible latence et une fluidité élevée dans les scénarios à forte concurrence, tout en améliorant la satisfaction globale des appels d’environ 8,34 %.

Cette mise à niveau signifie que la voix IA évolue vers une interaction « temps réel, multi-modale, de type humain » ; à l’avenir, elle pourrait être combinée aux capacités visuelles afin de faire progresser les assistants intelligents vers un développement intégré de « écouter, voir, penser, parler ». (Source : ByteDance)