Plug and play, parfaitement compatible : l’adaptateur I2V plug-in image vidéo de la communauté SD est arrivé

Récemment, un nouveau résultat de recherche dirigé par Kuaishou, « I2V-Adapter : A General Image-to-Video Adapter for Video Diffusion Models », a été publié, qui a introduit une méthode innovante de conversion image-vidéo et a proposé un module adaptateur léger, à savoir I2V-Adapter, qui convertit les images statiques en vidéos dynamiques sans modifier la structure d’origine et les paramètres pré-entraînés des modèles de génération de texte en vidéo (T2V) existants.

Par rapport aux méthodes existantes, l’adaptateur I2V réduit considérablement les paramètres pouvant être entraînés (jusqu’à 22M, ce qui est la solution la plus courante telle que la diffusion vidéo stable) [1][2] de 1%), qui est également compatible avec Stable Diffusion [3] Modèle T2I personnalisé développé par la communauté (DreamBooth [4]Lora [5]) et des outils de contrôle (ControlNet Compatibilité. Grâce à des expériences, les chercheurs ont démontré l’efficacité de l’adaptateur I2V dans la génération de contenu vidéo de haute qualité, ouvrant de nouvelles possibilités d’applications créatives dans le domaine de l’I2V.