Plug and play, ідеальна сумісність: плагін I2V-Adapter спільноти SD зображень тут

Нещодавно був опублікований новий результат дослідження під керівництвом Куайшоу «I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models», в якому був представлений інноваційний метод перетворення зображення у відео і запропонований легкий модуль адаптера, а саме I2V-адаптер, який перетворює статичні зображення в динамічні відеоролики без зміни вихідної структури і попередньо навчених параметрів існуючих моделей генерації тексту у відео (T2V).

У порівнянні з існуючими методами, I2V-адаптер значно знижує параметри навчання, що навчаються (до 22 М, що є основним рішенням, таким як стабільна дифузія відео [1][2] 1%), який також сумісний зі стабільною дифузією [3] Розроблена спільнотою модель T2I (DreamBooth) [4]Лора [5]) та засоби керування (ControlNet Сумісності. За допомогою експериментів дослідники продемонстрували ефективність адаптера I2V у генерації високоякісного відеоконтенту, відкриваючи нові можливості для творчих застосувань у галузі I2V.