Прориви технологій генерації відео на основі ШІ та їхнє майбутнє

Нещодавно одним із найзначніших досягнень у сфері ШІ стало суттєве прорив у технології мультимодального генерування відео. Ця технологія еволюціонувала від простого генерування відео за текстом до інтеграції тексту, зображень та аудіо в комплексну технологію генерації.

Ось кілька випадків технічних досягнень, на які варто звернути увагу:

1. Відкритий фреймворк EX-4D, розроблений певною технологічною компанією, може перетворити звичайне відео на контент у вільному ракурсі 4D, і рівень схвалення користувачів становить 70,7%. Ця технологія робить можливим створення багатокутового перегляду з відео з одного ракурсу, що в минулому вимагало професійної команди 3D-моделювання.

2. Деяка AI платформа запустила функцію "Малюємо думки", яка може створювати 10-секундне відео з одного зображення, стверджуючи, що це може досягти "кіноякісного" рівня. Проте точність цього твердження ще потребує подальшої перевірки.

3. Технологія Veo, розроблена міжнародним AI-дослідницьким інститутом, здатна синхронно генерувати 4K відео та навколишній звук. Ключовий прорив цієї технології полягає в досягненні справжнього семантичного відповідності між відео та аудіо, наприклад, у складних сценах досягається точне відповідність між дією ходьби на екрані та звуком кроків.

4. Технологія ContentV певної платформи коротких відео має 8 мільярдів параметрів і може за 2,3 секунди згенерувати відео в якості 1080p, вартість становить 3,67 юаня за 5 секунд. Хоча контроль витрат є непоганим, все ж є можливості для покращення якості генерації в складних сценах.

Ці технологічні прориви мають велике значення в таких аспектах, як якість відео, витрати на генерацію та сценарії застосування:

1. Технічна вартість прориву: складність генерації мультимодальних відео зазвичай зростає експоненційно. Це не лише потребує обробки пікселів одного кадру (приблизно 10^6), але й забезпечення принаймні 100 кадрів часової послідовності, одночасно враховуючи синхронізацію аудіо (приблизно 10^4 зразків на секунду) та просторову узгодженість 3D. Наразі це складне завдання реалізується через модульне розділення та співпрацю великих моделей, що значно підвищує ефективність.

2. Зниження витрат: за цим стоїть оптимізація архітектури висновків, включаючи покрокову стратегію генерації, механізм повторного використання кешу та динамічний розподіл ресурсів тощо. Ці оптимізації значно знизили витрати на генерацію відео.

3. Вплив застосування: Технології ШІ змінюють традиційний процес виробництва відео. Раніше виробництво 30-секундної реклами могло коштувати десятки тисяч, тепер потрібно лише одне ключове слово та кілька хвилин очікування. Це не тільки знижує технічні та фінансові бар'єри для виробництва відео, але й надає творцям більше можливостей, що може призвести до переосмислення всієї економіки творців.

Ці зміни мали глибокий вплив на розвиток технологій штучного інтелекту:

1. Структура попиту на обчислювальні потужності зазнала змін. Генерація мультимодальних відео потребує різноманітних комбінацій обчислювальних потужностей, що створює новий попит на розподілені незайняті обчислювальні потужності, а також на різні моделі, алгоритми та платформи для розподіленого тонкого налаштування і висновку.

2. Потреба в маркуванні даних зросла. Для створення професійного відео потрібні точні описи сцен, референтні зображення, аудіо стилі, траєкторії руху камери та умови освітлення тощо. Це відкриває нові можливості для професіоналів, таких як фотографи, звукорежисери та 3D-художники.

3. Зростання попиту на децентралізовані платформи. Технології штучного інтелекту поступово переходять від централізованого великомасштабного розподілу ресурсів до модульної співпраці, що само по собі є новим попитом на децентралізовані платформи. У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть сформувати позитивний цикл самопідсилення, що сприятиме інтеграції та розвитку технологій штучного інтелекту в різних сферах.