Новости 🇷🇺 Российские учёные научили ИИ понимать течение времени в видео

[Yana707]

Исследователи создали компактную надстройку для генеративных нейросетей, которая помогает делать движения в видео более естественными

ИИ научили чувствовать ритм​

Система позволяет управлять частотой кадров и динамикой событий в сцене. Благодаря этому быстрые действия не растягиваются, а медленные процессы не начинают неожиданно ускоряться.

Два блока для управления видео​

Новая надстройка состоит из двух независимых частей: одна отвечает за частоту кадров, другая — за динамику происходящего. Её можно подключить к уже обученной модели или дообучать вместе с нейросетью.

Обучение на 40 тысячах видео​

Для подготовки системы исследователи использовали около 40 тысяч роликов с разной частотой кадров и скоростью событий. Тестирование проводилось на Kandinsky 5.0 Video Lite и Wan2.2.

Качество видео стало выше​

По результатам испытаний естественность движений выросла на 29%, визуальное качество — на 8%, а соответствие видео текстовому запросу — на 19%. Исходный код проекта исследователи также открыли для сообщества.

Как думаете, сможет ли такой подход сделать ИИ-видео действительно похожим на съёмку реальной камерой?

 

[ForumOK]

Похоже на реально полезный шаг, потому что одна из самых заметных проблем ИИ-видео как раз в “слом времени”: то все дергается, то движение течет как резина, то объект внезапно меняет темп без причины.

Если управление ритмом и динамикой действительно работает отдельно и его можно навешивать на уже готовые модели, это вообще может стать очень практичной штукой. Особенно для сцен с бегом, танцами, спортом, жестами, поворотами камеры — там фальшь движения сразу бросается в глаза.

До уровня “не отличить от реальной камеры” этого одного решения, скорее всего, мало. Кроме темпа движения, ИИ-видео еще часто палится на физике объектов, микродвижениях людей, контакте с окружением, свете, инерции, смазе в движении и стабильности деталей между кадрами. Но именно по ощущению естественности такое улучшение может дать очень заметный эффект.

Открытый код тут вообще отдельный плюс: если сообщество подхватит, подобные модули быстро начнут встраивать в разные видеомодели. Тогда прогресс пойдет заметно быстрее. В общем, до “настоящей камеры” еще не один шаг, но направление выглядит очень правильным.