Команда Яндекса выпустила бета-версию своей новой нейросети YandexART (Vi), предназначенной для создания коротких видеороликов продолжительностью всего пять секунд. Пресс-служба компании сообщает, что данная модель сумела освоить воссоздание плавных движений объектов в кадре. Это означает, что теперь можно наблюдать, как собака бежит, лист падает с дерева или фейерверк разрывается в небе.
Эта нейросеть станет полезной не только для обычных пользователей, желающих создать анимированные заставки для своих устройств. Блогеры, мультипликаторы и профессионалы тоже найдут её функционал интересным. YandexART (Vi) уже доступна для пользователей в приложении под названием «Шедеврум».
В прошлом году Яндекс выпустил первую версию этой модели для генерации видео из текстовых описаний. То решение позволяло создавать анимации с эффектом движения камеры, в то время как сами объекты часто двигались неестественно. Это приводило к тому, что от кадра к кадру они менялись значительно, что выглядело странно. Но с YandexART (Vi) ситуация изменилась. Теперь модель учитывает движение объектов и их связь с предыдущими кадрами. Это сделало видео более цельными и плавными. Нейросеть научилась этому благодаря обучению на видеороликах с движущимися объектами, такими как автомобили, едущие по дороге, или коты, крадущиеся по траве.
YandexART (Vi) создает последовательности кадров, которые сменяются без заметных рывков, формируя плавную анимацию. Как это работает? Модель получает текстовое описание от пользователя, например, «Носорог танцует хип-хоп в сумрачном лесу», и на его основе создаёт начальное изображение. Далее нейросеть фактически преобразует цифровой шум в последовательность кадров, используя это изображение и запрос, чтобы закончить анимацию.
Источник: Яндекс
▶️ Рассказываем про новые смартфоны, гаджеты и современные технологии в нашем Telegram-канале, подпишись, чтобы ничего не пропустить!
