Как оживить картинку: нейросети, которые делают из фото видео

Фото в движение

Оживить картинку значит прогнать её через видеомодель в режиме image-to-video: вы даёте одно изображение и текстовое описание движения, на выходе получаете ролик на несколько секунд. Исходное фото становится первым кадром, всё остальное модель достраивает сама.

Дальше по шагам: какие модели работают в этом режиме, как подготовить исходник, из каких строк собрать промт на движение и что делать с частыми дефектами.

Что значит «оживить картинку» и что нейросеть делает на самом деле

Модель не «двигает» пиксели вашего фото. Она берёт его как условие и генерирует новую последовательность кадров, стараясь, чтобы первый совпадал с исходником, а дальше картинка развивалась связно. Поэтому чем дальше от первого кадра, тем больше отличий: причёска, узор на ткани, фон за спиной.

Отсюда три вывода: всё, чего на фото не видно (второе ухо, зубы, кисть руки в кармане), модель придумает; чем сильнее движение вы просите, тем быстрее уплывёт похожесть; движение не улучшает качество картинки, а размазывает его.

Отдельная развилка на входе: анимировать существующее фото или сначала сгенерировать исходную картинку нейросетью под нужный кадр. Во втором случае вы контролируете композицию и получаете чистый исходник без шума и сжатия, а это половина успеха.

Какие задачи решаются хорошо, а какие пока плохо

Хорошо получается мелкое и предсказуемое движение: медленный наезд или отъезд камеры, лёгкая панорама по пейзажу, ветер в волосах, листьях и ткани, пар над чашкой, вода, огонь, облака, блики. Портрет тоже работает, если мимика минимальная: дыхание, моргание, поворот головы на несколько градусов.

Плохо получается там, где нужна точность: кисти рук и пальцы, любой текст в кадре, ходьба и бег в полный рост, смена позы, речь с попаданием в артикуляцию, рукопожатие и передача предмета.

Критерий простой: если на исходнике объект виден целиком и его движение можно описать одним глаголом, шансы высокие. Если движение подразумевает появление новой геометрии, готовьтесь к переделкам.

Модели для оживления фото: чем они отличаются

Все модели ниже работают в режиме image-to-video, различия в основном в длительности, разрешении и характере движения. Данные взяты из описаний самих моделей, цены не привожу: стоимость запуска видна в интерфейсе рядом с конкретной моделью и меняется.

Практика такая: сначала гоняете промт на дешёвой и быстрой модели, пока движение не станет тем, что вы хотели, и только потом повторяете тот же промт на более дорогой в нужном разрешении.

Пошагово: от загрузки фото до готового ролика

1. Подготовьте исходник: нужное кадрирование, никаких водяных знаков, лицо не мельче примерно четверти высоты кадра, если оно главное.
2. Выберите соотношение сторон заранее и сами обрежьте фото под него: иначе край дорисуется, и часто неудачно.
3. Загрузите картинку в видеомодель, работающую с изображением на входе.
4. Напишите промт на движение по каркасу из следующего раздела: одно фото, одна связка движений, без сюжета на три сцены.
5. Поставьте минимальную длительность, обычно 5 секунд: тест дешевле и показывает те же дефекты, что и десятисекундный.
6. Посмотрите ролик дважды: целиком и на паузах по последней секунде. Дефекты почти всегда накапливаются к концу.
7. Меняйте по одному параметру за проход: сначала промт, потом длительность, потом модель.

Как написать промт на движение: камера, объект, свет

Промт на оживление фото не описывает картинку (она уже есть), он описывает только то, что должно измениться. Каркас из пяти строк:

Камера: [одно движение] - медленный наезд / медленный отъезд /
        лёгкая панорама влево / статичная камера
Объект: [что двигается] - волосы и ткань от слабого ветра,
        человек дышит, моргает, чуть поворачивает голову
Среда: [фон и мелочи] - пар над чашкой поднимается,
        листья на заднем плане качаются, блики на воде
Свет и стиль: свет, цвета и зерно как на исходнике, ничего не перекрашивать
Ограничения: 5 секунд, без резких поворотов головы, без смены позы,
        без появления новых людей и предметов, без надписей
Скопировать

Заполненный пример под портрет:

Медленный наезд камеры на 10 процентов. Волосы и воротник слегка
шевелятся от ветра, человек дышит, один раз моргает, поворачивает
голову на несколько градусов и возвращается. Фон остаётся тем же,
свет и цвета как на исходнике. 5 секунд. Без искажения лица,
без резких движений, без смены выражения на улыбку.
Скопировать

Что здесь важно: одно движение камеры вместо «наезд и одновременно облёт»; глаголы («моргает», «качается») вместо прилагательных («динамично», «эффектно»); строка ограничений, которая режет смену позы, дорисованных людей и перекрашивание; проценты и градусы - «наезд на 10 процентов» стабильнее, чем «приблизь камеру».

Если движение придумывается плохо, можно попросить текстовую модель описать движение в кадре: загрузить фото, попросить перечислить, что физически может двигаться на этом кадре, и собрать из ответа строки «Объект» и «Среда».

Требования к исходной картинке: разрешение, кадрирование, шум

Модель усиливает то, что уже есть на фото, включая дефекты. Ориентиры по исходнику:

• Разрешение. Короткая сторона не меньше 1000 пикселей.
• Лицо крупно. Если лицо занимает сотню пикселей, черты в движении поедут почти всегда. Обрежьте кадр плотнее.
• Шум и артефакты сжатия. Скан старого фото, пересохранённый JPEG, скриншот из мессенджера: сначала апскейл, потом видео, иначе зерно начнёт «кипеть».
• Кадрирование. Оставьте немного воздуха вокруг объекта, если планируете наезд.
• Что убрать заранее. Водяные знаки, случайные надписи, чужие руки на границе кадра, провод поперёк лица.
• Формат. JPEG или PNG без прозрачности: прозрачный фон модель заполнит по своему усмотрению.

Проверка на пять секунд: откройте фото в 100 процентов и посмотрите на глаза и пальцы. Если там уже нечёткая каша, видео её не исправит.

Частые дефекты и что с ними делать

Лицо теряет сходство. Модель заново рисует голову при повороте. Решение: крупный портрет на входе, «статичная камера», поворот не больше нескольких градусов, длительность 5 секунд вместо 10.

Глаза живут своей жизнью. Просите одно моргание за ролик и пишите «взгляд направлен в камеру». «Оживлённый взгляд» даёт косоглазие.

Руки. Надёжнее не просить движения руками вовсе, а если они мешают - обрезать кадр так, чтобы кисти оказались за границей.

Текст плывёт. Надписи в генеративном видео не держатся: либо кадрируйте без текста, либо наложите его поверх готового ролика в редакторе.

Мерцание и «кипящая» текстура. Следствие шумного исходника или слишком быстрого движения. Уберите шум на входе, замедлите камеру.

Морфинг фона и скачок в конце. Помогают строка «фон остаётся неизменным, новые объекты не появляются» и меньшая длительность.

Если после трёх попыток дефект тот же, дело не в промте, а в исходнике или модели.

Что делать с готовым видео: апскейл, звук, склейка

Апскейл. Если генерировали в 720p ради экономии, качество поднимают отдельной моделью: Topaz Video Upscale заявлен до 4x, для картинок Topaz Image Upscale тянет до 8x. Порядок важен: апскейл фото до видео, апскейл ролика после.

Звук. Шум ветра, шаги, скрип двери собирают через ElevenLabs Sound Effects по текстовому описанию, музыкальную подложку через модели Suno, дальше сводят в видеоредакторе.

Склейка длинной сцены. Экспортируйте последний кадр ролика как картинку, загрузите его как исходник в новую генерацию, продолжите в промте то же движение и склейте куски без перехода. Качество к третьему-четвёртому звену обычно падает: каждый новый кадр это копия копии. Для сцены длиннее полуминуты честнее сгенерировать несколько независимых кадров и смонтировать их как разные ракурсы.

Как оживить картинку в Молекуле и сколько это стоит по кредитам

Порядок тот же: найти в каталоге видеомодель, работающую с картинкой на входе, загрузить фото, вписать промт по каркасу из пяти строк, выбрать длительность и запустить. Интерфейс на русском, VPN и зарубежная карта не нужны, оплата в рублях.

Внутри подписки списываются кредиты, у каждой модели своя стоимость запуска, и она видна рядом с моделью: перед запуском вы видите цену. Видеогенерации дороже текстовых, поэтому бесплатной квоты в 5 кредитов на ролик не хватит. Квота платного тарифа обновляется каждый оплаченный период: например, на тарифе «Про» это 2000 кредитов в месяц за 1649 рублей (данные на момент публикации, актуальные цифры смотрите на сайте).

Разумная тактика по расходу: черновики гоняйте на быстрых и дешёвых видеомоделях по 5 секунд, пока движение не устроит, и только финальный вариант повторяйте на дорогой модели в максимальном разрешении.

Готовый промт для первой пробы: оживить фото с медленным наездом камеры. Прикрепите к нему своё фото и сравните результат двух моделей: это самый быстрый способ понять, какая из них ведёт себя аккуратнее на ваших кадрах.

Материалы по теме

• Оживить картинку нейросетью
• Оживить фото нейросетью
• Сгенерировать картинку по фото