Как сделать видео нейросетью: тренд с животными

Последние пару недель лента у всех выглядит одинаково: коты, попугаи и даже пельмени в кастрюле вдруг обретают дар речи и с философским видом обсуждают жизнь. Один из роликов, который реально взорвал тему — TikTok · @son4ik.k (Соньёнк): там животное с абсолютно серьёзным лицом произносит фразу, от которой хочется одновременно смеяться и плакать. Комментарии в духе «как это вообще сделано» набрали больше лайков, чем сам ролик. А сделано это, если разложить по полочкам, буквально в два инструмента и без единого дня в After Effects.

TikTok · @son4ik.k (Соньёнк)

Вот и разберём, как сделать видео нейросетью с нуля — на этом же тренде как на живом примере, чтобы не было абстрактных «сгенерируйте промпт» без понимания, что происходит.

Почему это вообще работает

Раньше «оживить» фото или снять говорящее животное значило либо снимать реального питомца с камерой в руке (и он всё равно смотрел не туда), либо звать аниматора. Сейчас задача разбилась на два независимых куска: видеоряд генерит одна нейросеть по текстовому описанию, а голос накладывает другая — отдельно, с любой интонацией. Соединять их руками не нужно, они просто выполняют каждая свою часть работы, и от вас требуется описать словами то, что вы хотите увидеть и услышать.

Именно поэтому тренд с животными так легко копируется тысячами людей: там нет уникального ноу-хау, есть воспроизводимая механика. Освоите её один раз — дальше сможете сделать видео с помощью нейросети на любую тему, не только с котами.

Что понадобится

Ничего сверхъестественного. Аккаунт в Kling и в ElevenLabs — у обоих есть бесплатный тестовый лимит, так что первый ролик можно собрать вообще бесплатно, просто чтобы понять, ваше это или нет. Фото питомца (или любое другое фото — метод одинаково работает и из фото человека, и из рисунка), пара строк текста для реплики и телефон или ноутбук с браузером — генерация происходит онлайн, ничего устанавливать не придётся, всё делается прямо на телефоне в перерыве между делами. Видеоредактор нужен только на финальном шаге, и подойдёт даже бесплатный CapCut.

Шаг 1. Как сделать видео нейросетью в Kling: описываем сцену текстом

Заходите в Kling, открываете раздел «Видео» и либо загружаете своё фото, либо сразу описываете сцену текстом — оба варианта работают, просто с фото персонаж получается узнаваемее. Дальше — самое важное: промпт. Не пишите «кот говорит», нейросеть не обязана угадывать, что вы имеете в виду. Опишите план, эмоцию, движение камеры.

Пример рабочего промпта: «Рыжий кот сидит на подоконнике на фоне окна с дождём, крупный план на морду, лёгкое покачивание камеры, кот смотрит прямо в объектив с уставшим и немного драматичным выражением, будто собирается сказать что-то важное, естественное освещение, кинематографичный стиль, 5 секунд». Чем конкретнее детали — свет, ракурс, эмоция — тем меньше шансов получить на выходе странную кашу вместо кота.

Генерация занимает от силы пару минут. Если результат не устроил — не бойтесь перекатывать заново, меняя одно-два слова в описании, это дешевле по времени, чем пытаться дотянуть неудачный вариант монтажом.

Шаг 2: озвучиваем — это и есть видео с голосом

Дальше идём в ElevenLabs — здесь закрывается вопрос, как сделать видео с озвучкой нейросетью, а не просто немую картинку. В основную текстовую строку вписываете реплику персонажа и выбираете голос из библиотеки — для животных обычно берут что-то нейтральное, слегка ироничное по интонации, без лишнего пафоса.

Реплика для нашего кота может звучать так: «Знаешь, я сегодня весь день смотрел в окно и понял одну вещь. Дождь идёт не для того, чтобы намочить землю. Он идёт, чтобы напомнить тебе — ты тоже можешь просто немного полежать». Абсурдно, но именно эта смесь бытовой мудрости и серьёзной подачи и заходит в этом жанре.

Синтез голоса занимает секунды, и тут же можно прослушать результат и перегенерировать с другой интонацией, если первая версия звучит слишком монотонно.

Финальный шаг чисто технический: скачиваете видео из Kling и аудио из ElevenLabs, закидываете оба файла в CapCut на две дорожки, подгоняете длину аудио под видео (или наоборот — обрезаете видео под фразу) и экспортируете. Это весь процесс сборки, никакой магии с масками и кейфреймами не требуется.

Кстати, ровно этот же алгоритм работает не только с животными. Хотите видео-поздравление — берёте фото человека, описываете сцену с тёплым светом и улыбкой, а в ElevenLabs вписываете текст поздравления голосом, похожим на настоящий. Хотите анимировать старое семейное фото — тот же путь, просто промпт для Kling будет мягче по движению, без резких жестов, чтобы не выглядело жутковато. Метод один, меняется только содержание реплики и описание сцены.

Из типичных промахов — самый частый это слишком длинный и абстрактный промпт: люди пытаются впихнуть в одно описание пять разных действий и получают на выходе видео, где непонятно, что вообще происходит. Второй по частоте — рассинхрон между эмоцией в видео и интонацией голоса: если кот на видео смотрит устало, а озвучка бодрая и радостная, зритель это считывает как ошибку, а не как задумку. Проще сначала решить, какую эмоцию несёт персонаж, и уже под неё писать оба промпта — и для картинки, и для голоса.

Через SEEMSEZ весь этот путь занимает реально минут пятнадцать вместе с парой перегенераций, если что-то не с первого раза легло красиво. Дальше — дело вкуса и количества смешных идей в голове.