Runway — это инструмент для редактирования видео в браузере. На первый взгляд, он не сильно отличается от популярных редакторов, таких как Premiere Pro или DaVinci Resolve. Но что отличает Runway от других, так это инструменты на базе искусственного интеллекта. Конечно, в нем есть фильтры, текст, многодорожечный звук, анимация ключевых кадров, несколько слоев и базовые функции редактирования, но его истинным отличием являются инструменты преобразования текста в видео, ротоскопирования и заливки с учетом содержимого. В недавнем Твите Runway показала рекламный ролик для своего нового инструмента преобразования текста в видео. Но еще неизвестно, будет ли это просто трюком с большим маркетинговым толчком, или это будет полезный инструмент для редакторов.
Преобразование текста в видео
Новейшая функция Runway, доступная в настоящее время только при регистрации в списке ожидания, — преобразование текста в видео с помощью искусственного интеллекта. Этот инструмент обещает редактировать и генерировать видео с использованием описаний, написанных на естественном языке. Их рекламный ролик показывает, на что, по их мнению, способен этот инструмент. На нем показано, как пользователь вводит команды для импорта видео городской улицы, придания ему кинематографичности (путем применения цветовой гаммы), удаления объекта (вероятно, с помощью своего инструмента заливки Inpainting content-aware). Затем показано, как инструмент создает изображения пышного сада, чередуя различные стили. Неясно, являются ли эти изображения извлеченными из поиска изображений, или они сгенерированы инструментами искусственного интеллекта, такими как недавно популярные DALLE или Midjourney. Затем показано, как редактор преобразует базовые текстовые команды в фактические изменения. Эта очевидная способность понимать подсказки естественного языка и действовать в соответствии с ними — очень интересный и многообещающий скачок в технологии. Это может сделать продвинутый процесс редактирования более доступным для непрофессионалов.
Воплотите любую идею в реальность. Просто напишите ее.
Преобразование текста в видео скоро появится на Runway.
Подпишитесь на ранний доступ: https://t.co/ekldoIshdw pic.twitter.com/DCwXcmRcuK
— Взлетно-посадочная полоса (@runwayml) 9 сентября 2022 г.
Первый вопрос здесь заключается в том, быстрее ли это, чем обычное редактирование. Опытные редакторы становятся быстрее с практикой и использованием сочетаний клавиш клавиатуры и мыши, а также макросов. Для выполнения определенных действий может потребоваться больше времени на ввод команды, чем на фактическое выполнение действия.
Второй вопрос (который связан с первым) заключается в том, точны ли эти команды. Даже при простом просмотре команд в этом видео становится ясно, что может потребоваться множество настроек, которые могут даже не сэкономить время, и это, конечно, не будет таким мгновенным, как обещалось.
- Импорт – В приведенном выше примере импортируется стандартное видео или что-то, что было импортировано вручную? Если последнее, то ИИ отсканировал содержимое импортированного видео и добавил эти метаданные?
- Масштабирование во времени – Какова продолжительность анимации? Насколько она масштабируется? Масштабируется ли она к центральной точке или к другой точке?
- Исчезновение текста – Какой тип шрифта и цвет текста? Как долго длится исчезновение?
- Размытие фона – Насколько сильно применяется размытие? Что это за стиль размытия?
Из перечисленных команд, которая, по-видимому, сработает так, как задумано, — это выделение персонажа зеленым цветом. Сделать фон черно-белым, вероятно, тоже несложно. Но на данный момент это быстрее, чем ввести “черно-белый” в список фильтров и применить его? Возможно, быстрее ввести действие, чтобы применить что-то вроде размытия, а затем скорректировать его исходя из базовой линии, если вы недовольны результатами.
В целом функция преобразования текста в видео кажется очень интересным технологическим прорывом. Но еще предстоит определить, является ли это крутой демонстрацией технологий искусственного интеллекта или это поможет редакторам ускорить их рабочий процесс.
К счастью, Runway предлагает несколько других полезных инструментов, которые могут стоить вашего времени. И вы действительно можете использовать их прямо сейчас, вместо того чтобы попадать в список ожидания.
Зеленый экран
У инструмента Runway «Зеленый экран» (обычно называемого ротоскопированием) есть несколько известных пользователей с несколькими значительными историями успеха. Одним из самых известных является команда графики The Late Show со Стивеном Колбертом. Они утверждают, что сократили рабочий процесс ротоскопирования с нескольких часов до нескольких минут. Ротоскопирование, несомненно, является сильной стороной Runway, оно позволяет легко идентифицировать людей и объекты. И если вам нужно совместить это с простым редактированием, инструмент может это сделать. Легко представить Runway как часть более масштабного рабочего процесса редактирования, но крупные компании, скорее всего, не будут использовать его в качестве единственного инструмента редактирования в ближайшем будущем.
По сравнению с другими популярными методами ротоскопирования в таких программах, как After Effects, Runway конкурирует даже с новейшим инструментом искусственного интеллекта Adobe Rotobrush 2.0 (ознакомьтесь с нашим видеоуроком по Rotobrush 2.0 здесь!). Но можно привести доводы в пользу того, чтобы просто сохранить рабочий процесс в среде Adobe, поскольку и Green Screen, и Rotobrush 2.0 имеют свои недостатки. В приведенном ниже видео 2021 года YouTube-канал VFX Corridor пробует различные методы ротоскопирования. Даже в приведенном ниже видео это не совсем то решение в один клик, которое, кажется, обещает Runway. При перемещении объекта, который меняет ориентацию, требуется несколько щелчков мыши, чтобы сохранить выбранный объект. Но даже с учетом этого он был намного быстрее других альтернатив, включая Rotobrush 2.0. Rotobrush был очень близок к второму, особенно по сравнению с более ручными маршрутами, но по качеству они все равно уступали Runway. Процитирую одного из членов команды Corridor: “Обычно с ИИ … вы обмениваете скорость на детализацию, но с этим вы получаете и то, и другое”.
Рисование
Функция закрашивания в Runway — это инструмент заливки с учетом содержимого. Это означает, что вы можете выбрать объект в отснятом материале, и Runway удалит его, одновременно заполняя пространство в зависимости от контекста. Эта функция присутствует в различных программах, и она будет работать не каждый раз. Но это фантастический инструмент для избавления от раздражающих объектов и посторонних, которые попали в кадр. Просто закрасьте объект, от которого хотите избавиться, а инструмент сделает все остальное. Такая функция отлично работает на простом фоне с минимальным движением, но может стать спасением во многих сценариях.
Трюк или изменяющий жизнь?
Поскольку преобразование текста в видео все еще находится в списке ожидания, а реальных демонстраций пока нет, возникает много вопросов относительно того, насколько эффективной будет предстоящая функция Runway. Пока неясно. Но у технологии большой потенциал! Ей по-прежнему требуется много участия человека, поэтому она не отнимет слишком много работы. А сколько времени это сэкономит, будет зависеть от точности инструмента. Мы будем ждать, затаив дыхание, результатов, когда преобразование текста в видео станет общедоступным, но пока вам следует сохранять здоровую дозу скептицизма при просмотре рекламных роликов Runway.
