Что такое Google Lumiere и как он работает? Вот что вам нужно знать

Возможно, вы недавно слышали о модели искусственного интеллекта Google Lumiere. Так что же это за Google Lumiere? Как работает Люмьер? Мы объяснили вам все, что вам нужно знать о Google Luimere.

Рост в области генеративного искусственного интеллекта в последнее время был настолько стремительным, что поразил почти всех. Теперь мы привыкли, что ChatGPT генерирует текст на основе наших письменных подсказок. Недавно мы увидели, что искусственный интеллект не только генерирует изображения, но и создает видеоролики. ChatGPT и другие компании теперь тоже могут делать это с легкостью.

Технологический гигант Google также принял меры в этом направлении. В этом списке мы попытаемся ответить на вопросы о Google Lumiere. Google Lumiere создает видеоролики по командам, которые вы вводите, и делает это довольно хорошо. Вот все, что известно о Google Lumiere…

Содержание показать

Кто создал Люмьера?

Сотрудники Google опубликовали статью, знакомящую с Lumiere, 23 января 2024 года. В статье под названием «Lumiere: модель пространственно-временной диффузии для генерации видео» объясняется мультимодальность модели.

Мультимодальная видеомодель ИИ может принимать входные данные из текста, изображений, аудиофрагментов и даже других видео (возможно, комбинации двух или более) для создания создаваемого видео. Ни один чат-бот на основе искусственного интеллекта в настоящее время не предлагает ничего (или даже многого) в плане создания видео. Lumiere может сделать Google Bard самым многофункциональным помощником на базе искусственного интеллекта в 2024 году.

Что такое Google Lumiere и что он может?

Недавно был представлен Google Lumiere. Так чем же именно занимается Люмьер? Google Lumiere — это модель искусственного интеллекта, создающая видео. Он использует новую модель распространения, известную как Space-Time-U-Net, или STUNet. Эта сеть STUNet работает над концепцией пространства и времени. Таким образом, он по сути контролирует, где находятся объекты в видео и как они в конечном итоге движутся и изменяются. Этот процесс позволяет Lumiere обрабатывать видео за один раз, а не традиционным методом сшивания небольших кадров.

Он создает последовательные, высококачественные видеоролики с использованием простых текстовых подсказок и отлично подходит для стилизации. Он также является мультимодальным с моделями «текст-видео» и «изображение-видео». Вы также можете использовать его для создания синемаграфий и видеоживописи.

Lumiere достигает лучшей временной согласованности, чем другие модели, благодаря «архитектуре пространственно-временной сети u-net», которая создает всю временную длительность видео сразу за один проход через модель. Это обеспечивает временное сверхвысокое разрешение в отличие от существующих видеомоделей, которые синтезируют ключевые кадры.

Эта новая модель ИИ представляет собой набор ранее выпущенных инструментов ИИ от Google. Style Drop, представленный 15 декабря 2023 года, — это собственный генератор текста в изображения от Google. Его применение заключается в использовании одного или нескольких эталонных изображений стиля, определяющих стиль, для создания изображений из текста. Таким образом, StyleDrop эффективно снимает бремя разработки текстовых подсказок, гарантируя, что изображения будут созданы в стиле, соответствующем эталону. В конце концов, StyleDrop уже включает в себя исследования компьютерного зрения, используемые в Google Lumiere.

Video Poet является предшественником Google Lumiere, поскольку представляет собой широкоязыковую модель для видеопроизводства с нуля. Главное отличие — качество. Впечатляет то, что Video Poet уже был многомодальным и мог генерировать аудио из видеосигналов. Это один из наименее распространенных способов мультимодальности (наиболее распространенным является преобразование речи в текст). Фактически, эта «авторегрессивная» языковая модель обучается на основе видео, изображений, аудио и текстовых модальностей.

Как работает этот процесс?

После того, как вы ввели свой запрос, давайте поговорим о том, как работает этот процесс. Когда вы даете команду Google Lumiere, он использует фреймворк STUNet и определяет, где в кадре будут размещены нужные вам объекты и как они будут перемещаться, чтобы создать больше кадров, которые в конечном итоге перетекают друг в друга. В конечном итоге это создает впечатление более плавного движения видео. Одно из отличий здесь заключается в том, что Google Lumiere больше фокусируется на самом движении и на том, где создаваемый им контент должен находиться в заданной точке. Другие модели обычно сшивают видео из ключевых кадров, созданных там, где действие уже происходит.

Google Lumiere также производит 80 кадров вместо 25 кадров из Stable Video Diffusion. Это помогает видеороликам выглядеть почти реалистично, как это видно из видеороликов, опубликованных Google. Однако поскольку это искусственный интеллект, он показывает нам моменты, в которых видео кажется искусственным. Но все равно выглядит весьма впечатляюще.

Как использовать AI-видеоредактор Google Lumiere?

В настоящее время нет возможности получить доступ к Lumiere или загрузить его. Мы ожидаем, что в ближайшем будущем Lumiere расширит возможности Google Bard. Будьте готовы использовать его, когда он будет выпущен, выполнив следующие шаги:

Шаг 1 – Google Lumiere через Bard

Для использования Google Lumiere вам необходим доступ к Google Bard. Посетите сайт чат-бота здесь. Официального заявления относительно интеграции видеомодели пока нет. Однако было бы не ошибкой предположить, что именно здесь Бард будет использоваться в ближайшем будущем. Для использования Google Bard учетным записям Google Workspace потребуются права администратора.