В основе новой модели лежит продвинутая архитектура диффузионного трансформера
Фото: Сбер
Сбер активно развивает свою генеративную нейросеть Kandinsky и в самое ближайшее время выпустит новую версию для генерации видео Kandinsky 4.1 Video. Первые доступы к Kandinsky 4.1 Video уже получили участники GigaConf, а также некоторые художники и дизайнеры. В ближайшем будущем она будет доступна всем пользователям. Об этом заявил старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев в рамках технологической конференции GigaConf.
«Kandinsky 4.1 Video обеспечивает качественно новый уровень генеративного видео. Модель стала в разы лучше по всем параметрам: по соответствию промпту, визуальному качеству, качеству генерации движений, а также способности моделировать физику мира. Такие разработки открывают беспрецедентные возможности как для дизайнеров, маркетологов, так и для представителей любых других креативных индустрий, работающих над созданием высококачественного видеоконтента», — сказал Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.
Модель Kandinsky 4.1 Video генерирует видеоряд продолжительностью до 10 секунд в разрешении SD (720 x 576) или HD (1280 x 720) по любому текстовому описанию или произвольному стартовому кадру. С помощью модели можно создавать качественные видео с произвольным соотношением сторон под любые пользовательские и продуктовые потребности.
В основе новой модели лежит продвинутая архитектура диффузионного трансформера. Одним из ключевых факторов, позволивших значительно улучшить качество модели, стало её дообучение (Supervised Fine-Tuning, SFT) на тщательно отобранных данных, подготовленных более, чем 100 экспертами — дизайнерами, фотографами и художниками с профильным образованием. Этот этап обучения позволил значительно повысить уровень художественной выразительности, композиции видео и кинематографичности визуального ряда.
Переход к новой большой архитектуре заметно увеличил потребность в вычислительных ресурсах, поэтому при разработке уделялось особое внимание оптимизации. В результате применения методов дистилляции и ускорения, время генерации видео сократилось более чем в три раза по сравнению с исходным вариантом, при этом в ряде сценариев качество генерации сохранилось или даже улучшилось.
Напомним, что первая в России модель генерации видео Kandinsky Video была представлена 22 ноября 2023 года на конференции AI Journey.
Чтобы воспользоваться новой опцией, пользователю следует обновить приложение до последней версии
Якутия занимает третье место в Дальневосточном округе по обороту сферы общественного питания
В форуме примут участие эксперты из 14 стран и 85 регионов России
Брендированная зона работала ежедневно и без выходных
Скошено свыше 329,6 тысячи гектаров сенокосных угодий
На отборочном этапе команды пройдут девять испытаний