NIMBLE - CGF Innovation
Система захвата и переноса мимики человека на 3D-персонажа позволяет автоматизировать лицевую анимацию компьютерных персонажей, говорящих животных и вымышленных героев
CGF NIMBLE - система захвата и переноса мимики человека на 3D-персонажа, позволяющая автоматизировать лицевую анимацию компьютерных персонажей, говорящих животных, вымышленных героев и цифровых дублеров.
Система лицевого мокапа Nimble, разработанная компанией CGF Innovation, позволяет получать высококачественную реалистичную лицевую анимацию персонажей и улавливать тончайшие нюансы игры актера, перенося их на персонажа. Работа в реальном времени дает свободу оперативно принимать творческие решения, существенно сокращает сроки производства и обеспечивает высочайшую продуктивность работы.
Система Nimble LipSync позволяет генерировать мимику трехмерных персонажей на основе звука, что идеально подходит для создания говорящих персонажей, сцен с диалогами в компьютерных играх, цифровых ведущих и виртуальных помощников.
Возможности Nimble
- маркерный и безмаркерный перенос мимики
- возможность осуществления захвата в real-time и offline режимах
- эргономичный шлем для съёмки, при разработке которого отдельное внимание было уделено расширению свободы человека в движении
- легкая конструкция шлема, позволяющая комфортно работать в системе свыше 12 часов в день
- визуализация мимики 3D-персонажа real-time на съёмочной площадке
- оперативное внесение изменений и корректировок в процессе съёмок
- возможность существенного сокращения производственного цикла и увеличения скорости создания анимационного контента
- интеграция с программами Maya и Unreal Engine
- система Nimble LipSync для автоматической генерации мимики трехмерных персонажей на основе звука
ПРОЕКТЫ
Система Nimble прошла пилотное тестирование на кинопроекте “Напарник”, осуществив частичный перенос мимики взрослого человека (Народного артиста РФ Сергея Гармаша) на “компьютерного” ребенка.
Премьера фильма - сентябрь, 2017 года.
Елена — телеведущая, созданная на основе новейших методов искусственного интеллекта, таких как нейронные сети, имитирующая речь диктора, эмоции и манеру говорить реального человека.
Елена является совместной разработкой Сбербанка, компании CGF Innovation и Центра Речевых Технологий. Для генерации мимики на основе звука применяется технология Nimble LipSync.
Кроме того, Nimble используется в производстве короткометражного анимационного фильма “Реликты” режиссёра Аркадия Демченко. Работа ведётся по созданию фотореалистичного цифрового дублёра (digital double) реальной девушки. Перед нами стоит амбициозная задача по улавливанию тончайших нюансов игры актрисы и переносу их на идентичное лицо 3D-персонажа.
Дата выхода фильма будет определена позднее.
Nimble также был задействован в производстве полнометражного художественного фильма “Конек-горбунок”. С помощью системы мимика актёра Павла Деревянко захватывалась и переносилась на 3D-персонажа Конька-Горбунка. Но в итоге был сделан выбор в пользу ручной анимации.
Фильма вышел в прокат 18 февраля 2021 года.
С осени 2017 года разработка системы Nimble развивается при финансовой поддержке Фонда содействия инновациям.
С 2018 года компания CGF Innovation является резидентом Сколково.
© CGF Innovation, 2019