Разработчики создали систему, которая длительно обучается на большом наборе видеоданных.
Обучив сверточные нейронные сети, российские разработчики из Samsung и Сколковского института науки и технологий (Сколтеха) анимировали фотографии, портреты и картины.
Об этом пишет Хроника.инфо со ссылкой на arXiv.org.
Известно, что синтезировать реалистичные аватары трудно по двум причинам. Во-первых, человеческая голова обладает высокой фотометрической, геометрической и кинематической сложностью: трудности возникают не только в процессе моделирования лица, но полости рта, волос и одежды. Вторым усложняющим фактором является острота зрительной системы человека, которая проявляется в эффекте «зловещей долины». Согласно гипотезе, если робот допускает ошибки в попытке подражать человеку, то вызывает неконтролируемое отвращение у людей-наблюдателей.
Для создания персонализированной модели говорящей головы искусственный интеллект требует обучения на большом наборе изображений героя. Тем не менее, во многих приложениях такие модели должны быть получены из нескольких изображений человека, возможно, даже из одного. Разработчики создали систему, которая длительно обучается на большом наборе видеоданных и генерирует маску говорящего лица. Маска обозначает границы лица и базовую мимику. Связь полученной маски с исходным видеорядом сохраняется в виде вектора, благодаря чему маска может быть перенесена на отдельные изображения лиц.
В процессе метаобучения нейросеть автоматизирует процесс выбора и настройки компонентов. Три модели были обучены на большой базе видеоинтервью со знаменитостями, найденных на просторах Youtube. Сеть-эмбеддер преобразовывала маски, сцепленные с особенностями лица, в векторы. Эти векторы были использованы, чтобы инициализировать параметры сети-генератора. А сеть-генератор, в свою очередь, формировала видео, которое сеть-дискриминатор сопоставляла с исходным и оценивала реалистичность полученного результата.
Читайте также: Голосовые помощники Apple и Amazon обвинили в сексизме
Работу системы проверили, применяя в качестве ведущего видеоряда видеозапись с фронтальной камеры, а в роли изображения, на который осуществлялся перенос — селфи-фотографии. 32 изображений достаточно для получения высокого качества «говорящей головы».