Возможности своего алгоритма ученые продемонстрировали на примере записи голоса бывшего президента США Барака Обамы, при помощи которой была создана его цифровая копия.
Алгоритм считывает звуковую дорожку и моделирует реалистичную мимику губ человека, после чего накладывает получившуюся анимацию на уже существующее изображение говорящего, сообщается на сайте университета.
«Реалистичное преобразование аудио в видео имеет практические применения. Это сможет улучшить процесс проведения видеоконференций. Также можно вести беседу с исторической фигурой в виртуальной реальности, создавая визуальные эффекты только из аудио», - заявил один из разработчиков алгоритма Иру Кемельмахер-Шлизерман.
Широкой общественности и разработчикам алгоритм будет представлен на международной ежегодной конференции SIGGRAPH 2017, которая стартует 2 августа.
© ОАО «ТРК ВС РФ «ЗВЕЗДА»