Нейросеть научили анимировать 3D-модель лица, основываясь только на голосе
Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.
Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.
Программа поддерживает 4 языка: английский, французский, итальянский и русский. В компании обещают, что в будущем «Audio2Face» сможет обрабатывать любые языки.