[Текстоплёт]

Нейросети - замечательный инструмент! Везде-то их теперь применят и найдут для них работу

В Cyberpunk 2077 использовали нейросеть для липсинка, в том числе на русском

CD Projekt объявила, что в Cyberpunk 2077 будет полная синхронизация анимации движения лиц и диалогов на всех на десяти языках — включая русский.

Об этом рассказал Матеуш Поплавский, ведущий технический директор персонажей игры. По его словам, после завершения работы над «Ведьмаком 3» авторы поставили перед собой цель улучшить данный технический аспект.

Из-за новых запросов создатели не могли просто воспользоваться технологией захвата движений (Motion Capture), и пришлось придумывать что-то другое. Для этого они воспользовались нейросетью JALI, «систематизировав» процесс синхронизации анимации лица и голоса. Поплавский отметил, что анимации моделей в ролике были созданы сетью — люди к ним вообще не прикасались.

Если вкратце, то система вычисляет, какое конкретно движение требуется для определённого слова, тона или другого языка — учитываются даже мельчайшие подробности. В качестве примера было продемонстрировано, как персонаж произносит одни и те же фразы на разных языках.

Начиная с 13 минуты видео авторы наглядно демонстрируют изменения, которые привносит система, а на 15:44 можно увидеть результат синхронизации на десяти языках дубляжа, включая и русский.

Видео - показ технологии