映像メディアの価値を映す Screens

日本テレビ放送網株式会社（本社：東京都港区、以下日本テレビ）が、7月26日（金）より開催しているイベント「超汐留パラダイス」の企画である『HUNTER×HUNTER』のPRブースに、合同会社DMM.com（本社：東京都港区、以下DMM）が、東京大学大学院情報理工学系研究科システム情報学専攻猿渡研究室と共同で開発した“※リアルタイム音声変換”技術が採択された。なお、この共同研究は2016年に東京大学大学院情報理工学系研究科に設置された社会連携講座「時空間解析技術の応用研究」の活動の一環として行われたもの。

HUNTER×HUNTER

参加者はブースにてアニメの映像に合わせてセリフを話すと、自分の声が『HUNTER×HUNTER』のキャラクターの声に変換されてスピーカーから流れ、なりきりアフレコ体験ができる。DMMは今回の取り組みを皮切りに、“リアルタイム音声変換”の技術をエンターテインメントを始め、様々な用途での展開を進めていく方針だ。

※リアルタイム音声変換とは、機械学習を用いてマイクに向かって話す声を特定の人の声にリアルタイムに変換する技術。

リアルタイムでの音声変換

従来は、音声変換の処理に時間がかかるためリアルタイムでの音声変換は難しく、イベントやライブ配信などリアルタイム性が求められる場面での活用は困難だった。今回のシステムでは1-2時間程度の収録で得られる音声データを元に、機械学習を用いた独自の変換処理により遅延を小さく抑え、人間が音声遅延を認識する約70msを下回る約50msでの音声変換を実現。音声変換モデルの機械学習には、変換精度を高めるため、主に画像生成等において成果を上げている「GAN（Generative Adversarial Network）」と呼ばれる生成モデルと同様の技術を応用。また、音声変換部分はシステムを軽量化したことで一般的なノートパソコンで十分に動作が可能に。

リリース