ゲーム開発のサウンド&ムービー開発をサポートするミドルウェア群「CRIWARE」から、今秋リリース予定の新リップシンク自動生成ミドルウェア「CRI ADX LipSync」や統合型サウンドミドルウェア「CRI ADX2」を出展します。
ADX LipSyncでは音声データからの自動リップシンク生成など、最新のサウンド技術をデモとともにご紹介します。

CRIは下記内容を講演します。

ニューラルネットワークを用いた音声信号によるリップシンク（口パク生成）技術

声に合わせてキャラクタの口を動かすことで、親近感を向上することができます。しかしなら、大量のセリフに対して手付けで口を動かすことは、その労力から困難です。
本セッションでは、音声から自動的に口の動きを生成する２つの手法を紹介します。
最初は、非常に軽量な「最尤エントロピー法」よってフォルマント周波数を抽出し、口の形状を推定する手法について解説します。
次にニューラルネットワークを用いて口の動きを推定する手法について説明します。音声特徴量を入力、口の形状を出力とするニューラルネットワークを作り、既存の音声データによって学習します。
学習済みのニューラルネットワークを利用して、音声データから口の形状を推定します。従来の収録済みのセリフはもちろん、リアルタイム処理によってボイスチャットや生中継イベントへの活用できます。
これらの口パクの生成の手法について、デモンストレーションを交えながら解説します。