バーチャルピアニスト「潤音ノクト」が3D演奏デビュー！『リアルタイム運指反映システム』初公開

株式会社KADOKAWAと株式会社ドワンゴは、東京交響楽団特別監修のもと行う業界初となる”バーチャルアーティスト”開発プロジェクト「ポルタメタ」のお披露目記者会見を2024年6月26日にミューザ川崎シンフォニーホールで開催しました。

会見では、本プロジェクトで開発したバーチャルアーティスト（ピアニスト）「潤音ノクト（うるねのくと）」さんの3D演奏姿を初めて公開し、東京交響楽団との初共演となるリハーサルを披露しました。また、プロオーケストラとのライブ合奏を実現する、ピアニストの高度な演奏技術と表現力に対応した新システム「リアルタイム運指反映システム」も公開しました。

バーチャル空間とリアル空間の境界をなくし、オーディエンスにまったく新しいクラシック音楽の演奏体験を提供することを目指した「ポルタメタ」プロジェクトは、バーチャルアーティスト（ソリスト）とプロオーケストラが物理的には異なる場所で生演奏を行いながら、オフラインの会場で完全に同期されたアンサンブル（合奏）を披露することを実現しました。

今回、新たに開発した「リアルタイム運指反映システム」は、バーチャルピアニストがプロオーケストラとライブ共演する際、演奏技術と表現力の両面で違和感のない完璧なパフォーマンスをリアルタイムに再現します。具体的には、繊細かつ高速なピアノ演奏に対応するために「正確でなめらかな指と鍵盤の動きを再現し、音と3D映像のタイムラグの最小化する」という技術課題に取り組みました。その結果、モーションキャプチャ技術とMIDIデータ認識の組み合わせを基盤とした手法を構築し、数々のテストと細かい調整を経て新システムの開発に成功。これにより、演奏のリアリズムと精度が大幅に向上し、観客に新しい形の音楽体験を提供することが可能となりました。

また、この日、初めて「リアルタイム運指反映システム」を使用して、潤音ノクトさんのデビュー公演となる「フェスタサマーミューザKAWASAKI 2024」の東京交響楽団との共演に向けたテクニカルリハーサルを行いました。ピアノの音の出力とオーケストラの音との聞こえ方の調整や、細かなスピーカーの位置調整などを行った後、通しの演奏で締めくくり、約2時間のリハーサルが無事終了しました。リハーサル後の会見では、原田慶太楼（ポルタメタ審査委員長/東京交響楽団正指揮者）さん、潤音ノクト（バーチャルアーティスト／ピアニスト）さんが登場し、コンサート本番に向けた意気込みを語りました。

©portameta Project
潤音ノクト（バーチャルアーティスト）