ドワンゴら、MIDIデータをバーチャルキャラクターの演奏の指の動きに反映させる「運指再現技術」を開発
「運指再現技術」を利用した公式生放送で、指の動きや鍵盤の凹みまで忠実に再現したバーチャルキャラクターの“演奏”が披露された
株式会社ドワンゴと株式会社バーチャルキャストは、「運指再現技術」を独自開発し、公式生放送での運用に成功したことを発表した。これは、現実の環境で叩かれた鍵盤から出たMIDIデータ（電子楽器用信号）を認識し、バーチャルキャラクターの演奏の手先の動きに反映させる技術。タイムラグは1秒ほどで、ほぼリアルタイムの動作反映によって、生放送での自然な運指再現を実現できる。
株式会社ドワンゴでは、これまでにも“ネットとリアルの融合”をコンセプトとして、バーチャルキャラクターを現実の空間に“出現”させる開発に継続的に取り組んできた。一例として、バーチャルキャラクターをAR合成し、屋外など場所を問わずに出演させられる生放送向けのAR撮影システムを開発。米国で開催されたE3会場から「電脳少女シロ」による現地レポート生放送を成功させるなど、新たなシステムと取り組みを提供している。
今回発表された「運指再現技術」は、電子ピアノのどこが押下されたかをデータで受け取り、指の動きをバーチャル上のキャラクターに反映させるものだ。これにより、楽器演奏の際のキャラクターの手先を、人物の動きのように自然に再現できる。この技術を用いた生放送として、2018年9月8日（土）には「『ときのそら』デビュー1周年 超おめでとう記念公式生放送 〜えーちゃんもいるしリサイタルもあるよ〜」を配信。番組の目玉企画として、指先までの動作を反映させたピアノ演奏が「弾き語りリサイタル」として披露された。
