GHOST PLAY
概要
GHOST PLAY は、2009年度下期IPA未踏事業に採択された「センサーデバイスを活用した弦楽器自律演奏のための基盤ソフトウェア開発」の開発成果をフェアリーデバイセズ社に技術移転した研究プロジェクトであり、磁気リニアアクチュエーターの極微細な制御によって、人間の演奏表現を音声波形レベル・極めて正確に模倣するデバイスの開発を目指し、オープンソースとして開発を行なっています。
人工物による人間の演奏表現へのアプローチ
本デバイスは、工学的にもっともプリミティブなアプローチ、すなわち全体の動きを微小時間に分割して、微小時間ごとの正確な制御を連続させることで、全体の動きを再現するという方針を取っています。
ソースコード／ドキュメント:GitHub リポジトリ （ v0.8-alpha ）
外部評価:IPA採択案件評価書（PDF）
開発経緯
量子化アプローチで演奏を模倣できるのか
人間の演奏表現は、人間固有のものであり、演奏者自身の人間存在の根幹から表現されるものです。それは当然ながら、工学的手段で代替できるようなものではありません。さらに言えば、ある人の演奏表現は、その人固有のものであって、他の誰かが代替することはできません。それを真似ることができたとしても、取って替わることはできません。これは、本プロジェクトにとっても一つの本質的な前提です。
私たちが誰かの演奏を真似ようとした時、基礎的な練習が必要であることは言うまでもありませんが、CDをひたすら聴き込んで同じフレーズを何百回と弾くといった反復練習を行います。工学的手段で「真似」ようとした場合、その実現方針として、 いくつかの方針が想定されます。本プロジェクトが採用した方針は、もっとも基本的と考えられる方針、演奏動作の連続値を微小時間ごとに量子化し、微小時間 ごとの正確な動きを連続させることで、演奏動作を再構成するというものです。この方針を採用した理由は、もっとも基本的であるということに加えて、今後の発展的な考察に必ず必要になる基盤的なアプローチであるためです。
では、果たしてこのような量子化アプローチで、演奏をどこまで模倣することができるのでしょうか？ここで、技術的な問題ではない、表現と模倣についての根源的な課題に直面します。それは、音楽を、私たちはどのように感じるのか、という点に関わります。
音楽は、空間に広がり「場」を作ります。それは、物理的な空気の疎密波の場ということではな く、空間に演奏者の存在を薄く拡散させたような場であり、ごく有体に言えば、演奏者の存在と密接に繋がった、その空間の雰囲気を決定づける場とも言えま す。たとえば、玄関を開けた時に部屋の中から聞こえるピアノの音、その音に私たちは、演奏者の存在を間接的に感じます。もし聴きなれたサウンドと異な るサウンドが聞こえてきた場合、誰かお客さんが演奏しているのかな、などと感じるでしょう。
これは、録音音源であっても、一定、同じ効果を再現することができるはずです。では、工学的な演奏の模倣（本プロジェク トによる量子化アプローチ）の場合はどうでしょうか？いくつかの疑問が段階的に想定されます。物理的に演奏を正確にトレースしたとして、単純な録音と等し い再現が可能であれば、録音音源に接する場合と同様に、私たちはその演奏に、演奏者の存在を仮構することができるでしょうか。それは「録音と再生」という 現在のパラダイムとまったく同じでしょうか、それとも異なる性質を持つでしょうか。この点は、そもそも演奏表現を量子化することができるのか、という根源的な疑問に関係しています。
付属的な疑問として、再現の正確性を徐々に壊していった時、聴きなれたサウンドは、どの段階で聴きなれないサウンドへと変化してしまうのでしょうか。その変化は徐々に起こるアナログ的なものでしょうか。それとも、ある段階で突然ドラスティック に変化してしまうデジタル的なものでしょうか。
私たちの感じ方という曖昧なパラメーターを取り扱わなければならない以上、このような疑問を定量的に評価することは難しいと言えます。しかしながら、量子化アプローチによって、この課題にボトムアップから取り組むことが可能となります。当然なが ら、ごく正確な制御を実現できる精巧なハードウェアと制御プログラムが用意されることは大前提であります。これは本プロジェクトにおいて未熟ながらも達成されたものであり、以降の章でその詳細について説明しています。
ここまでは、音楽の受け手を中心とした考察でした。
音楽の送り手側から考察する
ここで、ある曲を演奏するために決定された大量のパラメーター列を想定します。このパラメーター列は、バイオリン演奏に一定の知識と経験のある人間が、自分の耳で確認しながら、注意深く決定したパラメーター列であるとします。
これはつまり、パラメーター列を介して自分の手足を使う代わりに、機械の手足を使って演奏を行う。しかしその解釈は、あくまでも人間が行う、そういう仕組みです。人体の物理的制約と同様、機械にも物理的制約、特に本システムの場合は、量子化 アプローチの精度限界（10ミリ秒／10ミクロン）があります。これら本システム特有の制約についての考察は本論に譲るとして、一定の制約条件下で最適 化されたパラメーター列は、その最適化過程の直接演奏行為との構造的な類似性、及び、本システムが未熟ながらも達成している精度の定量的側面から、それを構築した人間の「間接的演奏表現」と捉えることも可能であると考えています。もちろん、受け手についての考察で述べた量子化アプローチの根源的問題は、依然重要な論点として残っています。この論点を留保したとしても、量子化アプローチそのものを制約条件のひとつとして包含することで、少なくとも制約条件下での間接的演奏表現と捉えられるのではないか、という限定的な表明が成り立ちます。
誤解を恐れずに一歩踏み込めば、アコースティック楽器にコンピューター制御による演奏系を組み合わせたもの、これを、楽器／機械の組み合わせとしてではなく、一連一体のまとまりをもつ一つの楽器として、パラメーター列のチューニングを通して間接的に演奏する楽器である、と して捉え直すということです。もちろん、パラメーターチューニングが実用的でなければ、技術的補助手段によって、まったく異なるインターフェースに代替させることも可能であり、演奏における操作系は、多様なパターンを創作することが可能です。極端な例を挙げれば、バイオリンそのものを入力のインターフェースと させることも可能です。これは、昨今の電子楽器におけるユーザーインターフェースの多様化を鑑みるに、いろいろな未知の可能性を含有しているように感じます。
最後に
ここまで送り手を中心とした観点から、人機一体、もしくは、人機楽一体となった演奏のための基盤システムとしての本システムのあり方について考察しました。本システムは、未だ発展途上であり、今後も継続的に研究、開発、そして応用の三面を同時に 推し進めて行かなければなりません。道のりはまだ遠く、私たちはその第一歩を踏み出したに過ぎないと言えます。最後に、送り手・受け手双方の観点から、本システムの指向する未来についてごく簡単に。
間接的演奏表現としてのパラメーター列、このパラメーター列には、作成者の好みや癖が不可避的に反映されることになります。そして、このパラメーター列が、さまざまな曲に対して大量に揃った場合、それらパターンや傾向を学習したコンピューター は、未知の曲を、どのように演奏するのでしょうか。それは、単に無感動な音の羅列でしょうか。
――あるいは、その演奏にパラメーター列を作成した人間の「存在」を感じることができるでしょうか。
ここまで、価値判断を留保しています。本論でも価値判断については踏み込んでいません。私がチューニングしたパラメーター列によるボーイングは、すでに私の全身全霊のボーイングより美しく響きます。その価値をどのように考えればよいか、私にはま だわかりません。このプロジェクトの未来に、いつか、わかる日がくればいいなと、そう夢見ています。
試作2号機
未踏事業での開発過程で明らかになったさまざまな機構的な問題点を解決するため、新たに試作工場の協力を得て、試作2号機を開発しました。1号機と比較し軸数 が増え、より高速な制御が可能となりました。開発言語を一部 Max MSP に変更し、より試行錯誤に適した GUI 環境を構築しています
アルゴリズム面でも、音響的な信号処理を強化するだけでなく、遺伝的アルゴリズムによるリニアアクチュエータキャリブレーションなどユニークで新しい取り組みを行っています。
今後は、演奏動作への強化学習の適用など、音響・音楽・機械の界面でのいわゆる人工知能的な処理を中心に開発を進めていきます。
デモンストレーション
