人間をラジコンで操作することは可能か

落合　今や人々はどこでもコンピュータを使うようになり、IoT※1技術の発展でその状況はさらに進展していきます。
コンピューティングは特別なものではなくなり、テクノロジーが環境に溶けていった先にあるのが、僕の考える未来の世界観「デジタルネイチャー」です。ありとあらゆる事象が「計算機の中にある自然」として存在する世界。

※1 「Internet of Things」の略。パソコンやスマートフォンだけではなく、ありとあらゆるモノがインターネットに接続する世界のこと。

前述したように、最初は、情報の提示方法、例えば空中に描くディスプレイやロボティクスを用いてどうやって人とコンピュータの生態系を作っていくかを考えていたんです。
でも、そういった生態系を考えるには、マテリアルリサーチ、例えば、ディスプレイの素材やアクチュエータ※2の素材になるようなものも考えていかないといけないし、ディスプレイを用いてどう人を動かすかという、ヒューマンコンピューテーションなども考えなくてはいけない。
今は、博士時代にやっていた場のコンピューティングを、物質的な方と人間的な方へ伸ばして行っているんです。
その延長で、人間はどうやって操作されるのか。コンピュータが人間を操ることも十分ありえる。そう考えてやってみた実験がこれです。

※2 入力されたエネルギーを物理的な運動へと変換する駆動装置

Graphical Manipulation of Human's Walking Direction with Visual Illusion.

落合　これはVRゴーグルに表示される映像をラジコンで動かし、人の歩く方向を操作しているんです。本人はAに向かって歩いているつもりでも、Bにたどり着いてしまう。

——本当はAに向かうには左に行かないといけない。でも、コントローラーを右に曲げると、右に行けばAが正面に来るような映像がゴーグルに流れて、被験者はその視覚的情報に従ってしまう。そして結果的にBにたどり着いてしまう、ということでしょうか。

落合　そうです。これは光学的に人間を操作する一例です。そんな風な視覚の動きが気づかない程度に含まれています。次は、音で人間を操作するという実験です。

Human Coded Orchestra

落合　ステージ上にいる3つのグループに分けた人たちに、指向性のあるスピーカーを使って音を届けます。3グループには、それぞれ違う音が聞こえているんです。そして、その音の通りに発声してもらう。そうすると、人間を伴奏楽器として“演奏”できます。
演奏している曲は“Let It Be”ですが、全然あるがままじゃなくて操られているという（笑）。

——電子楽器は人間が「命令」して指定の音を出させていますが、この場合は逆にコンピュータが「ラの音を出しなさい」などと命令して、人間がその通りの音を出す。たしかに、コンピュータに操作されているという関係性ですね。

落合　こうやって人間はコンピュータに制御されていくんですよ。
でも多分、制御された方が、されないよりできることが増えるから楽しい。人は自由でない方が楽しいことも多いんです。ゲームとかそうでしょ？　ある程度のガイドや制約があるから楽しくやれる。
こういったヒューマンコンピュテーションの研究には力を入れてやっています。他にも、ディスプレイと同じようにロボティクスに力を入れていて、これは、人間をパペットに入れ込む研究です。

Yadori

落合　被験者とパペットの動きを完全に同期させることができるんです。
動きだけでなく、パペットから声も出ます。被験者がかぶっているマスクにはマイクがついていて、それで声を拾います。口元の反射板で口の動きを、おでこの慣性計測装置で顔の動きを、Kinectで手の動きを読み取って、それをリアルタイムでパペットに伝えるんです。
こうすると、時間も場所も空間も姿形も超越して、存在することができるようになります。

——遠隔会議とか、これでやったらおもしろそうですね。

落合　そうそう、パペットが自分のアバターになるんです。映像よりも物質的で解像度が高いから、感情などもより伝わりやすくなるはず。
こういうことが実現すると、いろいろな制約から解き放たれて、多様で自由な世界観を構成するようになると思いませんか？

そもそも、汎用的なロボットを考えるより、こういった外側の見た目を与えてやってそれをどうやってコンピュータで解いてロボティクスにしていくかというあたりが、おもしろいリサーチだと思うんです。
中身は3Dプリンター出力で、外側の人形に当てはめて骨を作っていく。アニマトロニクスという分野なのですが、そのコンピュータ出力に興味があります。人はどういう形をとるのか。

こうやって人から見えない隠れたレイヤーを設計していくこと。つまり、材質がコンピュータで設計出力されていたり、ディスプレイや骨格が隠れていたり、人が気づかぬうちに操作されていたりすることが、デジタルネイチャーにつながっていくと思うんです。

全部、デカルトのせいだ

——おもしろそうだと思う反面、ちょっとこわい気もします。生き物じゃないものが生き物に見えるとか、自分がコンピュータに制御されてしまうとか……。コンピュータに制御されるというと、どうしても映画『マトリックス』みたいなイメージがわいてきてしまうんですよね。人間は自由を奪われ、エネルギー生成装置として虐げられる、というような。

落合　『マトリックス』シリーズや『ターミネーター』シリーズの影響は、大きすぎますね。映画は物語を盛り上げないといけないので機械を悪役にしてますけど、実際はそんなことないですよ。あれってけっこう昔の価値観だな、と思ってるんです。