メディアアート的な表現方法でライブ空間を演出する

－ 平林先生が主催する「NxPC.Lab」※1 が2020年3月に10周年を迎えたそうですね。IAMAS主催のイベントや、走行する列車内をクラブ空間として利用する「CLUB TRAIN」※2 などにも参加されていますが、どんな活動をしているのでしょうか？

NxPC.Lab（新次元多層メディア的クラブ体験研究室）は、2010年にクラブやライブ空間でアーティストと観客の臨場感を拡大して、ネットへ拡散させるメディアテクノロジーの実現を目指す研究機関として活動を始めました。

2000年代前半のクラブイベントでもVJによる映像演出はありましたが、インタラクティブなものやシステム化された演出はまだありませんでした。その一方で、IAMASアカデミーDSPコース※3 やIAMAS大学院の学生たちが、Max（Max/MSP）を使ったインタラクティブな表現や観客を取り込むスタイルのVJを始めていました。
「テクノロジーが進化しても、ライブ空間表現は変わらない。もっとメディアアート的な表現方法ができるはずなのでは？」という学生たちとの話からNxPC.Labが誕生しました。
NxPC.Labの活動を続けて10年、最近では入学前にゲストとしてNxPC.Labに出演していたという学生もいますね。

設立当時、ライブ空間でのインタラクティブ表現は珍しかったけれど、今はそれが当たり前になりました。
最近のNxPC.Labでは、AIを使ったり、クリエイティブコーディング※4 など、そういう表現が増えています。また、NxPC.Labとしてイベントを主催するだけでなく、他大学や企業が主催するイベントにも積極的に参加しています。

2020年3月20日にCircus Tokyoで行われた「NxPC.Lab 10th」でのクリエイティブコーディングの様子

－ そもそも平林先生は、どういう経緯でクラブイベントやライブ空間の演出に関わるようになったのでしょうか？

ライブ空間における表現の専門家だと思われることが多いけれど、私の研究領域は位置情報やWebの構造解析など、情報工学の分野なんです。

IAMASに来る前は、企業でソフトウェアの研究開発をしていて、その後、SFCで研究員をしていました。プライベートでクラブイベントを手伝っていたのですが、90年代中頃インターネットが使えるのは研究者と開発者だけだったから、私は会場でインターネット配信を行っていました。当時は、会場にネットワークもなかったので、モデムやISDNを一時的に設置してインターネットに繋いでました。

体験を生み出す“環境”も含めて考える「体験拡張環境プロジェクト」

－ 平林先生が研究代表を務める「体験拡張環境プロジェクト」とは、どういうプロジェクトなのでしょうか？

「体験拡張環境プロジェクト」では、体験が拡張される環境を創出するための研究を行っています。サービスや体験を作り出すシステムも含めて考えようということで“環境”という言葉を加えています。
先ほど話したNxPC.Labも、2015年から体験拡張環境プロジェクトに含まれました。

体験を拡張するためには、VR、AR、センサー、電子回路などの知識が必要になるけれど、毎年参加する学生のスキルの差は激しいし、関係する技術の幅が広すぎて、すべてを学生に教えることはできません。
だから、プロジェクトに参加することが決まった段階で、このプロジェクトでどんな体験を拡張したいか、それぞれの話を聞きます。みんなで議論を進める中で、関連技術や必要な知識が明らかになることが多いです。

その上で、夏のオープンハウスで自身の作品の習作を発表してもらいます。そうすると、制作過程で必要な技術や自分のやりたいことが明確になっていく。
プロジェクトでは、既存のテクノロジーを使い倒して目的を実現するという裏テーマがあるので、作品を作ることを大切にしています。
作品ができたなら、その内容によって論文を書いてもらって学会で発表したり、作品をコンペに出したりもしています。体験者からのフィードバックが学会とコンペではまったく違うこともあっておもしろい。
昨年の学生は、ADAA2019 ※5のインタラクティブアート部門優秀賞とエンターテインメント（産業応用）部門でも入選していますね。

－ 平林先生自身も「MOBIUM Tracker」はじめ、卒業生の江島和臣さんと共同プロジェクト「Sense of Space」など、さまざまな活動をしていらっしゃいますね。

自分の研究は、NxPC.Labをプラットフォームにしているので「MOBIUM Tracker」は完全に趣味です。
iPhoneだとAIによって撮影した画像の物体認識ができるので、車窓にiPhoneを貼り付けてAIが認識した情報とバスの位置情報を連動させて表示させました。
バスの通過した世界をAIはどう認識したかを表現しています。

「Sense of Space」は、音声IDのシステムを使っていて、若い世代しか聞き取れないモスキート音を音声IDとして会場に流すことで、観客の持っているiPhoneをコントロールできる。それによって音を発生させ、観客参加型で音楽を完成させるパフォーマンスです。音声IDだと会場全体に行き渡らせやすくて効果的でした。

新潟～秋田～京都を大型バスで作品と共に巡る「MOBIUM TOUR2019」で展示された「MOBIUM Tracker」

大型バスをベースにした移動を主体とした表現の場「MOBIUM」。平林先生もhrr名義でたびたび参加している

コロナ禍であっても人間が求めるものは変わらない

－ 2020年現在、コロナウィルス感染拡大を受けて、音楽ライブのオンライン配信やリモートワークの普及など、オンライン配信にが一気に浸透したことについて何か思うことはありますか？

どうなんだろう。少なくとも世間一般のオンラインに対する敷居が下がったよね。これまではオンライン配信を通じてどんなことをしたら、もっと体験が拡がるのかをずっと考えていたけれど…それはあくまで現場があってこその話。今の状況は、これまでとは根本的に違う。
新型コロナウィルスの影響によって生活は変化したけれど、人間が求めるものは変わらないから元に戻ろうとするはず。でも、これまでの情報や経験が蓄積された上で戻るので、何かしらの変化はあるんじゃないかな。これからオンライン上で現場の臨場感を伝えるための技術が増えていくと思うので、そういうシステムも考えてみたいですね。
とはいえ、体験拡張環境プロジェクトで考えるべきことの本質は変わらないだろうな。

それに、世の中のオンラインに対する敷居が下がった分、今ならインターネットを使っていろんなことが実現できる状況にある。体験について制約の多い今だからこそ、テクノロジーの新しい活用方法を探るチャンスなのかもしれません。

平林真実　/　教授

1964年長野県生まれ。NxPC.Lab主催。研究領域はコミュニケーションシステム、実世界インタフェース?インタラクション。Web構造解析、位置情報ベースの研究/作品などをはじめ、近年は音楽体験を拡張するためのシステムの研究を行う。多数のクラブイベントでの経 験を生かし、NxPC.Lab名義でクラブイベントを開催することで音楽会場で展開可能な実践的な展開を行なっている。

※1　CLUB TRAIN　
体験拡張環境プロジェクトによるイベント。ローカル列車を舞台に、車両内をNxPC.LabがDJ、VJ、会場のデコレーションを行い、走行する列車内をクラブ空間にする。これまで10回開催されている。
/activity/club-train-2020/

※2　NxPC.Lab（新次元多層メディア的クラブ体験研究室）
クラブやライブにおけるアーティストと観客の相互作用によってもたらされる場の臨場感を拡大し、ネットへも拡散させるためのメディアテクノロジーの実現を目指した研究機関。
Web：https://nxpclab.info/
Facebook：https://www.facebook.com/nxpclab
YouTube：https://www.youtube.com/channel/UCIo0X6TANJ8pHPtPzVqkGJw

※3　IAMASアカデミーDSPコース
1996年に専修学校として岐阜県立国際情報科学芸術アカデミー（通称：IAMASアカデミー）は設立され、2011年度にその幕を閉じた。DSPコースとは、IAMASアカデミーの専攻の一つで、Dynamic Sensory Programmingの略。音響や映像、インタラクティブ表現を応用してパフォーマンスやインスタレーションなどの技術習得を目的としたコースである。

※4　クリエイティブコーディング
その場でプログラミングを行って音楽や映像などの表現とプログラミングを同時に見せるライブコーディングのほか、MAXやTouchDesigner、openFrameworks、Processing、などプログラミングによって表現を目的としたものが含まれる。
（UnityやUnrealEngineでも、自らC#やC++でコードを書いて作っている場合もクリエイティブコーディングの範疇に入る）

※5　ADAA 2019
アジアデジタルアート大賞展FUKUOKA
https://adaa.jp/ja/

インタビュアー?編集：森岡まこぱ
撮影：伊藤晶子（IAMAS産業文化研究センター）