新しいVR展示ではジェイムズ・ウェッブ宇宙望遠鏡の画像の中を見学できる

ニューヨーク市の ONX スタジオでは、ジェイムズ・ウェッブ宇宙望遠鏡 (JWST) の目を通して見た宇宙の断片が展示されています。これは、Mozilla Hubs、アーティストの Ashley Zelinskie、NASA が先週オープンした「Unfolding the Universe: A NASA Webb VR Experience」という新しい展示です。これは、昨年 12 月の宇宙望遠鏡の打ち上げを記念して制作されました。

展示スペースには、映画が映し出される部屋、ユーザーがオンライン体験を試すためのデスクトップ コンピューター、シルク プリント、人工の霧やレーザー光 (星の誕生を模倣)、星間旅行にインスピレーションを得た概念的な彫刻などが点在しています。

展示のメインルームの中央には、バーチャルリアリティの体験のために確保されたスポットがあり、JWST の銀河やその他の天体の画像をモデルにしたデジタルギャラリーとなっています。

先週の水曜日の夜、元宇宙飛行士のマイク・マッシミノ氏が VR ヘッドセット、ヘッドフォン、ハンド コントローラーを装着し、白いマスキング テープで仮想的および物理的な境界が区切られたギャラリーのエリアを歩き回った。(自宅の視聴者も、ここから携帯電話、ラップトップ、デスクトップのブラウザーからこの展示に参加できる。)

「私は宇宙飛行士ですが、バーチャルリアリティゲームをたくさんやる若者ではありません。コントロールできる範囲でコントロールできたかどうかはわかりません」とマッシミノ氏はPopSciに語った。2002年と2009年にハッブル宇宙望遠鏡のさまざまな要素を修理および更新するために宇宙遊泳ミッションに参加したマッシミノ氏は、宇宙で科学的発見をするために必要な情報を収集するエンジニアリングに特別な感謝の気持ちを持っている。「私はハッブルで働いていました。画像を高く評価できます。[ゼリンスキー氏]ができたことは、その驚異と発見に芸術的な解釈を加えることです」と彼は言う。

このバーチャル体験は、オンラインゲームのような感じで進行します。視聴者は宇宙空間の一連の通路を移動し、アニメーションアート作品や、ゼリンスキー氏がその過程でインタビューした科学者のインタラクティブなアバターを訪れることができます。

「彼女は細部まで忠実に再現しました。彼女がここで作ったものは、その背後にある科学と望遠鏡の仕組みに忠実です」とマッシミノ氏は付け加えます。「私がこの作品全般で気に入っているのは、非常に技術的な科学的発見を取り上げ、画像の美しさとその背後にある科学の美しさを非常に芸術的な方法で表現しているため、異なるレベルで関われることです。」

VR のジェイムズ・ウェッブ宇宙望遠鏡

ゼリンスキー氏とNASAおよびJWSTチームとのコラボレーションは約7年前に始まった。COVID-19以降、彼らは一般の人々を魅了する独創的な方法についてブレインストーミングを重ね、VR体験を生み出すというアイデアにたどり着いた。彼らはロンドンを拠点とするバーチャル建築家Metaxu StudiosとMozilla Hubsに協力を依頼し、思い描いていたコンセプトを発展させた。

[関連:ビデオゲームデザインの素晴らしくも物憂げな世界に飛び込んでみよう]

「クリスマスに、たくさんの科学者や一般の方を集めてジェイムズ・ウェッブ宇宙望遠鏡の打ち上げ鑑賞会を開催し、ハブスペースでNASAライブTVを視聴しました。科学者一人ひとりをVRでアバターとして登場させ、YouTubeにストリーミング配信しました」とコンセプチュアル・ミクストメディア・アーティストのゼリンスキー氏はPopSciに語った。

7月にNASAがJWSTの画像を公開したとき、彼女は更新された視覚的要素のいくつかを展示に取り入れたいと考えました。

彼女は、JWST が初めて撮影した太陽系外惑星の画像から得た分光グラフとデータを基に、オーロラの窓を追加しました。また、六角形のモチーフが、複数のインスタレーションに繰り返し登場し、実物とオンラインの両方で使用されています。「六角形なのは、宇宙カプセルに折りたたむ必要があったためです。望遠鏡を展開する必要があったため、このショーは『宇宙の展開』と名付けられました」とゼリンスキーは説明します。「鏡の六角形の素晴らしいところは、6 角形の星ができることです。その画像に写っている星が同じ形をしているので、それがウェッブの画像だとわかります。まるでアーティストが作品に署名しているようなものです。」

ゼリンスキー氏はまた、数人の科学者やエンジニアにインタビューを行い、彼らのキャリアの歩みやJWSTで働いた経験について尋ねた。

「科学者たちのさまざまなポートレートを展示したかったのです。サウンド マッピングをすべて行ったので、科学者たちに近づくとインタビューの音が聞こえますが、離れると聞こえなくなります」とゼリンスキー氏は言います。バーチャル ギャラリーには、空間内の位置に応じて変化するサウンド スケープが流れています。「[Mozilla] Hubs が本当に得意とするのは、サウンド トラッキングです。」

仮想空間の構築

Mozilla Hub のシニア エコシステムおよびエンジニアリング マネージャーである John Shaughnessy 氏は、デバイスに依存しないブラウザー設定でこの種の空間オーディオを有効にすることは間違いなく困難な作業であると述べています。

考慮すべき機能はたくさんある。例えば、距離に応じて音が減衰するため、ユーザーに近い会話は大きく、遠い会話は小さくなる。また、現実世界で音がどのように伝わるかという点も考慮する必要がある。壁にカーテンがある部屋と、金属の固い表面がある部屋では、音が違って聞こえる。「実際、Mozilla Hub には視覚障碍のあるユーザーがいて、コードをカスタマイズして、オーディオ ピンを世界に送り、仮想表面で音が跳ね返る音を聞いて、視覚を使わずに 3D 空間を移動できるようにアドオンを自分で構築している」と Shaughnessy 氏は言う。さらに、ユーザーによって異なるマイクの品質や、キーボードのタイピング音などのノイズも考慮する必要がある。

しかし、これは、将来、あらゆる種類の没入型仮想およびメタバースのインタラクションの原動力となる技術基盤を構築するための、より大きな取り組みの一部です。そして、これらは、すべてのメタバースおよび仮想現実プラットフォームが直面している問題です。

「人々の集団は仮想空間で互いに会うことを望むようになると思います。そして私たちはそれを当然のこととして受け入れるでしょう。私たちがやろうとしているのは、それがオープンで分散化された方法で実現できるように、最低限の基本的な必需品を構築することです」とショーネシー氏は言う。「そのためには2つのことが必要です。人々が共有された空間認識を持つこと。2つ目は、共有された存在感です。」

そのために、ショーネシー氏は、リアルさの錯覚を与えるために、ゲーム レンダリングで使用される 3D グラフィックスのトリックを借用していると述べています。たとえば、ベイクされた照明を使用して、シーン内の固定オブジェクトの影と反射を事前に計算し、リアルタイムで計算する必要がないようにしています。また、全体的なメモリを節約しながら、ユーザーに近いオブジェクトを高解像度に保つために、「詳細レベル」も使用しています。

このプロジェクトでは特に、ショーネシー氏と Mozilla Hubs は、ゼリンスキー氏と JWST チームが考案した会議スペースと仮想ギャラリーの 3D シーンをレンダリングするテクノロジーを構築しました。「私たちは、外観やそこにいるアバター、そしてこの体験をどのように提示するかをカスタマイズできるツールを提供しました。私たちは誰が出入りするかを制御しません。そのスペースで何をしているかを監視しません」とショーネシー氏は言います。

宇宙の音は、実際の真空である宇宙空間を伝わることはできません。「宇宙遊泳中の宇宙服の中はとても静かです。ハンマーで叩くと、宇宙船の内部では音が聞こえます。音は構造内を伝わるためですが、宇宙服の内側では何も聞こえません」とマッシミノ氏は指摘します。「宇宙服の中では自分の呼吸の音は聞こえます。ヘッドセットで誰かが話しているのも聞こえます。しかし、常にバックグラウンドで聞こえるのはファンの回転音です。これは、宇宙服が機能していて、空気が循環していて、電力が供給されていることを知らせてくれます。」

VR ヘッドセット内で放送されるサウンドスケープには多少の芸術的要素が加えられているが、仮想宇宙遊泳中は、背景でかすかだが聞き慣れた機器の音を拾うことができる。「心地よい音です。」

「Unfolding the Universe: First light」は、 2022 年 10 月 23 日までニューヨーク マンハッタンの ONX スタジオで展示されます。ここからブラウザから VR 空間に参加してください。