～広報誌「せんたん」から～
[2015年9月号]
情報科学研究科 視覚情報メディア研究室 横矢直和教授、佐藤智和准教授、河合紀彦助教
平城宮を再現
コンピュータやロボットが、その「目」であるカメラやセンサで周囲のようすを把握し、多様な情報を直ちに整理したうえで、人間の生活に役立つように「見える化」した画像に仕立ててサポートする。古代都市の復元など学術面や、自動車の安全運転装置など身近な場面で日増しに活用されるようになってきた技術だ。
横矢研究室は、こうした技術の核になる「コンピュータビジョン（CV）」をはじめ、実世界と仮想世界の情報や映像を重ね合わ せ、目的に応じた視覚世界を作り出す「複合現実感（MR）」や「仮想現実感（VR）」の技術を融合し、コンピュータの「視る」「魅せる」能力の向上を目指している。
これまでの研究を集約する大きな成果が、奈良・平城宮跡を上空から撮影した映像をもとに、まるで約1300 年前の往時の姿を鳥の目で俯瞰しているかのように再現したことだ。
作製に当たっては多様な技術を融合した。まず、無線操縦の飛行船に360 度撮影できる全方位カメラ、GPS（全地球測位システム）、姿勢センサを搭載して飛ばし、平城宮跡の遺構を空撮した。その際、カメラの位置と向き、光線情報や周囲の環境についての3次元データをコンピュータビジョンの技術でリアルタイムに計測して解析する。そのデータをもとに、自動的に特徴点を追跡して建物などの正確な位置を割り出し、あらかじめ作製した平城宮の3DCGを重ね合わせてMR映像を合成できた。画像に映り込んだ飛行船のボディを消去して視野を広げたり、太陽光の当たり方を補完したり、細部を調整してリアリティを増している。
この全方位画像は、眼鏡型ディスプレイ（HMD）を掛けて画面を見る。その際、人の姿勢を計測したうえで視線方向の画像をリアルタイムに切り出す。これにより、平城宮の上空をスーパーマンのように飛びながらあちこちを見渡す感覚が味わえる。
「全方位画像と複合現実感技術との融合には、重ね合わせる位置を正確に決めるなど難しい問題が多く残されています。技術面の進歩と同時に魅力的なコンテンツを提示することも大切です」と断言する。
横矢直和教授は、大阪大学の学生時代から画像処理やコンピュータビジョンの研究を続けてきた。最初の就職は、茨城県つくば市の電子技術総合研究所（現産業技術総合研究所）。自分のテーマが選べる自由な環境の中、後に国有ソフトの公開第1号となる画像処理の定番ソフト「SPIDER」の開発に加わった。また、カナダのマギル大学で１年間、レーザレンジファインダ（レーザ距離計）で計測した3 次元画像のデータ解析も行った。これらの実績は現在の研究に直結している。
こうした経験から、学生に対しては「学生が自主的に考えた研究テーマを尊重します。もっと突拍子もないテーマを出して欲しい」と期待する。趣味はスキー、テニスと体育会系だが、「身体年齢を考えて今は休んでいます」
画像から撮影位置を知る
一方、佐藤智和准教授は、コンピュータビジョンの研究者だが、複合現実感分野の応用研究にも成果がある。これらの基礎となっているのは、撮影した動画像の特徴点 を解析し、対象物の3次元の形だけでなく、 カメラ自身の動きも同時に推定できるという技術だ。
平城宮跡に復元されている朱雀門を撮影した動画像から、明るさが大きく変化する 「自然特徴点」を自動的にピックアップし、その画像上での動きを解析することで、対象までの距離とカメラの動きを計測する方 法を考案し、実証した。「交通システムに 応用すれば、GPSだと車の位置しか検出できないが、この方法だと見ている物までの 距離、方向など位置関係が分かるのです」 と佐藤准教授。さらに、2次元の動画像から3次元のデータを取り出し、建造物など を3Dプリンターで打ち出すことも可能に なる、という。
こうした3次元復元の技術を使い、さまざまな位置から見た画像を合成する自由視点画像の研究も進めている。自動車関連では、車線の位置をずらした画像を作れば、 安全運転支援システムのための評価シミュレーションにも使える。遠隔操作で未知環境の調査をするロボットに対しては、捉えにくい本体直近の障害物の状況も見渡せるシステムを開発した。
「人間が3次元の場面を知覚する能力を、 コンピュータでも実現できるのではないかと思い、本学の大学院生のときに着手した ら意外とできるので入り込みました」と振り返る。コンピュータ歴は長く、小学生のころから。3Dのゲームをつくり、大手メーカーのコンテストに入賞したこともある。
あっと驚くようなテーマを
河合紀彦助教は、静止画像中の不要物体を取り除き、その領域を違和感なく修復する画像修復の研究を続けてきた。画像内の欠損部分と類似した画像パターンを画像内から探し出し、それを合成することで修復を実現するが、これを効果的に行うための「エネルギー関数」を開発した。これで古い写真の染みなどを自動的にきれいにすることができる。
こうした研究をもとに、最近ではリアルタイムに動画像から特定の対象物を消す「隠消現実感」という分野に挑んでいる。「建設現場で景観の変化を、実際に作業する前にシミュレーションで確認するときなどに使えるようなシステムを目指しています」と河合助教。「見た人があっと驚くようなシステムを作りたい」と意気込む。
博士前期課程2年の髙部篤志さんも画像から移動物体を自動的に除去する研究を続けている。自動車シミュレーターなどで、プライバシーの問題から背景に映った人物を消すときなどに使われる技術だ。「カメラが移動した後に、最初にいた場所から見えなくなるものが移動した、と判断します。色や3次元の形状の変化も組み合わせ、移動物体の種類や、移動した領域なども検出したい」と話す。研究生活は「最終的な目標だけでなく過程も1つ1つ考えて、山登りのように楽しんでいきたい」と堅実だ。
ユニークなのはスペインから留学しているアントニオ・テヘーロさん（博士後期課程1年）。対象物からの距離を測定し、3 次元のデータが得られる「デプス（奥行き）カメラ」を使う研究だ。「このカメラでスポーツ選手を撮影し、人間の動作を分析、認識できるシステムをつくり、その映像を要約しています。剣道や格闘技など近くで撮影できるほどよい成果がでます」と胸を張る。テへーロさんは5月に剣道二段を取得した。「黒澤明監督の時代劇映画を見てすぐに、日本語の勉強や剣道の練習を始めました。日本の伝統文化が好きで、寺院めぐりや御朱印を集めるなど奈良を楽しんでい ます。できれば、日本の企業に就職したい」と話していた。
