被写体の奥行きを的確に推定

合成映像はデジタルのコンピューターグラフィックス（CG）やシミュレーション（予測）の進化により、飛躍的な発展を遂げてきました。人工知能（AI）も取り込むことで、身近なところではスマホのピンぼけ写真を高精細に補正したり、現実でない人やモノをリアルな映像に生成したりと、バーチャル（仮想）な世界として実社会に溶け込み始めています。ただ、一般のカメラで限られた量の画像情報から高度な映像を合成するには、画像処理と撮影の技術革新が欠かせません。

藤村准教授は、コンピューターによる新たな撮影原理やAIでの高度な映像の創造をリードする一人です。AIの学習用カメラと撮影用カメラの設定が異なっていても、2次元（2D）の画像から被写体の奥行きを少ない画像データで的確に推定することで、精度と品質が高い映像技術を巧みに創り出しています。

藤村准教授は「被写体を撮影すると画像に焦点ぼけが生じて、奥行きを推定する手がかりになる。普通はそれを単にAIで機械学習し推定するが、ぼけ具合の数式モデルをAIと組み合わせ実現できた」と説明します。2D画像から被写体の奥行きを推定する技術は、コンピューターがAIで画像を認識・判断する「コンピュータビジョン」で重要な役割を占めています。この研究成果は2024年、専門誌の「International Journal of Computer Vision」に掲載されました。掲載タイトルは「カメラ設定不変性を考慮したデフォーカスモデルを用いた焦点スタックからの奥行き推定」で、著者は藤村准教授が所属する光メディアインタフェース研究室の向川教授らとの連名です。VR（仮想現実）やAR（拡張現実）のバーチャルな世界だけでなく、医療、製造・物流、自動車の自動運転などの実用的なコンピュータビジョンにも寄与が期待されます。

隠れた被写体も高精度に視覚化

奥行きの推定についてはこれまで主に、数学や光学のモデルを用いる方法と機械学習の二つがありました。しかし、モデルを用いる方法は表面がほぼ同じように見える画像データの被写体には適用できません。機械学習はこうした表面でも奥行きを推定できるよう学習しますが、AI学習用カメラと撮影用カメラで焦点距離や絞り値（F値）などの設定が異なると、失敗してしまいます。藤村准教授の研究はモデルを用いる方法と機械学習の二つを組み合わせたほか、焦点と非焦点の画像データから奥行きを推定する独自の数式モデルを組み込みました。こうして従来の推定方法の欠点を解決したのです。実験ではカメラの設定が異なっても推定できたほか、学習できていない画像データでも問題ありませんでした。藤村准教授は「数式モデルがしっかりと働き、未知のデータに対する有効性を示す汎化（はんか）性能も高かったことが、なによりうれしかった」と振り返ります。数式モデルは画像の局所的な構造を適応的に学習し、奥行きを粗密で段階的に推定できます。推定の精度については、ほとんどの指標においてほかの推定方法を上回ることが分かりました。それは、画像データの数が少ない場合でも変わりませんでした。

一方、視覚からさえぎられた被写体が壁などに映る反射光から3次元（3D）形状を推定する非視線方向撮影（NLOS)の研究では、コンピュータビジョンとSPADセンサーを活用し、推定の精度向上に成功しました。SPADは時間－デジタル変換器と組み合わせ、ピコ秒単位（ピコは1兆分の1）の高分解能で光の伝わる時間を計測できるセンサーです。この計測データから、ニューラルネットワークが機械学習して被写体の3D形状を高精度に推定します。造形物を被写体に行った実験では、従来の立体表現による3D形状の手法に比べ、より詳細に推定することが可能でした。藤村准教授は「夢のようだが、自動車に実装すれば道の角から急に飛び出してくる子どもが事前に映ったり、火災現場の立ち入れない場所の様子が分かったりするかも知れない」と期待します。コンピュータビジョンにCGとAIの高度な知見、そして計測センサーによる支援も得て数々の研究実績を生み出しています。

藤村准教授は京都大学出身で2021年に博士号を取得。不鮮明な水の中でも物体に光を当て形状を計測できる物理モデルなどを研究していました。 2Dの画像データから3D形状をリアルに復元する情報処理に関心が強く、カプセルトイのように微細な形状を見ると興味がわくといいます。向川教授から熱心に誘われ、2021年に本学の助教に就きました。2025年から准教授を務めています。光メディアインタフェース研究室は画像処理において計測技術が先進的で、物理モデルやAIが得意な藤村准教授にとっては異なる研究手法が刺激になっています。研究室と藤村准教授の別視点からの研究アプローチで、NLOSの成果などがもたらされました。

論文は頭に浮かび、苦にならず

研究者としての信条は「最新のテーマにチャレンジする」ことです。このため新たなテーマが話題になれば自ら試し、何が課題であるか突き止めようと努めます。論文の発表先は常にトップの会議や専門誌を目指し、書くのが苦にならない「多作家」です。教員就任後も毎年、画像処理の代表的なシンポジウムなどで数多くの論文を筆頭執筆者として著してきました。研究を進める過程で論文のストーリーが頭に浮かび書きたくなるので、それをアウトプットするだけだといいます。研究では先にアイデアが浮かんだり試して発見したりすることがありますが、正解が分からないことは多いそうです。

京大生のころは大学公認サークルの京都大学吹奏楽団で、クラリネットを演奏していました。楽団は他大学の学生も参加する約150人の大所帯で、求められて指揮者も務めました。当時は演奏会の楽譜の読み込みや活動スケジュールの作成などで忙しく、「勉学そっちのけで打ち込んでいました」とほほ笑みます。家族は妻と、2025年に誕生した子どもの3人。妻は関西地域の博物館で江戸時代の近世絵画を専門とする学芸員です。学問の世界は異なりますが同じ研究者であり、映像と絵画は視覚で通じるため、互いに苦労が分かるといいます。