NTT、デジカメでハイパースペクトル画像を撮影できるメタレンズとAIを開発

●
NTTは10月24日、光メタサーフェスの原理に基づいた革新的光学技術「メタレンズ」と、AIに基づく最先端画像処理技術を密に融合することで、通常のデジタルカメラのレンズをメタレンズに置き換えるだけで、従来のデジタルカメラが取得するよりもより詳細な色情報画像である「ハイパースペクトル(HS)画像」を取得できるイメージング技術を開発したことを発表した。

今回の成果は、2022年11月16日から18日までオンライン開催される「NTT R&D フォーラム - Road to IOWN 2022」にて展示される予定だという。

HS画像とは、通常のデジタルカメラよりも多数の色情報(波長)に分光して撮像した画像のことで、1つのHS画像は各々の色情報に対応した画像からなり、一般的には数十点以上の画像で構成される。それにより、素材の違い、食物の新鮮さ、植物の生育状況など、ヒトの目でも把握が困難な被写体の性質を見分けることが可能とされている。

ただし、従来のHSイメージングには主にスナップショット方式とラインスキャン方式の2種類があるが、スナップショット方式は色数を増やすと解像度と感度が低下してしまい、ラインスキャン方式は機構的にフレームレートを高められないという課題をそれぞれ抱えていた。そのため、HSカメラは従来のカラーカメラの置き換えにはならず、分析機器や製造ラインなど、限定的な適用となっていたという。

そこで同社は今回、従来のデジタルカメラの性能を維持しつつ、光メタサーフェス技術を応用した明るいメタレンズと、物理的な制約を超えてスペクトル再構成を可能にするAIによるHS画像再構成技術を組み合わせることで、画像の特性を犠牲にすることなく従来HSイメージングの課題を克服することにしたという。

光メタサーフェスは、人工的な構造により、材料本来の特性では実現できない光学性質を実現する技術のことで、今回開発されたメタレンズには同技術が応用されており、その表面には数百nmサイズの光を透過する構造体が多数並べられている。この構造体1つ1つを精密に設計・作製することで、光の波長ごとにまったく異なる機能を持たせられるのがメタレンズの特徴だという。

●
こうしたメタレンズを通常のデジタルカメラに装着して物体を撮影すると、カラー画像でありながら、多様な波長帯の光を変調・重畳してHS画像よりも大幅に画像数が少ない「圧縮画像」を取得することが可能となる。

またメタレンズは光透過性が高いため、小さいf値を持つ明るいレンズとして利用できるため、短いシャッター時間でより多くの光を効率的にセンサに導くことができ、通常のカメラと同等のフレームレートでの動画撮影も実現されたとするほか、イメージセンサで撮像された圧縮画像の解像度でHS画像を再構成するので、解像度も通常のカメラと同等となるとする。

さらに、光学部分がメタレンズとイメージセンサだけのシンプルな構成にできることも今回の技術の大きな特徴だという。

今回の研究開発ではHS画像再構成技術も開発された。メタレンズで撮影された波長情報が重畳された圧縮画像は、それをもとに圧縮される前の状態として“もっともらしい”スペクトル画像を推定する必要がある。しかし、従来は膨大な計算時間を要したり、スペクトル画像のもっともらしさの定義が困難だったりした。そこで今回は、凸最適化アルゴリズムの計算手順をもとにニューラルネットワークが設計され、既知のHS画像から「もっともらしい」性質を学習することで、高速・高精度での画像再構成技術が実現されたという。

メタレンズとHS画像再構成技術を用いたHS画像の取得については、実機を用いた基本原理が確認済みだとするほか、得られた画像は、可視光から近赤外光に渡る45波長バンドのHS画像で、使用したデジタルカメラの性能を劣化させることなくHD解像度・フレームレート30fpsの動画が得られたとのことで、この結果は、従来の一般的なHSカメラの性能を上回るものだとNTTでは説明している。

なお、今回の技術を用いることにより、スマートフォンも含めてデジタルカメラの機能を自然に拡張し、その撮影画像をHS画像に置き換えることも可能になることに加え、動体の撮影、自由に動く移動体からの撮影なども高解像度で行えるようになり、その結果、非接触での生体情報取得によるヘルスケアへの応用、ドローンからの空撮画像の解析による農作物の生育診断など、農林水産業やヘルスケア産業、製造業といったさまざまな分野への適用も期待できるとしている。

そのため今後は、コラボレーションパートナーと連携してユースケースへの適用実験を通し、HS画像の再現精度が十分であるか否かの検証、およびその結果を踏まえた技術の改良を進めて、実用化を目指すとしている。