東芝は、レンズによって生じる画像のぼけをディープラーニングで解析することで、市販のカメラで撮影した1枚の画像からステレオカメラ並みに高精度な距離計測を実現する立体認識AIを開発した。ステレオカメラを必要としないため、コストとスペースを削減することができる。


　小型化に適した単眼カメラを使用した計測技術の開発に注目が集まっているが、単眼カメラによる距離推定技術の精度は学習した風景情報に依存するため、学習した風景情報と異なる背景で撮影すると精度が著しく低下する欠点がある。

　東芝は、2色のカラーフィルタをレンズに挿し、被写体までの距離に応じて生じる画像ぼけの色と大きさを分析することで、風景情報に依存せずに距離を推定するカラー開口撮影技術を開発したが、既存レンズの改造に伴うコストと手間がこれまで課題となっていた。
　この課題を解決するため、ディープラーニングを活用してレンズ上の位置によって画像がどのようにぼけているか、ぼけの形状を解析することで、通常の単眼カメラのみで、風景情報にも依存せずステレオカメラ並みの高精度な距離計測を実現する立体認識AIを開発した。

　これまでは、理論的にはピント位置から等距離であれば遠近どちらのポイントでもぼけの形状が等しくなるため、ぼけの形状から距離を計測することが難しいと考えられていた。今回、実際にぼけの形状を分析したところ、ピント位置から等距離であっても遠近それぞれのポイントでぼけの形状に大きな違いがあることが分かった。そこで、深層ニューラルネットワークモデルを学習するディープラーニングによって、撮影した画像からぼけの情報を解析することに成功した。

　ぼけの形状は、光が通ったレンズ内の位置と光の波長によって変化する。開発したネットワークは、ぼけの形状の変化を適切に捉えられるように位置と色情報を個別に処理し、アテンションと呼ばれる重み付け機構を経て、輝度勾配のどの部分に重点を置けば正しく距離が計測できるのかを制御するために活用される。開発したAIを活用することで、市販カメラの一枚の撮影画像からステレオカメラに匹敵する高精度な距離計測を実現できることが分かった。

　今後は、市販されているカメラとレンズで汎用性の確認と画像処理の高速化を進め、2020年度に社会実装を目指す。