KAKENHI(S)

多元コンピュテーショナル光計測による手術支援応用 - Computational Optical Imaging for Endoscopic Surgery

多元コンピュテーショナル光計測による手術支援応用 - Computational Optical Imaging for Endoscopic Surgery


研究の概要

近年，開腹手術とくらべて患者の負担が少なく快復が早いことから内視鏡手術が注目されている．しかし，内視鏡で得られるのは視野の狭い2次元画像で，術者に高度な技術を要求することから開腹手術と比べて効率や安全性が劣るという問題がある．本研究では，新たな光計測技術を開発し非接触でリアルタイムの臓器の3次元計測･推定手法を実現する．

  • 研究分野：情報学，知覚情報処理
  • キーワード：コンピュテーショナルフォトグラフィ，光センシング，医療計測

１．研究開始当初の背景

近年，開腹手術とくらべて患者の負担が少なく快復が早いことから内視鏡手術が注目され，適用数は増加の一途をたどっている．しかし，一般的な内視鏡で得られる情報はモニタに表示される視野の狭い2次元画像のみで腹腔へ挿入しているため視点の自由も限定的である．そのため術者に高度な技術を要求することから開腹手術と比べて効率や安全性が劣るという問題がある．内視鏡下による臓器の3次元リアルタイム計測が可能となれば，これまで術者の手探りや勘に頼っていた職人的な術式から，定量化･客観化された情報に基づく効率的で安全な手術の実現が期待できる．

工業計測などで用いられるTime of flight (TOF)による距離計測は，正弦波でモジュレーションされた光を物体に投影し，物体上で反射した光をセンサで計測する．その反射光の位相を自己相関により求め，位相差から求まる光の到達時間の遅れから物体の距離や形状を計測する手法である．従来のTOFでは，図１に示す直接反射のみを想定しているが，実際の反射光は物体内での散乱成分や他の物体からの間接反射によるマルチパス成分を含んでる．これらの乱反射による複数の正弦波の合成波も正弦波であることから直接反射とその他の反射の成分が分離できず，推定距離や形状に大きな誤差を生じる．そのため，臓器などの生体組織は，複雑な反射を起こすことから，これまでTOFによる形状計測は適用できなかった．図1図１：Time of Flight (TOF)計測での反射光の応答


２．研究の目的

本研究では，新たな光計測技術を開発し非接触でリアルタイムの臓器の3次元計測･推定手法を実現する．この手法を内視鏡手術に応用することで，これまで術者の手探りや勘に頼っていた職人的な術式から，定量化･客観化された情報に基づいた効率的で安全な手術の実現が期待できる．実際に，この3次元計測技術用いた内視鏡手術支援システムを構築して，動物実験や臨床により提案手法の有効性を実証する．

３．研究の方法

本研究では，投影光源や撮像センサの開発による新たな符号化･復調化により反射光から直接反射，散乱成分を抽出することができる光コム干渉カメラを提案する．このカメラで得られる干渉画像から臓器の形状を推定する手法を提案し，医療応用を対象とした実証を行う．

図２に研究提案の概要と要素について示す．光コム干渉カメラは，光周波数コム光源と光干渉光学系，時間変調CMOSセンサを備え，光コム光源を投影光として物体に照射し，物体からの反射光を捉える．反射光は，ビームスプリッタを経由してカメラ内部に備わる参照光源から発せられる光と干渉することで，センサ上に光干渉画像を生じる．この干渉画像を新規開発する時間変調CMOSセンサによりデジタルデータとして計測する．単一の計測手段により得られた画像から，異なる反射光の情報を取りだし，臓器の表面や表層，深層の形状をそれぞれTOF, OCT, DFD/DOTといった異なる推定手法で計測し，レンジや特性の異なるそれら推定結果を医療応用が求めるシームレスな統合モデルとして融合することが本研究の特徴である．図2図２：研究概要と要素


４．これまでの成果

光コム干渉カメラの要素技術である，TOFとOCT計測を同時に実現する光学システムを構築した(図３)．また，その計測画像を撮像するコンピュテーショナル超高速CMOSイメージセンサの１号試作を行った(図４)．高周波照明を用いることで，物体内部の直接反射光と間接反射光を分離することで，散乱やマルチパスを起こす生体組織のような半透明の物体の正確な形状計測が可能な手法を実現した(図５)．また，画像より生体組織の反射吸収係数を求める方法を提案した．臓器のような弾性変形のある物体に内部構造などの重畳表示を行うための弾性変形に対応した物体表面形状のトラッキング手法を開発した．さらには，臨床応用の足掛かりとして，内視鏡画像から臓器の酸素飽和度を可視化して重畳する内視鏡システムの実装と検証を始めた．

図3図３: TOF/OCTの統合システム
図4図４: 試作した超高速CMOSイメージセンサ

図5
図５：高周波パターン投影によるToFシステム
上段：システムの外観、下段左：通常のTOF(直方体計測)、下段右：提案手法


５．これまでの発表論文等（受賞等も含む）

  1. I. Nishidate, M. Minakawa, D. Mcduff, Md. Abdul Wares, K. Nakano, H. Haneishi, Y. Aizu, and K. Niizeki, “Simple and affordable imaging of multiple physiological parameters with RGB camera-based diffuse reflectance spectroscopy,” Biomedical Optics Express, 11(2), pp.1073-1091 (2020).
  2. Michitaka Yoshida , Toshiki Sonoda, Hajime Nagahara, Kenta Endo, Yukinobu Sugiyama, and Rin-ichiro Taniguchi, “High-Speed Imaging Using CMOS Image Sensor With Quasi Pixel-Wise Exposure”, IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING, Vol. 6, pp. 463-476 (2020).
  3. Futa Mochizuki, Keiichiro Kagawa, Ryota Miyagi, Min-Woong Seo, Bo Zhang, Taishi Takasawa, Keita Yasutomi, Shoji Kawahito, “Separation of multi-path components in sweep-less time-of-flight depth imaging with a temporally-compressive multi-aperture image sensor,” ITE Trans. on MTA, Vol. 6, Issue 3, pp. 202-211 (Jul., 2018).
  4. Takuya Yoda, Hajime Nagahara, Rin-ichiro Taniguchi, Keiichiro Kagawa, Keita Yasutomi and Shoji Kawahito, “The Dynamic Photometric Stereo Method Using a Multi-Tap CMOS Image Sensor”, MDPI Sensors, Vol. 18, No. 3 (Mar., 2018).
  5. K. Ota and Y. Hayasaki, “Complex-amplitude single-pixel imaging,” Opt. Lett. 43, 3682-3685 (2018).