超高度に『医デジ化』された社会の実現

小泉 憲裕
(電気通信大学 大学院情報理工学研究科 准教授)

6. 医デジ化のためのAI・ロボットビジョン(画像処理・アルゴリズム)技術

画像処理に関する医デジ化コア基盤技術


医デジ化を推進・展開するにあたってわれわれが独自に開発・蓄積してきたAI・ロボットビジョン(画像処理・アルゴリズム)に関するコア基盤技術について概説する。

熟練した医療専門家は腫瘍(しゅよう)や結節(けっせつ)、結石(けっせき)を『球(状構造物)』として、血管や胆管(たんかん)、消化管(しょうかかん)などの管状(かんじょう)のものを(おそらくは直線が周囲の場(応力・重力・密度をはじめ、さまざまな場が考えられる)によって曲げられているという意味での)『曲線(状構造物)』として頭のなかで抽象的にモデル化しているという。

肝臓、腎臓、前立腺などは腫瘍や血管等を内包している『球(状構造物)』であるが、これらは球(楕円)を基盤として、(たとえば)超楕円の理論等を用いてトポロジー(柔軟な幾何学)にもとづいて変形させたものとして抽象的に捉えることができる。

(参考文献)
Yusuke Onodera, Norihiro Koizumi, Yuka Shigenari, Riki Igarashi, Yu Nishiyama, Sunao Shoji, "Parametric identification of prostate shape using the superellipses and its correlation with pathology," 35th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2021), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.16, Suppl.1, pp.S66-S67, 2021.  

上記の構造物はわれわれの体内(3(n)次元ユークリッド空間内の(超)立体で、その表面は2次元多様体と捉えることができる)内に埋め込まれている。医療専門家は2次元(低次元)の(超)断面と(頭のなかに構築している)3次元(高次元)の(超)立体の間を適宜往復しながら、診断・治療を遂行している。

(注意)3(一般にはn)次元の境界付き多様体Mをぐるりと取り囲む境界たる曲面∂Mは境界のない2(一般にはn-1)次元多様体になることに注意されたい。3次元球の場合は2次元球面と(柔軟な)位相幾何学的に同相な多様体である。2次元球面自身が全世界だと認識している球面上のアリにとってはこの球面に境界は存在しない。

ただしこの議論の前提条件として、このアリはその球面が埋め込まれた3次元ユークリッド空間については全く認識できていないことを前提条件として仮定することとする。すなわち、このアリは球面から離れて空へと飛び立つ際の地上と空中との間の境界などはハナから考えられないものとする。昔、ノミに綱渡りの曲芸を仕込むために、飛び立てないように小さなカプセルに閉じ込めてノミの綱渡りを訓練した話を聞いたことがあるが、あくまでこのアリは球面上の世界のみを全世界として認識しているものと仮定するのである。

また人体が解剖学的に観ておおよそ同型(どうけい)であることを手がかり・足がかりにして、主要な臓器や血管についてはおおよその位置・姿勢の見当をつけて探索することができる。

ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ(長軸径、短軸径、体積、太さ、距離等)を適切な断面を選択してなるべくばらつきなく具体的に計測することが診断・治療において重要なタスクになる。

医デジ化の目的は上記の抽象/具体的な擬人的タスクをAI・ロボティックなデジタル機能関数によって再現(医デジ化)し、その計測精度を超人的なレベルにまで精緻・最適化して高めることである。

具体的にたとえば、医用画像の解析という目的に対して人工知能には、臨床診断画像データという『汲(く)めども尽(つ)きぬ』イメージ・データの源泉があり、医療専門家のプロの世界観によって人工知能はさらなる高みへと導かれることであろう。

ここで、医用画像のなかでもとりわけ超音波画像は高いリアルタイム性という特長を有する一方でスペックルノイズや音響シャドウ等、ノイズがきわめて多いという課題・問題点がある。


これを踏まえて我々の有する画像処理におけるコア基盤技術は生体患部を高速・高精度かつロバストに抽出・追従・モニタリングしようとするところにその特徴がある。




6.x 医用画像処理技術と深層学習を中心とする人工知能技術


われわれはマスタ・スレーブ方式の遠隔超音波診断システムの構築法に関する研究をおこなってきた。具体的に、2001年に透析肩を対象とする世界初の遠隔超音波臨床診断実験を行ない、通常の診断と同等の診断が可能であることを示すなど、ハイインパクトな成果を得てきた。


(参考文献)

Norihiro Koizumi, Shin'ichi Warisawa, Mitsuru Nagoshi, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Construction methodology for a remote ultrasound diagnostic system," IEEE Trans. on Robotics (TRO), Vol.25, No.3, pp.522-538, 2009, https://doi.org/10.1109/TRO.2009.2019785. IF=7.8

Norihiro Koizumi, Shin'ichi Warisawa, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Continuous path controller for the remote ultrasound diagnostic system," IEEE/ASME Trans. on Mechatronics (TMECH), Vol.13, No.2, pp.206-218, 2008, https://doi.org/10.1109/TMECH.2008.918530. IF=5.7

しかしながら、医師の動作を遠隔地にただ単に伝達するというアプローチのみでは通常診断と同等の診断が限界であった。今後さらなる医療の質の向上を図るためには近年、進展が目覚ましい人工知能技術を援用・展開して専門医の医療技能をプロの世界観まで含めて機能として抽出し、機能の分解・再構築(構造化)を行ない、システムの機構・制御・画像処理・アルゴリズム上で機能の高度化を図ることにより、熟練した専門医のように人体に対して安全・安心・安定的に思いやりをもって動作するとともに人間の能力を超える高精度な診断・治療を行なう医療支援システムの実現が必須であると考えるに至った。


上記の遠隔超音波診断システムを開発した当時の技術水準については機構および制御技術に関して一定の水準に達してはいたものの、画像処理・アルゴリズム技術については圧倒的に乏しい状況であった。このような状況が打開されたのは、2015年に深層学習を援用したU-Netと呼ばれる臓器抽出における強力な医用画像処理アルゴリズムが開発されたことによる。


(参考文献)
Ronneberger O, Fischer P, Brox T (2015) U-net: convolutional networks for biomedical image segmentation. In: International conference on medical image computing and computer-assisted intervention. Springer, Cham

これを踏まえてわれわれは同技術を基盤とした患部抽出・追従・モニタリングに関する独自のアルゴリズムを新規に提案してきており、医療診断・治療技能のデジタル化分野のパイオニアかつ中核的な存在として国内外からきわめて高い注目を集めている。


(参考文献)
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS), https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9

Ryosuke Saito, Norihiro Koizumi, Yu Nishiyama, Tsubasa Imaizumi, Kenta Kusahara, Shiho Yagasaki, Naoki Matsumoto, Ryota Masuzaki, Toshimi Takahashi, Masahiro Ogawa, "Evaluation of Ultrasonic Fibrosis Diagnostic System Using Convolutional Network for Ordinal Regression," International Journal of Computer Assisted Radiology and Surgery (IJCARS), 2021. https://doi.org/10.1007/s11548-021-02491-1 IF=2

Shiho Yagasaki, Norihiro Koizumi, Yu Nishiyama, Ryosuke Kondo, Tsubasa Imaizumi, Naoki Matsumoto, Masahiro Ogawa, Kazushi Numata, "Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images," International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.15, No.12, pp.1989-1995, 2020. https://doi.org/10.1007/s11548-020-02265-1  IF=2.9

6.x 関連研究


超音波画像から診断・治療に有効な特徴量を抽出し,これを定量化しようとする試みがさまざま行なわれている


(参考文献)
消化管エコー:
飲み込みの際の食道の動態なども超音波で観察できる。

Naoki Matsumoto, Masahiro Ogawa, Kentaro Takayasu, Midori Hirayama, Takao Miura, Katsuhiko Shiozawa, Masahisa Abe, Hiroshi Nakagawara, Mitsuhiko Moriyama, Seiichi Udagawa, Quantitative sonographic image analysis for hepatic nodules: a pilot study, J Med Ultrasonics (2015) 42:505–512.

Matsumoto, N., Ogawa, M., Kaneko, M. et al. Contrast-enhanced ultrasonography for blood flow detection in hepatocellular carcinoma during lenvatinib therapy. J Med Ultrasonics (2022). https://doi.org/10.1007/s10396-022-01204-8

堀中博道, 脂肪肝早期診断装置および脂肪肝診断ユニット(市販装置用).
http://shingi.jst.go.jp/kobetsu/sentan/2015/tech_property.html#tech01

Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama, "Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment," Clinical Radiol, 2021.https://doi.org/10.1016/j.crad.2021.02.007.  

超音波速度の温度依存性が物質によって大きく異なることを利用することで、通常の超音波診断装置では困難な初期段階の脂肪肝の状態を判定できる装置を試作した。さらに、市販の超音波診断装置に取り付けるだけで脂肪割合の定量測定を可能とする付属装置を開発した。

6.x 特徴量


超音波画像から診断・治療に有効な特徴量を抽出し,これを定量化しようとする試みがさまざま行なわれている。ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ(長軸径、短軸径、体積、太さ、距離等)を適切な断面を選択してなるべくばらつきなく具体的に計測することが診断・治療において重要なタスクになる。

臓器など楕円形のものを計測する場合、長軸径、短軸径を計測することが多いが、長軸径の取り方より短軸径の取り方のほうがバリエーション(選択肢、ばらつき)が多い。これはキュウリを包丁で切ることを考えたときに長軸方向に包丁の軸をあわせて切るよりも短軸方向に包丁の軸をあわせて切るほうが包丁を入れる場所のバリエーション(選択肢、ばらつき)が多いことと同様(analogus)である。

これを踏まえてロボットで臓器を抽出・追従・モニタリングすることを考えた場合まずは、臓器の長軸像を基盤として臓器を抽出・追従・モニタリングすることを考えたほうが筋がよさそうである。長軸像は上記のようにバリエーション(選択肢、ばらつき)が少なく、断面積も大きくとれる分、断面が含む特徴量(情報量)もより多くとれる蓋然性(がいぜんせい)が高まるためである。

これに加えて腎臓の場合には呼吸に応じて主に長軸方向に運動するため、長軸像をもとに追従したほうがより簡便である。

(参考文献)
小川 眞広, 腹部超音波検査の あっ!? あれ何だっけ? 走査のポイントと測定・評価のコツ (US Labシリーズ3), メディカ出版.


6.x 領域の内部と外部の取り扱い


医用画像処理においては点群による処理が主流になりつつある。領域の内部と外部はある関数f(p)と点pを導入して不等式で表現することができる。f(p)は『p(主語S:sUbject)はf(述語V:prEdicate)である』と読むと直観(幾何学・野性)的に見通しよく理解しやすい。

f(p)<0 pはfの内部である
f(p)=0 pはfの境界(上)である
f(p)>0 pはfの外部である

たとえば半径rの円の場合、f(p)=x^2+y^2-r^2。もちろん、楕円であってもいいし、一般の(n次元, 凸/凹, 有界/非有界, 閉/開)領域であってもよい。

6.x 体内におけるさまざまな流動物の取り扱い


血管・消化管など体内におけるさまざまな流動物の扱いを考えたときに、たとえば血流中の微粒子(薬剤)などの構造物はそれ自体がある速度および角速度ベクトルをもって運動(変位・変形・回転)していると捉えることができる。


6.x 画像診断モダリティ


超音波を利用した患部追従手法はX線CTやMRIによる手法と比較して以下の3つの利点を有する
 (1)超音波の高リアルタイム性による患部運動補償精度の向上
 (2)患部を剛体ではなく,粘弾性体として組織変形を含めたモニタリングが可能
 また,超音波を利用した,他の手法と比較しても我々の手法は以下の利点を有する
 (3)患部とHIFUの焦点は常時一致し、HIFU照射の効率が高く、安全性も高い

6.x RF信号処理


本研究では画像処理装置(計算器)に超音波診断画像装置から出力されるアナログビデオ信号を取込む代わりにフレームグラバ(Matrox Meteor-II / Digital, 型番:METEOR2DIG64L*, Matrox Electronic System社,カナダ)を利用してRadio Frequency (RF)信号を取込む.RF信号を利用して超音波画像データを取込むことには以下の利点がある.

(利点1)超音波診断装置から出力されるアナログビデオ信号のフレームレートが(原信号であるRF信号取得のフレームレートとは異なり)常に30fpsであるのに対して,RF信号では常に最高のフレームレートで取込み可能であり,なおかつ最小限の時間遅れでデータを取込むことができる.また画像データのサンプリング間隔もアナログの場合,かならずしも一定間隔とならないのに対して,RF信号を利用すれば一定間隔である.

(利点2)ビデオ信号では,原信号から画像処理する過程で,利用できる情報量の減少を自在に制御できないできない.他方,RF信号ではこのような情報量の減少をみずからの手で自在に制御することができる.たとえば,FOV(Field of View)を大きくとった場合,画像処理の過程で一部のデータが捨てられてしまうが,RF信号では捨てられた部分のデータを利用することが可能である.

(コラム)
近年の超音波診断装置に関する技術の進化には著しいものがある。将来動向として,パラレルスキャン技術の進展による大幅なフレームレートの向上が期待される。また,東芝はMVI(Micro Vascular Imaging)という血管を高フレームレートで高精細に描出する超音波診断技術を有している。

6.x ロバストかつ高精度な生体追従のための新しいテンプレート・マッチング法


本節では,非侵襲超音波診断・治療統合システムにおける,ロバストかつ高精度な生体ターゲット追従のための新しいテンプレート・マッチング法を提案する.生体ターゲットには,結石,胆石,腫瘍等が内包される.提案したロバスト・テンプレート・マッチング法の有効性を確認するために,(i) オフラインの画像追跡実験,(ii) 実時間のオンライン生体患部

In this section, we propose a novel robust template matching method to track and follow body targets, which include tumors and stones for the NIUTS. To confirm the effectiveness of the proposed method, we conducted (i) offline tracking experiments and (ii) realtime online tracking and following experiments of the human kidney motion of a healthy subject. This novel robust visual servoing method could be a great tool for us to track and follow body targets precisely.

ここで,提案する新しいロバスト・テンプレート・マッチング法を利用することにより,臓器の運動補償が可能となることに着目されたい.このことにより,臓器が内包する結石,胆石,ならびに腫瘍への高精度なHIFU照射を支援することが可能になる.本手法はロバストかつ高精度な生体追従を実現し, 2.3節で明らかにした,要求機能(FR-1.2) - (FR-1.4)および(FR-2.1) を強力に支援するツールになりうる.

Here, it should be noted that the robust and precise motion canceling of the kidney organ, which incorporates kidney tumors / kidney stones to be treated, becomes possible by using the proposed novel robust template matching method. This novel method could be a great tool for us to track and follow the body targets and strongly supports the above-mentioned (FR-1.2) - (FR-1.4), and (FR-2.1) for the NIUTS.

実験を行なうにあたり,工学部倫理委員会の許可を得ている.

(コラム)畑村洋太郎福島原発事故調査委員長が,
『見たくないものは見えない,見たいものが見える.』
と指摘していたが,追従のロバスト性向上のためには,
ロボットビジョン技術にこのような機能を組込むことも有効であろう.

医用画像における輪郭抽出技術

[] 大城 政邦, 動的輪郭モデルを用いた超音波画像の輪郭抽出法, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 107(460), 59-62, 2008.
http://ci.nii.ac.jp/naid/110006623837

[] https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=38830&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8

ビジュアル・サーボ技術
[] Cowan, N.J., et al., Visual servoing via navigation functions, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044365&queryText=Visual%20servoing%20via%20Navigation%20Functions&newsearch=true

[] Chaumette, F, Image moments: a general and useful set of features for visual servoing, 2004.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1321161&queryText=Image%20Moments:%20A%20General&newsearch=true

[] Mezouar, Y., et al., Path planning for robust image-based control, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044366&newsearch=true&queryText=Path%20planning%20for%20Robust%20Image-Based%20Control

医用画像におけるモーション・トラッキング
[] Fai Yeung, et al., Feature-adaptive motion tracking of ultrasound image sequences using a deformable mesh, IEEE TMI, 1998.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=746627

Yeung et al., applied an adaptive deformable mesh model for US guided non-rigid tissue motion tracking.

[] Zahiri-Azar, R., Salcudean, S.E., Motion Estimation in Ultrasound Images Using Time Domain Cross Correlation With Prior Estimates, Biomedical Engineering, IEEE Transactions on
, Year: 2006, Volume: 53, Issue: 10, Pages: 1990 - 2000, DOI: 10.1109/TBME.2006.881780.
http://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=Motion%20Estimation%20in%20Ultrasound%20Images%20Salcudean
Reza et al., propose a new speckle tracking method, which is called time-domain cross-correlation with prior estimates (TDPE), that is based on the standard time-domain cross correlation strain estimation (TDE).

ロボットを併用した医用画像誘導
[] Abolmaesumi, P., et al., Image-guided control of a robot for medical ultrasound, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=988970&queryText=Image%20guided%20control%20of%20a%20robot%20for%20medical%20ultrasound&newsearch=true

[] R Nakadate, et al., 3D Tracking of Respiratory Liver Movement by a Robot Assisted Medical Ultrasound, Computer Aided Surgery, 2016
Abstract It is often required to hold an ultrasound probe for long time so that the moving
target is maintained within the B-mode image, especially for minimally invasive
interventions. Using a conventional 2D probe, the tracking out-of-plane motion is a ...
http://link.springer.com/chapter/10.1007/978-4-431-55810-1_2

[] Chen TK1, Abolmaesumi P, Pichora DR, Ellis RE., A system for ultrasound-guided computer-assisted orthopaedic surgery. Comput Aided Surg. 2005.
http://www.ncbi.nlm.nih.gov/pubmed/16410230

整形外科領域の超音波画像誘導システム

レジストレーション

[1] Mitsuhiro Hayashibe, et al., Laser-scan endoscope system for intraoperative geometry acquisition and surgical robot safety management, 2006.
[2] http://www.ynl.t.u-tokyo.ac.jp/publications/pdf2001/icra01/hayasibe.pdf

形状特徴

形状の複雑さ:
e=\frac{(周囲長)^2}{面積}
eは図形が円に近づくと最小値(4π)に近づき,図形形状が複雑になるほど大きい値をとる。

(参考文献)
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.

テクスチャ解析

テクスチャ解析は統計的手法と構造的手法に大別される[1]。

<統計的手法>
(1) ヒストグラム特徴(1次統計量)

(2) 濃度共起行列特徴(2次統計量)
画像中の2つの画素の組における濃度の配置具合を調べることでテクスチャ特徴を解析・評価しようとするもの。2つの画素の組を用いることから2次特徴量とよばれ,代表的なものに濃度共起行列をもとにしたテクスチャ特徴の解析・評価法がある。

エネルギー:
コントラスト(慣性):
エントロピー:
相関:

(3) フーリエ特徴
テクスチャの構成要素の大きさや方向性を解析できる。

(参考文献)
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.

[2] popImaging
http://www.dbkids.co.jp/popimaging/

[3] ImageJ
http://rsb.info.nih.gov/ij/

[4] http://www.design.kyushu-u.ac.jp/lib/doctor/1999/k032/k032-05.pdf


6.x セグメンテーションの評価指標


セグメンテーションの評価指標には以下のものがある。2つの領域(点の集合)の一致率の指標である
 (1)IoU(Intersection(積集合) over Union(和集合))
 (2)ダイス係数
 (3)Jaccard係数

6.x U-Netを用いたセグメンテーション

管状構造物のセグメンテーション

頸動脈のセグメンテーション
(参考文献)
N Radovanović, L Dašić, A Blagojević, T Šušteršic, et al., Carotid Artery Segmentation Using Convolutional Neural Network in Ultrasound Images.

6.x その他


合同変換=(直交変換)+(平行移動)、矩形を合同な矩形に移す。
アフィン変換=(線形変換)+(平行移動)、矩形を一般的な平行四辺形に変形する。
射影変換=(線形変換)、矩形を一般的な任意の凸四角形に変形する。2次元図形の射影変換の原理を説明するには、ビルの壁面のような平面領域に描かれた図形を斜めから中心投影原理のカメラで撮影したような透視投影図を考えるのが分かりやすい。

(参考文献)
玉野研一,なっとくする無限の話,講談社.

テンプレートマッチング法:
テンプレートマッチング法はいまや古典的な画像追跡手法となりつつあるが、人間の目によるターゲットの画像追跡モデルとしてはいまだ有効と考えられている。具体的にたとえばテンプレートマッチングを用いた合成画像の評価指標などにテンプレートマッチング法が用いられている。

(参考文献)
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS)https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9

RANSAC(RANdom SAmple Consensus) 球状構造物の抽出などに用いられる。外れ値を含むデータから、外れ値の影響を除外して数学モデルのパラメータを学習する手法。

医用画像処理とトーラス構造
プローブの回転
円板の一部としての扇形

有限要素法
強形式と弱形式
偏微分方程式の求解において連続性を犠牲にしてGreenの公式をもちいて次数をさげる。

生検
針を刺して組織を採取する検査