超高度に『医デジ化』された社会の実現

小泉 憲裕
(電気通信大学 大学院情報理工学研究科 准教授)

6. 医デジ化のためのAI・ロボットビジョン(画像処理・アルゴリズム)技術

画像処理に関する医デジ化コア基盤技術


医デジ化を推進・展開するにあたってわれわれが独自に開発・蓄積してきたAI・ロボットビジョン(画像処理・アルゴリズム)に関するコア基盤技術について概説する。

熟練した医療専門家は腫瘍(しゅよう)や結節(けっせつ)、結石(けっせき)を『球(状構造物)』として、血管や胆管(たんかん)、消化管(しょうかかん)などの管状(かんじょう)のものを(おそらくは直線が周囲の場(応力・重力・密度をはじめ、さまざまな場が考えられる)によって曲げられているという意味での)『曲線(状構造物)』として頭のなかで抽象的にモデル化しているという。

肝臓、腎臓、前立腺などは腫瘍や血管等を内包している『球(状構造物)』であるが、これらは球(楕円)を基盤として、(たとえば)超楕円の理論等を用いてトポロジー(柔軟な幾何学)にもとづいて変形させたものとして抽象的に捉えることができる。球面と同相な曲面は空間を2つの領域に分けている。一般に空間を内部と外部に分ける面を閉曲面とよぶ。

内部に存在するモノ(腫瘍(しゅよう)や結節(けっせつ)、結石(けっせき)など)はいくらくやしがったところで面を貫(つらぬ)くことなく外部に出てゆくことなどできない。これは国境をまたぐことなく外国に行けないことと同じ事情であり、机の上のiPadが2次元平面内でどうあがいてもひっくり返せないこととanalogusである。

閉曲面には球面と同相な面以外に、(n∊N個の穴の開いた)ドーナツ(トーラス)と同相な面(一般のn∊N個の場合にはジーナスとよばれる)がある。球と(n∊N個の穴の開いた)ドーナツ(トーラス、一般のn∊N個の場合にはジーナスとよばれるはいずれも3次元空間を内部と外部の2つの領域に分割するので、そのベッチ数はp_2=1である。円盤は空間を分けないのでベッチ数はp_2=0である。

ベッチ数は、 n次元の単体(たんたい)を基本要素として複数の単体から構成される複体(ふくたい)の接続性(つながっているのか、つながっていないのか)について議論するときに、位相空間を区別するために使用される。単体は次元ごとに異なり、0次元では点、2次元では線分、3次元では三角形、4次元では正四面体(いわゆる、ポリゴンの構成要素)である。

円周と同相な曲線をジョルダンの閉曲線と呼び、線分と同相な曲線をジョルダンの曲線と呼ぶ。

(定理)ジョルダンの曲線は平面を2つの領域に分割する。
(定理)ジョルダン曲線は平面を分割しない。

(参考文献)
Yusuke Onodera, Norihiro Koizumi, Yuka Shigenari, Riki Igarashi, Yu Nishiyama, Sunao Shoji, "Parametric identification of prostate shape using the superellipses and its correlation with pathology," 35th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2021), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.16, Suppl.1, pp.S66-S67, 2021.  

都筑卓司,トポロジー入門、講談社.

上記の構造物はわれわれの体内(3(n)次元ユークリッド空間内の(超)立体で、その表面は2次元多様体と捉えることができる)内に埋め込まれている。医療専門家は2次元(低次元)の(超)断面と(頭のなかに構築している)3次元(高次元)の(超)立体の間を適宜往復しながら、診断・治療を遂行している。

(注意)3(一般にはn)次元の境界付き多様体Mをぐるりと取り囲む境界たる曲面∂Mは境界のない2(一般にはn-1)次元多様体になることに注意されたい。3次元球の場合は2次元球面と(柔軟な)位相幾何学的に同相な多様体である。2次元球面自身が全世界だと認識している球面上のアリにとってはこの球面に境界は存在しない。

ただしこの議論の前提条件として、このアリはその球面が埋め込まれた3次元ユークリッド空間については全く認識できていないことを前提条件として仮定することとする。すなわち、このアリは球面から離れて空へと飛び立つ際の地上と空中との間の境界などはハナから考えられないものとする。昔、ノミに綱渡りの曲芸を仕込むために、飛び立てないように小さなカプセルに閉じ込めてノミの綱渡りを訓練した話を聞いたことがあるが、あくまでこのアリは球面上の世界のみを全世界として認識しているものと仮定するのである。

また人体が解剖学的に観ておおよそ同型(どうけい)であることを手がかり・足がかりにして、主要な臓器や血管についてはそれら同士のつながりをたどることで、おおよその位置・姿勢の見当をつけながら探索することができる。柔軟なゴム膜の幾何学たるトポロジーには近相を近相に写すという素晴らしい特長があるために、このような芸当が可能になる。

ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ(長軸径、短軸径、体積、太さ、距離等)を適切な断面を選択してなるべくばらつきなく具体的に計測することが診断・治療において重要なタスクになる。

医デジ化の目的は上記の抽象/具体的な擬人的タスクをAI・ロボティックなデジタル機能関数によって再現(医デジ化)し、その計測精度を超人的なレベルにまで精緻・最適化して高めることである。

具体的にたとえば、医用画像の解析という目的に対して人工知能には、臨床診断画像データという『汲(く)めども尽(つ)きぬ』イメージ・データの源泉があり、医療専門家のプロの世界観によって人工知能はさらなる高みへと導かれることであろう。

ここで、医用画像のなかでもとりわけ超音波画像は高いリアルタイム性という特長を有する一方でスペックルノイズや音響シャドウ等、ノイズがきわめて多いという課題・問題点がある。

これを踏まえて我々の有する画像処理におけるコア基盤技術は生体患部を高速・高精度かつロバストに抽出・追従・モニタリングしようとするところにその特徴がある。





医用画像処理技術と深層学習を中心とする人工知能技術


われわれはマスタ・スレーブ方式の遠隔超音波診断システムの構築法に関する研究をおこなってきた。具体的に、2001年に透析肩を対象とする世界初の遠隔超音波臨床診断実験を行ない、通常の診断と同等の診断が可能であることを示すなど、ハイインパクトな成果を得てきた。


(参考文献)

Norihiro Koizumi, Shin'ichi Warisawa, Mitsuru Nagoshi, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Construction methodology for a remote ultrasound diagnostic system," IEEE Trans. on Robotics (TRO), Vol.25, No.3, pp.522-538, 2009, https://doi.org/10.1109/TRO.2009.2019785. IF=7.8

Norihiro Koizumi, Shin'ichi Warisawa, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Continuous path controller for the remote ultrasound diagnostic system," IEEE/ASME Trans. on Mechatronics (TMECH), Vol.13, No.2, pp.206-218, 2008, https://doi.org/10.1109/TMECH.2008.918530. IF=5.7

しかしながら、医師の動作を遠隔地にただ単に伝達するというアプローチのみでは通常診断と同等の診断が限界であった。今後さらなる医療の質の向上を図るためには近年、進展が目覚ましい人工知能技術を援用・展開して専門医の医療技能をプロの世界観まで含めて機能として抽出し、機能の分解・再構築(構造化)を行ない、システムの機構・制御・画像処理・アルゴリズム上で機能の高度化を図ることにより、熟練した専門医のように人体に対して安全・安心・安定的に思いやりをもって動作するとともに人間の能力を超える高精度な診断・治療を行なう医療支援システムの実現が必須であると考えるに至った。


上記の遠隔超音波診断システムを開発した当時の技術水準については機構および制御技術に関して一定の水準に達してはいたものの、画像処理・アルゴリズム技術については圧倒的に乏しい状況であった。このような状況が打開されたのは、2015年に深層学習を援用したU-Netと呼ばれる臓器抽出における強力な医用画像処理アルゴリズムが開発されたことによる。


(参考文献)
Ronneberger O, Fischer P, Brox T (2015) U-net: convolutional networks for biomedical image segmentation. In: International conference on medical image computing and computer-assisted intervention. Springer, Cham

これを踏まえてわれわれは同技術を基盤とした患部抽出・追従・モニタリングに関する独自のアルゴリズムを新規に提案してきており、医療診断・治療技能のデジタル化分野のパイオニアかつ中核的な存在として国内外からきわめて高い注目を集めている。


(参考文献)
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS), https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9

Ryosuke Saito, Norihiro Koizumi, Yu Nishiyama, Tsubasa Imaizumi, Kenta Kusahara, Shiho Yagasaki, Naoki Matsumoto, Ryota Masuzaki, Toshimi Takahashi, Masahiro Ogawa, "Evaluation of Ultrasonic Fibrosis Diagnostic System Using Convolutional Network for Ordinal Regression," International Journal of Computer Assisted Radiology and Surgery (IJCARS), 2021. https://doi.org/10.1007/s11548-021-02491-1 IF=2

Shiho Yagasaki, Norihiro Koizumi, Yu Nishiyama, Ryosuke Kondo, Tsubasa Imaizumi, Naoki Matsumoto, Masahiro Ogawa, Kazushi Numata, "Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images," International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.15, No.12, pp.1989-1995, 2020. https://doi.org/10.1007/s11548-020-02265-1  IF=2.9

関連研究


超音波画像から診断・治療に有効な特徴量を抽出し,これを定量化しようとする試みがさまざま行なわれている


(参考文献)
消化管エコー:
飲み込みの際の食道の動態なども超音波で観察できる。

Naoki Matsumoto, Masahiro Ogawa, Kentaro Takayasu, Midori Hirayama, Takao Miura, Katsuhiko Shiozawa, Masahisa Abe, Hiroshi Nakagawara, Mitsuhiko Moriyama, Seiichi Udagawa, Quantitative sonographic image analysis for hepatic nodules: a pilot study, J Med Ultrasonics (2015) 42:505–512.

Matsumoto, N., Ogawa, M., Kaneko, M. et al. Contrast-enhanced ultrasonography for blood flow detection in hepatocellular carcinoma during lenvatinib therapy. J Med Ultrasonics (2022). https://doi.org/10.1007/s10396-022-01204-8

堀中博道, 脂肪肝早期診断装置および脂肪肝診断ユニット(市販装置用).
http://shingi.jst.go.jp/kobetsu/sentan/2015/tech_property.html#tech01

Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama, "Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment," Clinical Radiol, 2021.https://doi.org/10.1016/j.crad.2021.02.007.  

超音波速度の温度依存性が物質によって大きく異なることを利用することで、通常の超音波診断装置では困難な初期段階の脂肪肝の状態を判定できる装置を試作した。さらに、市販の超音波診断装置に取り付けるだけで脂肪割合の定量測定を可能とする付属装置を開発した。

医師の直観と主観と客観と人工知能による客観性の向上・拡張

医師個人個人が診断の際に用いている直観には主観と客観の両方が入り混じっているものと思われる。このうち、主観的判断能力については熟練によってすこしづつではあるが個人のなかで洗練され、独自の世界観(identity)が確立してゆくものとおもわれる。

他方で、自らが下そうとしている判断が客観的にみて妥当であるかと問われれば、確信や根拠をもって、『はい』と答えられる医師はそれほど多くはなく、特に専門外の領域では今一つその客観性に確信をもてない医師も多いのではないかと推察される。

他方、人工知能による診断では、データさえ豊富に蓄積できていれば直観のなかに存在している医師個人個人の独自の主観的要素が学習によって急速に薄められ、客観的判断能力を十分に高めてゆくことが可能になるものと期待できる。他方で、医師個人個人の独自の主観的な世界観(identity)の確立に対して、人工知能が果たせる役割はその性格上、それほど多くはないのではないかと推察している。

上記を踏まえると、主観と客観が入り混じった医師個人個人の直観的判断に対してその客観性を補完・拡張する役割を人工知能に割り当てることは十分に期待できるであろう。他方で、人工知能にとっては、学習とともに薄味となってしまいがちな主観性に対して(AIには自身(identity)がない!?)、時に医師個人個人の主観的な世界観(identity)を加えることはスパイス(薬味)として、有用かもしれない。これにより、医師と人工知能とは互いに相補的な関係を築くことも可能かもしれない、、、


特徴量


超音波画像から診断・治療に有効な特徴量を抽出し,これを定量化しようとする試みがさまざま行なわれている。ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ(長軸径、短軸径、体積、太さ、距離等)を適切な断面を選択してなるべくばらつきなく具体的に計測することが診断・治療において重要なタスクになる。


臓器など楕円形のものを計測する場合、長軸径、短軸径を計測することが多いが、長軸径の取り方より短軸径の取り方のほうがバリエーション(選択肢、ばらつき)が多い。これはキュウリを包丁で切ることを考えたときに長軸方向に包丁の軸をあわせて切るよりも短軸方向に包丁の軸をあわせて切るほうが包丁を入れる場所のバリエーション(選択肢、ばらつき)が多いことと同様(analogus)である。

これを踏まえてロボットで臓器を抽出・追従・モニタリングすることを考えた場合まずは、臓器の長軸像を基盤として臓器を抽出・追従・モニタリングすることを考えたほうが筋がよさそうである。長軸像は上記のようにバリエーション(選択肢、ばらつき)が少なく、断面積も大きくとれる分、断面が含む特徴量(情報量)もより多くとれる蓋然性(がいぜんせい)が高まるためである。

これに加えて腎臓の場合には呼吸に応じて主に長軸方向に運動するため、長軸像をもとに追従したほうがより簡便である。

(参考文献)
小川 眞広, 腹部超音波検査の あっ!? あれ何だっけ? 走査のポイントと測定・評価のコツ (US Labシリーズ3), メディカ出版.


領域の内部と外部の取り扱い


医用画像処理においては点群による処理が主流になりつつある。領域の内部と外部はある関数f(p)と点pを導入して不等式で表現することができる。f(p)は『p(主語S:sUbject)はf(述語V:prEdicate)である』と読むと直観(幾何学・野性)的に見通しよく理解しやすい。

f(p)<0 pはfの内部である
f(p)=0 pはfの境界(上)である
f(p)>0 pはfの外部である

たとえば半径rの円の場合、f(p)=x^2+y^2-r^2。もちろん、楕円であってもいいし、一般の(n次元, 凸/凹, 有界/非有界, 閉/開)領域であってもよい。

体内におけるさまざまな流動物の取り扱い


血管・消化管など体内におけるさまざまな流動物の扱いを考えたときに、たとえば血流中の微粒子(薬剤)などの構造物はそれ自体がある速度および角速度ベクトルをもって運動(変位・変形・回転)していると捉えることができる。


画像診断モダリティ


超音波を利用した患部追従手法はX線CTやMRIによる手法と比較して以下の3つの利点を有する
 (1)超音波の高リアルタイム性による患部運動補償精度の向上
 (2)患部を剛体ではなく,粘弾性体として組織変形を含めたモニタリングが可能
 また,超音波を利用した,他の手法と比較しても我々の手法は以下の利点を有する
 (3)患部とHIFUの焦点は常時一致し、HIFU照射の効率が高く、安全性も高い

RF信号処理


本研究では画像処理装置(計算器)に超音波診断画像装置から出力されるアナログビデオ信号を取込む代わりにフレームグラバ(Matrox Meteor-II / Digital, 型番:METEOR2DIG64L*, Matrox Electronic System社,カナダ)を利用してRadio Frequency (RF)信号を取込む.RF信号を利用して超音波画像データを取込むことには以下の利点がある.

(利点1)超音波診断装置から出力されるアナログビデオ信号のフレームレートが(原信号であるRF信号取得のフレームレートとは異なり)常に30fpsであるのに対して,RF信号では常に最高のフレームレートで取込み可能であり,なおかつ最小限の時間遅れでデータを取込むことができる.また画像データのサンプリング間隔もアナログの場合,かならずしも一定間隔とならないのに対して,RF信号を利用すれば一定間隔である.

(利点2)ビデオ信号では,原信号から画像処理する過程で,利用できる情報量の減少を自在に制御できないできない.他方,RF信号ではこのような情報量の減少をみずからの手で自在に制御することができる.たとえば,FOV(Field of View)を大きくとった場合,画像処理の過程で一部のデータが捨てられてしまうが,RF信号では捨てられた部分のデータを利用することが可能である.

(コラム)
近年の超音波診断装置に関する技術の進化には著しいものがある。将来動向として,パラレルスキャン技術の進展による大幅なフレームレートの向上が期待される。また,東芝はMVI(Micro Vascular Imaging)という血管を高フレームレートで高精細に描出する超音波診断技術を有している。

ロバストかつ高精度な生体追従のための新しいテンプレート・マッチング法


本節では,非侵襲超音波診断・治療統合システムにおける,ロバストかつ高精度な生体ターゲット追従のための新しいテンプレート・マッチング法を提案する.生体ターゲットには,結石,胆石,腫瘍等が内包される.提案したロバスト・テンプレート・マッチング法の有効性を確認するために,(i) オフラインの画像追跡実験,(ii) 実時間のオンライン生体患部

In this section, we propose a novel robust template matching method to track and follow body targets, which include tumors and stones for the NIUTS. To confirm the effectiveness of the proposed method, we conducted (i) offline tracking experiments and (ii) realtime online tracking and following experiments of the human kidney motion of a healthy subject. This novel robust visual servoing method could be a great tool for us to track and follow body targets precisely.

ここで,提案する新しいロバスト・テンプレート・マッチング法を利用することにより,臓器の運動補償が可能となることに着目されたい.このことにより,臓器が内包する結石,胆石,ならびに腫瘍への高精度なHIFU照射を支援することが可能になる.本手法はロバストかつ高精度な生体追従を実現し, 2.3節で明らかにした,要求機能(FR-1.2) - (FR-1.4)および(FR-2.1) を強力に支援するツールになりうる.

Here, it should be noted that the robust and precise motion canceling of the kidney organ, which incorporates kidney tumors / kidney stones to be treated, becomes possible by using the proposed novel robust template matching method. This novel method could be a great tool for us to track and follow the body targets and strongly supports the above-mentioned (FR-1.2) - (FR-1.4), and (FR-2.1) for the NIUTS.

実験を行なうにあたり,工学部倫理委員会の許可を得ている.

(コラム)畑村洋太郎福島原発事故調査委員長が,
『見たくないものは見えない,見たいものが見える.』
と指摘していたが,追従のロバスト性向上のためには,
ロボットビジョン技術にこのような機能を組込むことも有効であろう.

医用画像における輪郭抽出技術

[] 大城 政邦, 動的輪郭モデルを用いた超音波画像の輪郭抽出法, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 107(460), 59-62, 2008.
http://ci.nii.ac.jp/naid/110006623837

[] https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=38830&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8

ビジュアル・サーボ技術
[] Cowan, N.J., et al., Visual servoing via navigation functions, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044365&queryText=Visual%20servoing%20via%20Navigation%20Functions&newsearch=true

[] Chaumette, F, Image moments: a general and useful set of features for visual servoing, 2004.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1321161&queryText=Image%20Moments:%20A%20General&newsearch=true

[] Mezouar, Y., et al., Path planning for robust image-based control, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044366&newsearch=true&queryText=Path%20planning%20for%20Robust%20Image-Based%20Control

医用画像におけるモーション・トラッキング
[] Fai Yeung, et al., Feature-adaptive motion tracking of ultrasound image sequences using a deformable mesh, IEEE TMI, 1998.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=746627

Yeung et al., applied an adaptive deformable mesh model for US guided non-rigid tissue motion tracking.

[] Zahiri-Azar, R., Salcudean, S.E., Motion Estimation in Ultrasound Images Using Time Domain Cross Correlation With Prior Estimates, Biomedical Engineering, IEEE Transactions on
, Year: 2006, Volume: 53, Issue: 10, Pages: 1990 - 2000, DOI: 10.1109/TBME.2006.881780.
http://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=Motion%20Estimation%20in%20Ultrasound%20Images%20Salcudean
Reza et al., propose a new speckle tracking method, which is called time-domain cross-correlation with prior estimates (TDPE), that is based on the standard time-domain cross correlation strain estimation (TDE).

ロボットを併用した医用画像誘導
[] Abolmaesumi, P., et al., Image-guided control of a robot for medical ultrasound, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=988970&queryText=Image%20guided%20control%20of%20a%20robot%20for%20medical%20ultrasound&newsearch=true

[] R Nakadate, et al., 3D Tracking of Respiratory Liver Movement by a Robot Assisted Medical Ultrasound, Computer Aided Surgery, 2016
Abstract It is often required to hold an ultrasound probe for long time so that the moving
target is maintained within the B-mode image, especially for minimally invasive
interventions. Using a conventional 2D probe, the tracking out-of-plane motion is a ...
http://link.springer.com/chapter/10.1007/978-4-431-55810-1_2

[] Chen TK1, Abolmaesumi P, Pichora DR, Ellis RE., A system for ultrasound-guided computer-assisted orthopaedic surgery. Comput Aided Surg. 2005.
http://www.ncbi.nlm.nih.gov/pubmed/16410230

整形外科領域の超音波画像誘導システム

レジストレーション

[1] Mitsuhiro Hayashibe, et al., Laser-scan endoscope system for intraoperative geometry acquisition and surgical robot safety management, 2006.
[2] http://www.ynl.t.u-tokyo.ac.jp/publications/pdf2001/icra01/hayasibe.pdf

形状特徴

形状の複雑さ:
e=\frac{(周囲長)^2}{面積}
eは図形が円に近づくと最小値(4π)に近づき,図形形状が複雑になるほど大きい値をとる。

(参考文献)
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.

テクスチャ解析

テクスチャ解析は統計的手法と構造的手法に大別される[1]。

<統計的手法>
(1) ヒストグラム特徴(1次統計量)

(2) 濃度共起行列特徴(2次統計量)
画像中の2つの画素の組における濃度の配置具合を調べることでテクスチャ特徴を解析・評価しようとするもの。2つの画素の組を用いることから2次特徴量とよばれ,代表的なものに濃度共起行列をもとにしたテクスチャ特徴の解析・評価法がある。

エネルギー:
コントラスト(慣性):
エントロピー:
相関:

(3) フーリエ特徴
テクスチャの構成要素の大きさや方向性を解析できる。

(参考文献)
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.

[2] popImaging
http://www.dbkids.co.jp/popimaging/

[3] ImageJ
http://rsb.info.nih.gov/ij/

[4] http://www.design.kyushu-u.ac.jp/lib/doctor/1999/k032/k032-05.pdf


セグメンテーションの評価指標


セグメンテーションの評価指標には以下のものがある。2つの領域(点の集合)の一致率の指標である
 (1)IoU(Intersection(積集合) over Union(和集合))
 (2)ダイス係数
 (3)Jaccard係数

U-Netを用いたセグメンテーション

2015年にU-Netとよばれる画期的な深層学習によるセグメンテーション・ネットワークがRonneburgerらによって提案された。地政学的にがんのできやすい場所は限られている。具体的に皮(家でいうと壁紙)のすぐ下にできるがんは『癌』とよばれる。他方、筋肉(家でいうと柱)の中にできるがんを『肉腫』と呼んで医療専門家は区別している。

U-Netはグローバルな医用画像(地図)のなかでがん(患部)の局在(位置)をみつける能力(skip connectionで実現)と局所的(ローカル)な模様を識別する能力(convolutional neural net、すなわち折り畳みによるがんの密度の増加で実現)の両方の能力を兼ね備えてたネットワークで、当時の医用画像処理のコンペを総なめにしている。

(参考文献)
Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In 427 International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.

Res-Netを用いたセグメンテーション

U-Netと同じく2015年にRes-Netによる多層(150層以上の深層学習を実現している)のセグメンテーション・ネットワークがHeらによって提案された。一般に多層になると勾配(こうばい)損失の影響が大きくなり、学習の効果が飽和・減少してしまうという問題があった。川でたとえると、上流には滝のように勾配の大きな急流があるが、下流にゆくにつれて、勾配の少ないゆったりとした流れになるのと同様だ。

この問題に対する一撃必殺の返し技は、ひとつ前の層からショートカットしてきた出力と、残差ブロックをくぐりぬけてきた出力との差をあらたに「残差(Residue)」と定義して学習の対象とするというものである。そうすることで各層ごとにポンプで水をくみあげなおしてポテンシャルエネルギーを高めなおすがごとく、勾配損失を起こしにい学習ネットワークの構造が可能になる。これにより、実に150層以上という、従来よりはるかに深層での学習が意味のあるものとなった。

のっぺら坊やゲゲゲの鬼太郎のぬりかべしかり、勾配のすくない一様な画像はとかく特徴をつかみづらいのが難点である(特徴のある顔の群に入れれば、むしろ特徴がないのが特徴になる可能性はあるかもしれない、、、)。複素関数論の特異点における留数(りゅうすう、Residue)の計算よろしく、変化のおおきな、川でいえば、上流にある滝のようなところ、すなわち勾配の大きなところに特徴量は局在(きょくざい)する。医用画像中の病変の局在も同様である。

(参考文献)
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference 429
on computer vision and pattern recognition (pp. 770-778).

管状構造物のセグメンテーション

頸動脈のセグメンテーション
(参考文献)
N Radovanović, L Dašić, A Blagojević, T Šušteršic, et al., Carotid Artery Segmentation Using Convolutional Neural Network in Ultrasound Images.

セグメンテーションの評価指標

(1)Accuracy
何はともあれ正しく判定できたかの指標(index)。正しく陽性あるいは陰性判定(Truely Positive、Truely Negative)できた件数が分子、正しく陽性あるいは陰性判定できた件数に加えて間違って陽性あるいは陰性判定(Falsely Positive、Falsely Negative)をしてしまった件数を加えた、全試行件数が分母に来る。混同行列(Confusion Matrix) の対角成分の値が大きいほど正確と言える。

(2)IoU(Intersection Over Union)
Positiveに関して、正しく判定できたかの指標。積集合のことを英語でIntersection、和集合のことをUnionという。すなわち、積集合を分子に和集合を分母にして、分数(fraction)表示した指標である。overは分子と分母の間の横棒(bar)を入れて分数表示したときに、分子が分母のうえ(over)に存在していることを表現している。

正しく陽性判定(Truely Positive)できた件数を分子、正しく陽性判定できた件数に加えて、間違って陽性あるいは陰性の判定(Falsely Positive、Falsely Negative)してしまった件数を含めたものが分母となる。

(3)ダイス係数(DSC)
Positiveに関して、正しく判定できたかの指標。IoUと比較して、間違って陽性あるいは陰性の判定(Falsely Positive、Falsely Negative)してしまったことよりも正しく陽性判断(Truely Positive)できたことを2倍重視するという、言わば『加点主義』の指標となっている。

(4)Hausdorff Distance
2つの輪郭の重なり具合の評価。たとえば、ひとつは深層学習によるセグメンテーション推定結果の輪郭データ(S)。ひとつは実際の輪郭データ(G)。S上の点からG上の点への最短距離をSの代表長さ(周囲長、最大径など)によって規格化したものと、G上の点からS上の点への最短距離をGの代表長さによって規格化したものの平均をとることで指標化している。

テンプレートマッチング法


テンプレートマッチング法はいまや古典的な画像追跡手法となりつつあるが、人間の目によるターゲットの画像追跡モデルとしてはいまだ有効と考えられている。松山らはテンプレートマッチングを用いた合成画像の評価指標としてテンプレートマッチング法を用いている。

(参考文献)
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS)https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9

Grad-CAM 法

CNNでは畳み込みおよびプーリングによって得られた特徴マップの各ピクセルデータを、ニューラルネットワークの入力値として利用している。特徴マップの各ピクセルデータに対する識別評価関数の勾配(寄与率)を利用して、識別評価関数に大きく寄与する入力画像の局在(場所と広がり)を同定して、直観的に見通しよくこれを視覚化することができる。CNNは大きく、特徴量抽出部分と識別部分から構成される。

特徴量抽出パート:画像を読み込み、畳み込みおよびプーリングによって特徴マップを作成する
識別パート:特徴マップの各ピクセルデータを入力とする全結合層を繰り返すことで最終的な出力を得る

(参考文献)

信頼度マップ(Confidence map)

超音波画像は浅部から音波が降り注いで、深部にゆくほど、さまざまな散乱体によって減衰してゆく。この事実を手掛かりに浅部を信頼度1、深部を信頼度0とする境界条件を設定して、ランダムウォークによって、散乱対による減衰の度合いを表現し、超音波画像の局所的な信頼度を推定することができる。これにより、音響シャドウなども検出することができる。

RANSAC(RANdom SAmple Consensus) 

構造物の抽出などに用いられる。外れ値を含むデータから、外れ値の影響を除外して数学モデルのパラメータを学習する手法。

(参考文献)

医用画像処理とトーラス構造
プローブの回転
円板の一部としての扇形

深度センサ付きカメラ(デプスカメラ)

深度計測センサ付きカメラとは、対象物までの距離情報をカメラ映像にて可視化してくれるものである。石川らは、3次元の臓器モデルを構築するために、深度計測センサ付きカメラを用いて超音波プローブの運動を同定している。

(参考文献)
Tomohiro Ishikawa, Norihiro Koizumi, Yu Nishiyama, Jiayi Zhou, Yusuke Watanabe, Takumi Fujibayashi, Momoko Matsuyama, Miyu Yamada, Ryosuke Tsumura, Kiyoshi Yoshinaka, Hiroyuki Tsukihara, Kazushi Numata, "Construction of a 3D organ model using a robot, visual SLAM, and deep learning," 36th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2022)International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.17, Suppl.1, pp.S40-S41, 2022.  https://doi.org/10.1007/s11548-022-02635-x

クローズド・ループ・コネクション(closed-loop connection)

SLAM(simultaneous locating and mapping:自己位置推定と地図の同時作成技術)というロボット技術がある。そのなかで用いられているclosed-loop connection処理とは、ロボットが環境のなかを移動中に、いつか見た風景を検出すると、その瞬間、頭のなかに描いている自身の環境地図上で閉ループを作り、自己の位置情報を逐次的に修正してゆくという処理のことである。

closed-loopは日本語では閉曲線と訳されるが、その途中経路に直線的でジグザグ状のカクカクした線分を部分的に含んでいたとしても一向にかまわない。閉曲線の定義の仕方にはさまざまあるが、抽象的に閉区間[a,b]の写像(関数)φ(t)において区間の両端でφ(a)=φ(b)となっているような曲線を閉曲線と定義する方法もある。


ガボールフィルタ(Gabor filter

ガボールフィルタはsin/cos関数をガウス関数で局在化したカーネルを用いる。生体の視覚皮質(第一次視覚野)には、方位選択性を持つ神経細胞があることが 知られている。また、猫の視覚皮質の単純型細胞の受容野特性は、Gaborフィルタでうまく近似される。

g(t) = K・w(t)・exp( iφ )・s(t)

但し w(t) = exp( -t2 / 2σ2 ), s(t) = exp( iω0t )

Gaborフィルタの出力は、ほとんどの出力が0であり、少数個の出力だけが値を持つような表現となる。すなわち、スパース・コーディング(sparse coding)になっている。また、一般の自然画像から切り出して局所領域のスパースさを最大化するような制約条件を用いて自己組織的にフィルタを構成したところ、Gaborフィルタによく類似したフィルタが得られた例が報告されている。

(参考文献)

Daugman, ``Entropy reduction and decorrelation in visual coding by oriented neural receptive fields,'' Trans. on Biomedical Engineering, Vol.36, No.1, pp. 107-114 (1989).

B.Olshausen and D.Field, ``Emergence of simple-cell receptive field properties by learning a sparse code for natural images,'' Nature, Vol.381, pp.607-609 (1996).

漸化的画像処理アルゴリズム(Gradual image processing algorithm)

動画は時系列の画像群として捉えることができる。このため、時間軸上で隣接した2つ(あるいはN枚)の画像間にはなんらかの漸化的な構造が埋め込まれている可能性がある。

このため画像処理アルゴリズムによって抽出された物体の運動に飛躍がある場合には、なんらかのノイズが紛れ込んだことを疑う余地がある。なぜなら、臓器などの(フィジカルな)物体の運動は連続的でなめらかであることが期待されるからだ。

具体的にたとえば、腎臓の運動速度の最大値は20mm/s程度であることが報告されている。この最大速度をリプシッツ連続の条件であらわすことで、時間軸上で隣接する画像間の連続性(コミュニケーション・リンク)を評価することも可能であろう。

生検

針を刺して組織を採取する検査

術中ナビゲーション

術前に診断された前立腺癌の局在(きょくざい)を、超音波画像上で術者に教えながら手術を行なうことを術中ナビゲーションという。術者が観察するコンソール内の視野には内視鏡が映し出す骨盤内の術野以外にも、術前に撮影した患者さんの医用画像(MRIやCTなど)や、術中にリアルタイムに撮影する超音波画像を同時に表示する機能がある。

(参考文献)
小路 直,前立腺がんの基本と低侵襲がん標的治療,ライフ・サイエンス.

その他


合同変換=(直交変換)+(平行移動)、矩形を合同な矩形に移す。
アフィン変換=(線形変換)+(平行移動)、矩形を一般的な平行四辺形に変形する。
射影変換=(線形変換)、矩形を一般的な任意の凸四角形に変形する。2次元図形の射影変換の原理を説明するには、ビルの壁面のような平面領域に描かれた図形を斜めから中心投影原理のカメラで撮影したような透視投影図を考えるのが分かりやすい。

(参考文献)
玉野研一,なっとくする無限の話,講談社.

有限要素法
強形式と弱形式
偏微分方程式の求解において連続性を犠牲にしてGreenの公式をもちいて次数をさげる。