画像処理に関する医デジ化コア基盤技術
医デジ化を推進・展開するにあたってわれわれが独自に開発・蓄積してきたAI・ロボットビジョン（画像処理・アルゴリズム）に関するコア基盤技術について概説する。
熟練した医療専門家は臓器や（臓器に包含（ほうがん）された）腫瘍（しゅよう）や結節（けっせつ）、結石（けっせき）を『球状構造物、さらに、その骨格・フレームは球状構造体』として、血管や胆管（たんかん）、消化管（しょうかかん）などの管状（かんじょう）のものを（おそらくは直線が周囲の場（応力・重力・密度をはじめ、さまざまな場が考えられる）によって曲げられているという意味での）『曲線状構造物、さらにその骨格・フレームは曲線状構造体』として頭のなかで一般・抽象化したメタ的なモデルとして扱っているという。※
※ゴム膜とゴム紐による柔軟な幾何学であるトポロジーにおける『同相（どうそう）』の概念（がいねん）で分類すると、１次元の空間、つまり曲線（端点がないもの）はたった２種類しか存在しない。閉じた曲線（閉曲線）と閉じてない曲線（開曲線）である。一方の閉曲線は円周と同相であり、他方の開曲線は直線と同相である。
肝臓、腎臓、前立腺などは腫瘍や血管等を内包している『球（状構造物／体）』であるが、これらは球（楕円）を基盤として、（たとえば）超楕円（ちょうだえん）や射影（しゃえい）変換の理論等を用いてトポロジー（柔軟な幾何学）にもとづいて変形される普遍・一般・抽象化されたメタ的な構造物／体として捉えることができる（われわれはこれをMe-δigIT構造物／体と呼ぼう）。
『球（状構造物／体）』を『球（状構造物／体）』へ、『曲線（状構造物／体）』を『曲線（状構造物／体）』へといった具合（ぐあい）に、（点の集合としての）球や曲線（といった空間）のなかでの（隣接する）点と点とのつながり方（連続しているのか不連続なのか）の関係を維持したまま、写像するものを連続写像と呼ぶ。球面と同相な曲面は空間を２つの領域に分けている。一般に空間を内部と外部に分けるような（境界）面のことを閉曲面とよぶ。
内部に存在するモノ（腫瘍（しゅよう）や結節（けっせつ）、結石（けっせき）など）はいくらくやしがったところで面を貫（つらぬ）くことなく外部に出てゆくことなどできない。これは国境をまたぐことなく外国に行けないことと同じ事情であり、机の上のiPadが２次元平面内でどうあがいてもひっくり返せないことと類似（similar、analogus）である。
閉曲面には球面と同相な面以外に、（n∊N個（種数とよばれる）の穴の開いた）ドーナツ（トーラス）と同相な面（一般のn∊N個の場合にはジーナスとよばれる）がある。球と（n∊N個の穴の開いた）ドーナツ（トーラス、一般のn∊N個の場合にはジーナスとよばれる）はいずれも３次元空間を内部と外部の２つの領域に分割するので、そのベッチ数はp_2=１である。円盤は空間を分けないのでベッチ数はp_2=０である。
ベッチ数は、 n次元の単体（たんたい）を（その空間の）基本構成要素として複数の単体から構成される複体（ふくたい）の接続性（空間がつながっているのか、つながっていないのか）について議論するときに、位相空間を区別するために使用される。（その空間の）基本構成要素たる単体は次元ごとに異なり、０次元では点、２次元では線分、３次元では三角形、４次元では正四面体（いわゆる、ポリゴンの基本構成要素）である。
柔軟な幾何学（トポロジー、ゴム膜上の幾何学）において円周と同相な曲線をジョルダンの閉曲線と呼び、（端点のない）線分と同相な曲線をジョルダンの曲線と呼ぶ。
（定理）ジョルダンの閉曲線は平面を２つの領域に分割する。（定理）ジョルダン曲線は平面を分割しない。
マウスの運動野における脳神経回路網においても、SLAM（Simultaneous Localizing and Mapping）が実行され、極座標にもとづく環境の地図生成が環境内での行動と同時に行われていることが脳科学の先端的な研究で強く示唆されている。
具体的に柔軟な幾何学（トポロジー、ゴム膜上の幾何学）にもとづいた（時空間上での）視覚画像の対称性（今見ている景色がいつかどこかでみたことのある景色であるかどうか）を活用したクローズドループ（閉曲線）検出による自己位置の同定が脳神経網において重要な役割を果たしている。
医療専門家は球状構造物／体（臓器やがん、結石など）であるか、あるいは曲線（管）状構造物／体（血管や消化管など）であるかを手掛かりに、医用画像内の構造物／体を巧（たく）みに識別して解釈しているが、マウスの運動野における脳神経回路網上での処理においても、みずからの運動軌道が（球面を２次元に射影した）ジョルダンの閉曲線（円周と同相）であるかジョルダン曲線（線分と同相）であるかの認知・認識は環境内での行動生成において本質的かつ決定的に重要な役割を果たしている。
Neural manifolds - The Geometry of Behaviour
（参考文献）Yusuke Onodera, Norihiro Koizumi, Yuka Shigenari, Riki Igarashi, Yu Nishiyama, Sunao Shoji, "Parametric identification of prostate shape using the superellipses and its correlation with pathology," 35th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2021), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.16, Suppl.1, pp.S66-S67, 2021.
Anju Mukasa, Norihiro Koizumi, Yu Nishiyama, Yusuke Onodera, Momoko Matsuyama, Takumi Fujibayashi, Sunao Shoji, "Development of an intraoperative cancer localization navigation system to support complete resection of prostate cancer," 36th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2022), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.17, Suppl.1, pp.S51, 2022. https://doi.org/10.1007/s11548-022-02635-x 都筑卓司，トポロジー入門、講談社．
上記の構造物／体はわれわれの体内（３（ｎ）次元ユークリッド空間内の（超）立体で、その表面は２次元多様体と捉えることができる）内に埋め込まれている。医療専門家は２次元（低次元）の（超）断面と（頭のなかに構築している）３次元（高次元）の（超）立体の間を適宜往復しながら、医療診断・治療を遂行している。
（注意）3(一般にはn)次元の境界付き多様体Mをぐるりと取り囲む境界たる曲面∂Mは境界のない2（一般にはn-1）次元多様体になることに注意されたい。３次元球の場合は２次元球面と（柔軟な）位相幾何学的に同相な多様体である。２次元球面自身が全世界だと認知・認識している球面上のアリにとってはこの球面に境界は存在しない。
ただしこの議論の前提条件として、このアリはその球面が埋め込まれた３次元ユークリッド空間については全く認知・認識できていないことを前提条件として仮定することとする。すなわち、このアリは球面から離れて空へと飛び立つ際の地上と空中との間の境界などはハナから考えられないものとする。昔、ノミに綱渡りの曲芸を仕込むために、飛び立てないように小さなカプセルに閉じ込めてノミの綱渡りを訓練した話を聞いたことがあるが、あくまでこのアリは球面上の世界のみを全世界として認知・認識しているものと仮定するのである。
また人体が解剖学的に観ておおよそその骨格・フレームが同型（どうけい、１対１の対応構造がある）であることを手がかり・足がかりにして、主要な臓器や血管についてはそれら同士の連続性や滑らかさといったつながりをたどることで、おおよその位置・姿勢の見当をつけながら探索することができる。柔軟なゴム膜（および筋・腱としてのゴム紐）の幾何学たるトポロジーには近相（近傍系）を近相（近傍系）に写すという素晴らしい特長があるために、このような芸当が可能になる。
ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ（長軸径、短軸径、体積、太さ、距離等）を適切な断面を選択してなるべくばらつきなく具体的に計測することが医療診断・治療において重要なタスクになっている。
われわれの医デジ化プロジェクトの目的は上記の抽象／具体的な人的タスクをＡＩ・ロボティックなデジタル機能関数によって再現（医デジ化）し、その計測精度を超人的なレベルにまで精緻・最適化して高めてゆくことである。
具体的にたとえば、医用画像の解析という目的に対して人工知能には、臨床診断画像データという『汲（く）めども尽（つ）きぬ』イメージ・データの豊かな源泉があり、医療専門家のプロの世界観によって人工知能はさらなる高みへと導かれてゆくことであろう。
ここで、医用画像のなかでもとりわけ超音波画像は高いリアルタイム性という特長を有する一方でスペックルノイズや音響シャドウ等、ノイズがきわめて多いという課題・問題点がある。
これを踏まえて我々の有する医用画像処理におけるMe-δigITコア基盤技術は生体患部を高速・高精度かつロバストに抽出・追従・モニタリングしようとするところにその特長がある。
医デジ化を推進・展開するにあたってわれわれが独自に開発・蓄積してきたAI・ロボットビジョン（画像処理・アルゴリズム）に関するコア基盤技術について概説する。
熟練した医療専門家は臓器や（臓器に包含（ほうがん）された）腫瘍（しゅよう）や結節（けっせつ）、結石（けっせき）を『球状構造物、さらに、その骨格・フレームは球状構造体』として、血管や胆管（たんかん）、消化管（しょうかかん）などの管状（かんじょう）のものを（おそらくは直線が周囲の場（応力・重力・密度をはじめ、さまざまな場が考えられる）によって曲げられているという意味での）『曲線状構造物、さらにその骨格・フレームは曲線状構造体』として頭のなかで一般・抽象化したメタ的なモデルとして扱っているという。※
※ゴム膜とゴム紐による柔軟な幾何学であるトポロジーにおける『同相（どうそう）』の概念（がいねん）で分類すると、１次元の空間、つまり曲線（端点がないもの）はたった２種類しか存在しない。閉じた曲線（閉曲線）と閉じてない曲線（開曲線）である。一方の閉曲線は円周と同相であり、他方の開曲線は直線と同相である。
肝臓、腎臓、前立腺などは腫瘍や血管等を内包している『球（状構造物／体）』であるが、これらは球（楕円）を基盤として、（たとえば）超楕円（ちょうだえん）や射影（しゃえい）変換の理論等を用いてトポロジー（柔軟な幾何学）にもとづいて変形される普遍・一般・抽象化されたメタ的な構造物／体として捉えることができる（われわれはこれをMe-δigIT構造物／体と呼ぼう）。
『球（状構造物／体）』を『球（状構造物／体）』へ、『曲線（状構造物／体）』を『曲線（状構造物／体）』へといった具合（ぐあい）に、（点の集合としての）球や曲線（といった空間）のなかでの（隣接する）点と点とのつながり方（連続しているのか不連続なのか）の関係を維持したまま、写像するものを連続写像と呼ぶ。球面と同相な曲面は空間を２つの領域に分けている。一般に空間を内部と外部に分けるような（境界）面のことを閉曲面とよぶ。
内部に存在するモノ（腫瘍（しゅよう）や結節（けっせつ）、結石（けっせき）など）はいくらくやしがったところで面を貫（つらぬ）くことなく外部に出てゆくことなどできない。これは国境をまたぐことなく外国に行けないことと同じ事情であり、机の上のiPadが２次元平面内でどうあがいてもひっくり返せないことと類似（similar、analogus）である。
閉曲面には球面と同相な面以外に、（n∊N個（種数とよばれる）の穴の開いた）ドーナツ（トーラス）と同相な面（一般のn∊N個の場合にはジーナスとよばれる）がある。球と（n∊N個の穴の開いた）ドーナツ（トーラス、一般のn∊N個の場合にはジーナスとよばれる）はいずれも３次元空間を内部と外部の２つの領域に分割するので、そのベッチ数はp_2=１である。円盤は空間を分けないのでベッチ数はp_2=０である。
ベッチ数は、 n次元の単体（たんたい）を（その空間の）基本構成要素として複数の単体から構成される複体（ふくたい）の接続性（空間がつながっているのか、つながっていないのか）について議論するときに、位相空間を区別するために使用される。（その空間の）基本構成要素たる単体は次元ごとに異なり、０次元では点、２次元では線分、３次元では三角形、４次元では正四面体（いわゆる、ポリゴンの基本構成要素）である。
柔軟な幾何学（トポロジー、ゴム膜上の幾何学）において円周と同相な曲線をジョルダンの閉曲線と呼び、（端点のない）線分と同相な曲線をジョルダンの曲線と呼ぶ。
（定理）ジョルダンの閉曲線は平面を２つの領域に分割する。
（定理）ジョルダン曲線は平面を分割しない。
マウスの運動野における脳神経回路網においても、SLAM（Simultaneous Localizing and Mapping）が実行され、極座標にもとづく環境の地図生成が環境内での行動と同時に行われていることが脳科学の先端的な研究で強く示唆されている。
具体的に柔軟な幾何学（トポロジー、ゴム膜上の幾何学）にもとづいた（時空間上での）視覚画像の対称性（今見ている景色がいつかどこかでみたことのある景色であるかどうか）を活用したクローズドループ（閉曲線）検出による自己位置の同定が脳神経網において重要な役割を果たしている。
医療専門家は球状構造物／体（臓器やがん、結石など）であるか、あるいは曲線（管）状構造物／体（血管や消化管など）であるかを手掛かりに、医用画像内の構造物／体を巧（たく）みに識別して解釈しているが、マウスの運動野における脳神経回路網上での処理においても、みずからの運動軌道が（球面を２次元に射影した）ジョルダンの閉曲線（円周と同相）であるかジョルダン曲線（線分と同相）であるかの認知・認識は環境内での行動生成において本質的かつ決定的に重要な役割を果たしている。
Neural manifolds - The Geometry of Behaviour
（参考文献）
Yusuke Onodera, Norihiro Koizumi, Yuka Shigenari, Riki Igarashi, Yu Nishiyama, Sunao Shoji, "Parametric identification of prostate shape using the superellipses and its correlation with pathology," 35th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2021), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.16, Suppl.1, pp.S66-S67, 2021.
Anju Mukasa, Norihiro Koizumi, Yu Nishiyama, Yusuke Onodera, Momoko Matsuyama, Takumi Fujibayashi, Sunao Shoji, "Development of an intraoperative cancer localization navigation system to support complete resection of prostate cancer," 36th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2022), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.17, Suppl.1, pp.S51, 2022. https://doi.org/10.1007/s11548-022-02635-x
都筑卓司，トポロジー入門、講談社．
上記の構造物／体はわれわれの体内（３（ｎ）次元ユークリッド空間内の（超）立体で、その表面は２次元多様体と捉えることができる）内に埋め込まれている。医療専門家は２次元（低次元）の（超）断面と（頭のなかに構築している）３次元（高次元）の（超）立体の間を適宜往復しながら、医療診断・治療を遂行している。
（注意）3(一般にはn)次元の境界付き多様体Mをぐるりと取り囲む境界たる曲面∂Mは境界のない2（一般にはn-1）次元多様体になることに注意されたい。３次元球の場合は２次元球面と（柔軟な）位相幾何学的に同相な多様体である。２次元球面自身が全世界だと認知・認識している球面上のアリにとってはこの球面に境界は存在しない。
ただしこの議論の前提条件として、このアリはその球面が埋め込まれた３次元ユークリッド空間については全く認知・認識できていないことを前提条件として仮定することとする。すなわち、このアリは球面から離れて空へと飛び立つ際の地上と空中との間の境界などはハナから考えられないものとする。昔、ノミに綱渡りの曲芸を仕込むために、飛び立てないように小さなカプセルに閉じ込めてノミの綱渡りを訓練した話を聞いたことがあるが、あくまでこのアリは球面上の世界のみを全世界として認知・認識しているものと仮定するのである。
また人体が解剖学的に観ておおよそその骨格・フレームが同型（どうけい、１対１の対応構造がある）であることを手がかり・足がかりにして、主要な臓器や血管についてはそれら同士の連続性や滑らかさといったつながりをたどることで、おおよその位置・姿勢の見当をつけながら探索することができる。柔軟なゴム膜（および筋・腱としてのゴム紐）の幾何学たるトポロジーには近相（近傍系）を近相（近傍系）に写すという素晴らしい特長があるために、このような芸当が可能になる。
ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ（長軸径、短軸径、体積、太さ、距離等）を適切な断面を選択してなるべくばらつきなく具体的に計測することが医療診断・治療において重要なタスクになっている。
われわれの医デジ化プロジェクトの目的は上記の抽象／具体的な人的タスクをＡＩ・ロボティックなデジタル機能関数によって再現（医デジ化）し、その計測精度を超人的なレベルにまで精緻・最適化して高めてゆくことである。
具体的にたとえば、医用画像の解析という目的に対して人工知能には、臨床診断画像データという『汲（く）めども尽（つ）きぬ』イメージ・データの豊かな源泉があり、医療専門家のプロの世界観によって人工知能はさらなる高みへと導かれてゆくことであろう。
医用画像処理技術と深層学習を中心とする人工知能技術
われわれはマスタ・スレーブ方式の遠隔超音波診断システムの構築法に関する研究をおこなってきた。具体的に、2001年に透析肩を対象とする世界初の遠隔超音波臨床診断実験を行ない、通常の診断と同等の診断が可能であることを示すなど、ハイインパクトな成果を得てきた。
（参考文献）
Norihiro Koizumi, Shin'ichi Warisawa, Mitsuru Nagoshi, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Construction methodology for a remote ultrasound diagnostic system," IEEE Trans. on Robotics (TRO), Vol.25, No.3, pp.522-538, 2009, https://doi.org/10.1109/TRO.2009.2019785. IF=7.8
Norihiro Koizumi, Shin'ichi Warisawa, Hiroyuki Hashizume, and Mamoru Mitsuishi, "Continuous path controller for the remote ultrasound diagnostic system," IEEE/ASME Trans. on Mechatronics (TMECH), Vol.13, No.2, pp.206-218, 2008, https://doi.org/10.1109/TMECH.2008.918530. IF=5.7
しかしながら、医師の動作を遠隔地にただ単に伝達するというアプローチのみでは通常診断と同等の診断が限界であった。今後さらなる医療の質の向上を図るためには近年、進展が目覚ましい人工知能技術を援用・展開して専門医の医療技能をプロの世界観まで含めて機能として抽出し、機能の分解・再構築（構造化）を行ない、システムの機構・制御・画像処理・アルゴリズム上で機能の高度化を図ることにより、熟練した専門医のように人体に対して安全・安心・安定的に思いやりをもって動作するとともに人間の能力を超える高精度な診断・治療を行なう医療支援システムの実現が必須であると考えるに至った。
上記の遠隔超音波診断システムを開発した当時の技術水準については機構および制御技術に関して一定の水準に達してはいたものの、画像処理・アルゴリズム技術については圧倒的に乏しい状況であった。このような状況が打開されたのは、2015年に深層学習を援用したU-Netと呼ばれる臓器抽出における強力な医用画像処理アルゴリズムが開発されたことによる。
（参考文献）
Ronneberger O, Fischer P, Brox T (2015) U-net: convolutional networks for biomedical image segmentation. In: International conference on medical image computing and computer-assisted intervention. Springer, Cham
これを踏まえてわれわれは同技術を基盤とした患部抽出・追従・モニタリングに関する独自のアルゴリズムを新規に提案してきており、医療診断・治療技能のデジタル化分野のパイオニアかつ中核的な存在として国内外からきわめて高い注目を集めている。
（参考文献）
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS), https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9
Ryosuke Saito, Norihiro Koizumi, Yu Nishiyama, Tsubasa Imaizumi, Kenta Kusahara, Shiho Yagasaki, Naoki Matsumoto, Ryota Masuzaki, Toshimi Takahashi, Masahiro Ogawa, "Evaluation of Ultrasonic Fibrosis Diagnostic System Using Convolutional Network for Ordinal Regression," International Journal of Computer Assisted Radiology and Surgery (IJCARS), 2021. https://doi.org/10.1007/s11548-021-02491-1 IF=2
Shiho Yagasaki, Norihiro Koizumi, Yu Nishiyama, Ryosuke Kondo, Tsubasa Imaizumi, Naoki Matsumoto, Masahiro Ogawa, Kazushi Numata, "Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images," International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.15, No.12, pp.1989-1995, 2020. https://doi.org/10.1007/s11548-020-02265-1 IF=2.9
関心領域（ROI: Region Of Interest）の設定とストライクゾーン
超音波画像診断における関心領域（ROI: Region Of Interest）は病変部位が埋め込まれた臓器（あるいは病変部位の周辺領域を一部含む臓器の一部）であることが多い。このため、臓器の運動を捉えるための運動学は重要である。
腎臓の場合には、その重心（図心・Image Moment、あるいは病変部位の重心・図心・Image Moment）を関心領域の中心として設定することが多い。ニュートンおよびオイラーの運動方程式が教えてくれることだが、重心を中心に物体の運動を考えると運動の本質がより明解に捉えられることが期待されるからである。
材料力学において梁（はり）に生じる曲げ応力を求める際にもまずは、梁の横断面の図心（中立軸）の位置を決定し、つぎに中立軸に関する断面２次モーメントを計算するのがセオリーである。
ここで、超音波画像には、高解像度かつ高SN比で画像を描出できるストライクゾーンが存在していることに留意されたい。ストライクゾーンはフォーカス・ポイント等のパラメータを調整することである程度は調整可能である。関心領域（ROI）をうまく、ストライクゾーンへとスムーズに誘導し、極力ブレのない画像とすることで、高解像および高SN比での診断が可能になり、結果として高精度の診断が可能になるものと期待されている。
超音波診断の場合、腎臓はその全体を１画面に収めることができるが、肝臓はその大きさから、臓器の一部になってしまうことが多いことにも留意するべきである。このように関心領域の設定にあたってはモダリティのもつ特（属）性についても考慮が必要である。
関心領域は、材料力学や流体力学などで頻回に用いられるコントロール・ボリューム（control volume）に相当するものであるが、コントロール・ボリュームよろしく課題（テーマ）に応じて過不足なく（不要な領域が入り込んでしまったり、必要な領域が見切れていたりしないように）適切に設定することが重要である。画像のブレやピンボケを低減することにも留意が重要であろう（高解像度のピンボケ画像にならないようにする）。
状態量としての超音波画像
一般的に超音波画像は人体に対するプローブの位置・姿勢・押しつけ力を適正化することによってある程度までは適正化されうる。したがって、超音波画像をある程度までは状態量と捉えることも可能である。医療専門家が超音波画像を獲得する際も、この状態量としての超音波画像を強く意識している。医療の生産性向上を目的として超音波診断を自動化する場合においても状態量としての超音波画像を強く意識して、システムを構築することが有効であろう。
特徴量
超音波画像から診断・治療に有効な特徴量を抽出し，これを定量化しようとする試みがさまざま行なわれている。ターゲットである臓器、腫瘍や結節、結石、血管や胆管、消化管などを抽象的に認識するタスクを実行した後には、このサイズ（長軸径、短軸径、体積、太さ、距離等）を適切な断面を選択してなるべくばらつきなく具体的に計測することが診断・治療において重要なタスクになる。
臓器など楕円形のものを計測する場合、長軸径、短軸径を計測することが多いが、長軸径の取り方より短軸径の取り方のほうがバリエーション（選択肢、ばらつき）が多い。これはキュウリを包丁で切ることを考えたときに長軸方向に包丁の軸をあわせて切るよりも短軸方向に包丁の軸をあわせて切るほうが包丁を入れる場所のバリエーション（選択肢、ばらつき）が多いことと同様（analogus）である。
これを踏まえてロボットで臓器を抽出・追従・モニタリングすることを考えた場合まずは、臓器の長軸像を基盤として臓器を抽出・追従・モニタリングすることを考えたほうが筋がよさそうである。長軸像は上記のようにバリエーション（選択肢、ばらつき）が少なく、断面積も大きくとれる分、断面が含む特徴量（情報量）もより多くとれる蓋然性（がいぜんせい）が高まるためである。
これに加えて腎臓の場合には呼吸に応じて主に長軸方向に運動するため、長軸像をもとに追従したほうがより簡便である。
（参考文献）
小川 眞広, 腹部超音波検査の あっ!? あれ何だっけ？ 走査のポイントと測定・評価のコツ （US Labシリーズ3）, メディカ出版.
http://gecommunity.on.arena.ne.jp/waza-ari/dr_ogawa/index.html
消化管エコー：飲み込みの際の食道の動態なども超音波で観察できる。
Okaniwa, S., Hirai, T., Ogawa, M. et al. Manual for abdominal ultrasound in cancer screening and health checkups, revised edition (2021). J Med Ultrasonics (2023). https://doi.org/10.1007/s10396-022-01272-w
腹部超音波検診判定マニュアル改訂版（2021年）https://www.jsgcs.or.jp/files/uploads/manual2021.pdf
Naoki Matsumoto, Masahiro Ogawa, Kentaro Takayasu, Midori Hirayama, Takao Miura, Katsuhiko Shiozawa, Masahisa Abe, Hiroshi Nakagawara, Mitsuhiko Moriyama, Seiichi Udagawa, Quantitative sonographic image analysis for hepatic nodules: a pilot study, J Med Ultrasonics (2015) 42:505–512.
Matsumoto, N., Ogawa, M., Kaneko, M. et al. Contrast-enhanced ultrasonography for blood flow detection in hepatocellular carcinoma during lenvatinib therapy. J Med Ultrasonics (2022). https://doi.org/10.1007/s10396-022-01204-8
堀中博道, 脂肪肝早期診断装置および脂肪肝診断ユニット（市販装置用）.
http://shingi.jst.go.jp/kobetsu/sentan/2015/tech_property.html#tech01
Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama, "Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment," Clinical Radiol, 2021.https://doi.org/10.1016/j.crad.2021.02.007.
Asano T, Kubota N, Koizumi N, Itani K, Mitake T, Yuhashi K, Liao H, Mitsuishi M, Takeishi S, Takahashi T, Ohnishi S, Sasaki S, Sakuma I, Kadowaki T. Novel and Simple Ultrasonographic Methods for Estimating the Abdominal Visceral Fat Area. Int J Endocrinol. 2017;2017:8796069. https://doi.org/10.1155/2017/8796069. Epub 2017 Aug 22. PMID: 29093737; PMCID: PMC5585558.
消化管エコー：
飲み込みの際の食道の動態なども超音波で観察できる。
Naoki Matsumoto, Masahiro Ogawa, Kentaro Takayasu, Midori Hirayama, Takao Miura, Katsuhiko Shiozawa, Masahisa Abe, Hiroshi Nakagawara, Mitsuhiko Moriyama, Seiichi Udagawa, Quantitative sonographic image analysis for hepatic nodules: a pilot study, J Med Ultrasonics (2015) 42:505–512.
Matsumoto, N., Ogawa, M., Kaneko, M. et al. Contrast-enhanced ultrasonography for blood flow detection in hepatocellular carcinoma during lenvatinib therapy. J Med Ultrasonics (2022). https://doi.org/10.1007/s10396-022-01204-8
堀中博道, 脂肪肝早期診断装置および脂肪肝診断ユニット（市販装置用）.
http://shingi.jst.go.jp/kobetsu/sentan/2015/tech_property.html#tech01
Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama, "Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment," Clinical Radiol, 2021.https://doi.org/10.1016/j.crad.2021.02.007.
堀中博道, 脂肪肝早期診断装置および脂肪肝診断ユニット（市販装置用）.
http://shingi.jst.go.jp/kobetsu/sentan/2015/tech_property.html#tech01
Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama, "Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment," Clinical Radiol, 2021.https://doi.org/10.1016/j.crad.2021.02.007.
Asano T, Kubota N, Koizumi N, Itani K, Mitake T, Yuhashi K, Liao H, Mitsuishi M, Takeishi S, Takahashi T, Ohnishi S, Sasaki S, Sakuma I, Kadowaki T. Novel and Simple Ultrasonographic Methods for Estimating the Abdominal Visceral Fat Area. Int J Endocrinol. 2017;2017:8796069. https://doi.org/10.1155/2017/8796069. Epub 2017 Aug 22. PMID: 29093737; PMCID: PMC5585558.
医師の直観と主観と客観と人工知能による客観性の向上・拡張
医師個人個人が診断の際に用いている直観には主観と客観の両方が入り混じっているものと思われる。このうち、主観的判断能力については熟練によってすこしづつではあるが個人のなかで洗練され、独自の世界観（identity）が確立してゆくものとおもわれる。
他方で、自らが下そうとしている判断が客観的にみて妥当であるかと問われれば、確信や根拠をもって、『はい』と答えられる医師はそれほど多くはなく、特に専門外の領域では今一つその客観性に確信をもてない医師も多いのではないかと推察される。
他方、人工知能による診断では、データさえ豊富に蓄積できていれば直観のなかに存在している医師個人個人の独自の主観的要素が学習によって急速に薄められ、客観的判断能力を十分に高めてゆくことが可能になるものと期待できる。他方で、医師個人個人の独自の主観的な世界観（identity）の確立に対して、人工知能が果たせる役割はその性格上、それほど多くはないのではないかと推察している。
上記を踏まえると、主観と客観が入り混じった医師個人個人の直観的判断に対してその客観性を補完・拡張する役割を人工知能に割り当てることは十分に期待できるであろう。他方で、人工知能にとっては、学習とともに薄味となってしまいがちな主観性に対して（AIには自身（identity）がない！？）、時に医師個人個人の主観的な世界観（identity）を加えることはスパイス（薬味）として、有用かもしれない。これにより、医師と人工知能とは互いに相補的な関係を築くことも可能かもしれない、、、
領域の内部と外部の取り扱い
医用画像処理においては点群による処理が主流になりつつある。領域の内部と外部はある関数f(p)と点pを導入して不等式で表現することができる。f(p)は『p（主語S：sUbject）はf（述語V：prEdicate）である』と読むと直観（幾何学・野性）的に見通しよく理解しやすい。
f(p)<0 pはfの内部である
f(p)=0 pはfの境界（上）である
f(p)>0 pはfの外部である
たとえば半径rの円の場合、f(p)=x^2+y^2-r^2。もちろん、楕円であってもいいし、一般の（n次元, 凸／凹, 有界／非有界, 閉／開）領域であってもよい。
体内におけるさまざまな流動物の取り扱い
血管・消化管など体内におけるさまざまな流動物の扱いを考えたときに、たとえば血流中の微粒子（薬剤）などの構造物はそれ自体がある速度および角速度ベクトルをもって運動（変位・変形・回転）していると捉えることができる。
物体の固有振動数を観れば、質量の増加をおおよそ見積もることができる。臓器の呼吸動や拍動など、人体臓器にはさまざまな振動現象がともなうため、これを利用して臓器の質量をある程度、見積もることが可能であろう。
衣服を着た状態でプールの中を移動すると、あたかも物体の質量（慣性）が付加されたかのような『重い』動きとなることをわれわれは経験的に知っている。密度の高い液体中の臓器の運動ではこの付加質量の効果は無視することができず、付加質量の分だけ固有振動数が小さくなることも留意（りゅうい）する必要がある。
解剖学と力学、形態学
ヒトの体は体軸を基本としてみたときに、大局（たいきょく）的にみて体軸（幹）に近いところに骨格、そのまわりを筋肉、そのまわりをさらに脂肪がとり囲むような構造配置になっている。
慣性モーメントを考えると、体軸まわりにもっとも回転しやすい密度配置になっている。お米を研（と）ぐときにかき回しながら研ぐが、遠心力の影響で密度の大きいお米が渦の中心に集まってくる。人の体も同様の密度構成になっていることは興味深い。音速は密度が高い（固い）ほうがはやく伝わるため、超音波画像上では骨層（こつ）の厚みは実際より薄くなり、筋層から脂肪層にかけて実際より厚くなる。
また脂肪層から筋層、筋層から骨層に変化するところで、プールの固定端よろしく音の多くが反射してしまうため、これらの境界では超音波画像上で輝度が高くなり、骨の先には音響陰影（おんきょういんえい）が生じる。また、脂肪層と筋層が複雑に入り乱れてすだれ状のエコーが生ずる原因となることもある。
泌尿器（ひにょうき）系臓器に埋め込まれている尿管（ureter、にょうかん）が通るルートはなかなかに興味深い。膀胱（ぼうこう）から前立腺（ぜんりつせん）を経由して陰嚢（いんのう）、陰茎（いんけい）へと、それぞれの臓器の図心・重心・image momentを『神は無駄なことをしない、最小作用の原理よろしく』真直（しんちょく）に進む。
それぞれの臓器を材料力学的なはり（beam）と捉えれば、臓器の図心・重心・image momentはその中立軸となっており、材料力学的にみて、軸方向の引張応力、圧縮応力がちょうどバランスする応力（おうりょく）のかかりにくい中立的なルートを尿道みずからがうまく選んで進んでいるようにさえ見える。
尿管ははりのなかの不連続な中空（ちゅうくう）領域であるため、その性質上ただでさえ応力の集中を起こしやすい器官といえる（応力集中（おうりょくしゅうちゅう）：断面が急激に変化するところでは大きな応力を生ずる）。『神は細部に宿る』のことわざよろしく、上記を踏まえて尿管は自身が通過するルートを計画するうえで細心の注意を払っているのだろう、、、
前立腺のAxial断面は、三国志よろしく三角形に近い三竦（さんすく）み構造をしているが、このトラス構造は外部の力から尿管を過保護（かほご）なまでに保護しているようにさえ見えてくる。他方で、腫瘍の発生などによる片側のみの前立腺肥大などにより上記の対称性が大きくくずれた場合には、材料力学的にみて、軸方向の引張応力あるいは圧縮応力が尿管に加わりやすくなる。とりわけ、前立腺肥大をともなう場合には臓器の内圧がさらに上昇するため、尿が尿道をさらに通過しにくくなり、排尿機能の低下につながる。
臓器を弾性体として捉えた場合、体積弾性率（K=p、たいせきだんせいりつ）は内圧（p）と一致する。また臓器の内圧（p）が高まるのに比例（比例定数：c）して臓器の密度（ρ）も高まる（p=cρ、従ってΔp=cΔρ、Δp/p=Δρ/ρ）。密度の変化は体（面）積の変化によって医用画像上での臓器輪郭の形状変化からもある程度推察（すいさつ）することが可能であろう。前立腺肥大では、正常時には三角形に近かった形状が、円形に近づくことが知られている。下大静脈（IVC）の短軸断面が円形の場合（でなおかつ呼吸性変動が小さい場合）も、心臓の右房（うぼう）圧が高いことが疑われる。
前立腺はもともとやわらかい組織であるが、満員電車よろしく前立腺肥大にともなって周囲の臓器とのおしくらまんじゅう状態になり、体内で圧縮されると体積弾性率（バネ定数K=p）が高まり、したがって内圧をさらに高める。この内圧のさらなる高まりにより尿管がさらに圧縮されると排尿機能の低下につながる。
（参考文献）
Sunao Shoji, Toyoaki Uchida, Masahiko Nakamoto, Hakushi Kim, Andre Luis de Castro Abreu, Scott Leslie, Yoshinobu Sato, Inderbir S. Gill, and Osamu Ukimura, Prostate Swelling and Shift During High Intensity Focused Ultrasound: Implication for Targeted Focal Therapy, The J. Urol., Vol. 190, 1224-1232, October 2013.
https://www.yodosha.co.jp/yodobook/book/9784758107624/78.html
自己相似則を捉えるマルチスケール解析
対象を球状（構造体）や線（管）状（構造体）などの単純な要素に分解することにより，多様な形態を普遍・一般・抽象的に多次元文法としてメタ的に表現することができる。自己相似則によって画像中で注意を引く領域（関心領域（ROI）としてのアトラクタ（attractor））が形成されるというものの観方、考え方、捉え方、発想の仕方、世界観。近年活発に研究されている生成AIの考え方の根底あるのもこの世界観であろう。この世界観は柔軟な幾何学（トポロジー）の考え方との相性も良い。
この世界観はさまざまな画像を少数の形態要素により生成できることを示唆しており、ピカソの絵よろしく知覚対象の記号・シンボル的表現、パターンの符号化や構造化、情景の命題的解析などの分野できわめて重要な役割を果たすものと期待されている。これは超音波医療診断・治療においても同様である。
体内には細胞（がん細胞等）、器官（毛細血管等）、複数ある臓器（腎臓等）など、自己相似則に従って関心領域としてのアトラクタ（われわれはこれをMe-DigIT attractor as ROIと呼ぼう！）が生成されていると考えられるものが非常に多い。
自己相似則は時間・空間・人-物間にわたって広く分布・存在しており、そもそも生命の複製過程自体が本質的に自己相似則に従っていると考えることもできよう。これを捉える手法としてはマルチスケール解析の考え方がきわめて有効である。
（参考文献）
断面２次モーメント、断面２次極モーメント
材料力学においてはりの曲げモーメントやねじりモーメントを計算する際に頻回（ひんかい）に用いられる断面２次モーメントや断面２次極モーメントであるが、この値は断面の形状のみによって求めることができるため、画像処理と非常に相性が良い計算と言える。
具体的に臓器の長軸方向を梁（はり）の軸とみなせば、長軸に直交するAxial断面から断面２次モーメントを計算することができ、臓器の軸に加わるさまざまな力やモーメントに対する自然な曲げあるいはねじれ変形を簡便にシミュレーションすることができる（ただし、これはテイラー展開に例（たと）えれば１次近似ともいうべき類（たぐい）の見積もりのレベルであることには留意（りゅうい）が必要であろう）。平行軸の定理をうまく活用すれば、複雑な形状の断面２次（極）モーメントも容易に計算することができる。
画像診断モダリティ
超音波を利用した患部追従手法はX線CTやMRIによる手法と比較して以下の3つの利点を有する。
（1）超音波の高リアルタイム性による患部運動補償精度の向上。
（2）患部を剛体ではなく，粘弾性体として組織変形を含めたモニタリングが可能。
また，超音波を利用した，他の手法と比較しても我々の手法は以下の利点を有する。
（3）患部とHIFUの焦点は常時一致し、HIFU照射の効率が高く、安全性も高い。
RF信号処理
本研究では画像処理装置（計算器）に超音波診断画像装置から出力されるアナログビデオ信号を取込む代わりにフレームグラバ（Matrox Meteor-II / Digital, 型番：METEOR2DIG64L*, Matrox Electronic System社，カナダ）を利用してRadio Frequency (RF)信号を取込む．RF信号を利用して超音波画像データを取込むことには以下の利点がある．
（利点１）超音波診断装置から出力されるアナログビデオ信号のフレームレートが（原信号であるRF信号取得のフレームレートとは異なり）常に30fpsであるのに対して，RF信号では常に最高のフレームレートで取込み可能であり，なおかつ最小限の時間遅れでデータを取込むことができる．また画像データのサンプリング間隔もアナログの場合，かならずしも一定間隔とならないのに対して，RF信号を利用すれば一定間隔である．
（利点２）ビデオ信号では，原信号から画像処理する過程で，利用できる情報量の減少を自在に制御できないできない．他方，RF信号ではこのような情報量の減少をみずからの手で自在に制御することができる．たとえば，FOV（Field of View）を大きくとった場合，画像処理の過程で一部のデータが捨てられてしまうが，RF信号では捨てられた部分のデータを利用することが可能である．
（コラム）
近年の超音波診断装置に関する技術の進化には著しいものがある。将来動向として，パラレルスキャン技術の進展による大幅なフレームレートの向上が期待される。また，東芝はMVI(Micro Vascular Imaging)という血管を高フレームレートで高精細に描出する超音波診断技術を有している。
（コラム）
近年の超音波診断装置に関する技術の進化には著しいものがある。将来動向として，パラレルスキャン技術の進展による大幅なフレームレートの向上が期待される。また，東芝はMVI(Micro Vascular Imaging)という血管を高フレームレートで高精細に描出する超音波診断技術を有している。
ロバストかつ高精度な生体追従のための新しいテンプレート・マッチング法
In this section, we propose a novel robust template matching method to track and follow body targets, which include tumors and stones for the NIUTS. To confirm the effectiveness of the proposed method, we conducted (i) offline tracking experiments and (ii) realtime online tracking and following experiments of the human kidney motion of a healthy subject. This novel robust visual servoing method could be a great tool for us to track and follow body targets precisely.
ここで，提案する新しいロバスト・テンプレート・マッチング法を利用することにより，臓器の運動補償が可能となることに着目されたい．このことにより，臓器が内包する結石，胆石，ならびに腫瘍への高精度なHIFU照射を支援することが可能になる．本手法はロバストかつ高精度な生体追従を実現し， 2.3節で明らかにした，要求機能(FR-1.2) - (FR-1.4)および(FR-2.1) を強力に支援するツールになりうる．
Here, it should be noted that the robust and precise motion canceling of the kidney organ, which incorporates kidney tumors / kidney stones to be treated, becomes possible by using the proposed novel robust template matching method. This novel method could be a great tool for us to track and follow the body targets and strongly supports the above-mentioned (FR-1.2) - (FR-1.4), and (FR-2.1) for the NIUTS.
実験を行なうにあたり，工学部倫理委員会の許可を得ている．
（コラム）畑村洋太郎福島原発事故調査委員長が，
『見たくないものは見えない，見たいものが見える．』
と指摘していたが，追従のロバスト性向上のためには，
ロボットビジョン技術にこのような機能を組込むことも有効であろう．
医用画像における輪郭抽出技術
[] 大城 政邦, 動的輪郭モデルを用いた超音波画像の輪郭抽出法, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 107(460), 59-62, 2008.
http://ci.nii.ac.jp/naid/110006623837
[] https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=38830&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8
ビジュアル・サーボ技術
[] Cowan, N.J., et al., Visual servoing via navigation functions, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044365&queryText=Visual%20servoing%20via%20Navigation%20Functions&newsearch=true
[] Chaumette, F, Image moments: a general and useful set of features for visual servoing, 2004.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1321161&queryText=Image%20Moments:%20A%20General&newsearch=true
[] Mezouar, Y., et al., Path planning for robust image-based control, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1044366&newsearch=true&queryText=Path%20planning%20for%20Robust%20Image-Based%20Control
医用画像におけるモーション・トラッキング
[] Fai Yeung, et al., Feature-adaptive motion tracking of ultrasound image sequences using a deformable mesh, IEEE TMI, 1998.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=746627
Yeung et al., applied an adaptive deformable mesh model for US guided non-rigid tissue motion tracking.
, Year: 2006, Volume: 53, Issue: 10, Pages: 1990 - 2000, DOI: 10.1109/TBME.2006.881780.
http://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=Motion%20Estimation%20in%20Ultrasound%20Images%20Salcudean
Reza et al., propose a new speckle tracking method, which is called time-domain cross-correlation with prior estimates (TDPE), that is based on the standard time-domain cross correlation strain estimation (TDE).
ロボットを併用した医用画像誘導
[] Abolmaesumi, P., et al., Image-guided control of a robot for medical ultrasound, 2002.
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=988970&queryText=Image%20guided%20control%20of%20a%20robot%20for%20medical%20ultrasound&newsearch=true
[] R Nakadate, et al., 3D Tracking of Respiratory Liver Movement by a Robot Assisted Medical Ultrasound, Computer Aided Surgery, 2016
Abstract It is often required to hold an ultrasound probe for long time so that the moving
target is maintained within the B-mode image, especially for minimally invasive
interventions. Using a conventional 2D probe, the tracking out-of-plane motion is a ...
http://link.springer.com/chapter/10.1007/978-4-431-55810-1_2
[] Chen TK1, Abolmaesumi P, Pichora DR, Ellis RE., A system for ultrasound-guided computer-assisted orthopaedic surgery. Comput Aided Surg. 2005.
http://www.ncbi.nlm.nih.gov/pubmed/16410230
整形外科領域の超音波画像誘導システム
レジストレーション
[1] Mitsuhiro Hayashibe, et al., Laser-scan endoscope system for intraoperative geometry acquisition and surgical robot safety management, 2006.
[2] http://www.ynl.t.u-tokyo.ac.jp/publications/pdf2001/icra01/hayasibe.pdf
形状特徴
形状の複雑さ：
e=\frac{(周囲長)^2}{面積}
eは図形が円に近づくと最小値（4π）に近づき，図形形状が複雑になるほど大きい値をとる。
（参考文献）
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.
テクスチャ解析は統計的手法と構造的手法に大別される[1]。
＜統計的手法＞
(1) ヒストグラム特徴（1次統計量）
(2) 濃度共起行列特徴（2次統計量）
画像中の２つの画素の組における濃度の配置具合を調べることでテクスチャ特徴を解析・評価しようとするもの。２つの画素の組を用いることから2次特徴量とよばれ，代表的なものに濃度共起行列をもとにしたテクスチャ特徴の解析・評価法がある。
エネルギー：
コントラスト（慣性）：
エントロピー：
相関：
(3) フーリエ特徴
テクスチャの構成要素の大きさや方向性を解析できる。
（参考文献）
[1] 田村秀行, コンピュータ画像処理, オーム社, 2002.
[2] popImaging
http://www.dbkids.co.jp/popimaging/
[3] ImageJ
http://rsb.info.nih.gov/ij/
[4] http://www.design.kyushu-u.ac.jp/lib/doctor/1999/k032/k032-05.pdf
セグメンテーションの評価指標
セグメンテーションの評価指標には以下のものがある。２つの領域（点の集合）の一致率の指標である。 （1）IoU（Intersection（積集合） over Union（和集合）） （2）ダイス係数 （3）Jaccard係数
U-Netを用いたセグメンテーション
2015年にU-Netとよばれる画期的な深層学習によるセグメンテーション・ネットワークがRonneburgerらによって提案された。地政学的にがんのできやすい場所は限られている。具体的に皮（家でいうと壁紙）のすぐ下にできるがんは『癌』とよばれる。他方、筋肉（家でいうと柱）の中にできるがんを『肉腫』と呼んで医療専門家は区別している。
U-Netはグローバルな医用画像（地図）のなかでがん（患部）の局在（位置）をみつける能力（skip connectionで実現）と局所的（ローカル）な模様を識別する能力（convolutional neural net、すなわち折り畳みによるがんの密度の増加で実現）の両方の能力を兼ね備えてたネットワークで、当時の医用画像処理のコンペを総なめにしている。
（参考文献）
Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In 427
International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.
Res-Netを用いたセグメンテーション
U-Netと同じく2015年にRes-Netによる多層（150層以上の深層学習を実現している）のセグメンテーション・ネットワークがHeらによって提案された。一般に多層になると勾配（こうばい）損失の影響が大きくなり、学習の効果が飽和・減少してしまうという問題があった。川でたとえると、上流には滝のように勾配の大きな急流があるが、下流にゆくにつれて、勾配の少ないゆったりとした流れになるのと同様だ。
この問題に対する一撃必殺の返し技は、ひとつ前の層からショートカットしてきた出力と、残差ブロックをくぐりぬけてきた出力との差をあらたに「残差（Residue）」と定義して学習の対象とするというものである。そうすることで各層ごとにポンプで水をくみあげなおしてポテンシャルエネルギーを高めなおすがごとく、勾配損失を起こしにい学習ネットワークの構造が可能になる。これにより、実に１５０層以上という、従来よりはるかに深層での学習が意味のあるものとなった。
のっぺら坊やゲゲゲの鬼太郎のぬりかべしかり、勾配のすくない一様な画像はとかく特徴をつかみづらいのが難点である（特徴のある顔の群に入れれば、むしろ特徴がないのが特徴になる可能性はあるかもしれない、、、）。複素関数論の特異点における留数（りゅうすう、Residue）の計算よろしく、変化のおおきな、川でいえば、上流にある滝のようなところ、すなわち勾配の大きなところに特徴量は局在（きょくざい）する。医用画像中の病変の局在も同様である。
（参考文献）
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference 429
on computer vision and pattern recognition (pp. 770-778).
管状構造物のセグメンテーション
頸動脈のセグメンテーション（参考文献）N Radovanović, L Dašić, A Blagojević, T Šušteršic, et al., Carotid Artery Segmentation Using Convolutional Neural Network in Ultrasound Images.
管状構造物のセグメンテーション
頸動脈のセグメンテーション
（参考文献）
N Radovanović, L Dašić, A Blagojević, T Šušteršic, et al., Carotid Artery Segmentation Using Convolutional Neural Network in Ultrasound Images.
セグメンテーションの評価指標
（１）Accuracy何はともあれ正しく判定できたかの指標（index）。正しく陽性あるいは陰性判定（Truely Positive、Truely Negative）できた件数が分子、正しく陽性あるいは陰性判定できた件数に加えて間違って陽性あるいは陰性判定（Falsely Positive、Falsely Negative）をしてしまった件数を加えた、全試行件数が分母に来る。混同行列(Confusion Matrix) の対角成分の値が大きいほど正確と言える。
（２）IoU（Intersection Over Union）Positiveに関して、正しく判定できたかの指標。積集合のことを英語でIntersection、和集合のことをUnionという。すなわち、積集合を分子に和集合を分母にして、分数（fraction）表示した指標である。overは分子と分母の間の横棒（bar）を入れて分数表示したときに、分子が分母のうえ（over）に存在していることを表現している。
正しく陽性判定（Truely Positive）できた件数を分子、正しく陽性判定できた件数に加えて、間違って陽性あるいは陰性の判定（Falsely Positive、Falsely Negative）してしまった件数を含めたものが分母となる。
（３）ダイス係数（DSC）Positiveに関して、正しく判定できたかの指標。IoUと比較して、間違って陽性あるいは陰性の判定（Falsely Positive、Falsely Negative）してしまったことよりも正しく陽性判断（Truely Positive）できたことを２倍重視するという、言わば『加点主義』の指標となっている。
（４）Hausdorff Distance２つの輪郭の重なり具合の評価。たとえば、ひとつは深層学習によるセグメンテーション推定結果の輪郭データ（S)。ひとつは実際の輪郭データ（G)。S上の点からG上の点への最短距離をSの代表長さ（周囲長、最大径など）によって規格化したものと、G上の点からS上の点への最短距離をGの代表長さによって規格化したものの平均をとることで指標化している。
テンプレートマッチング法
テンプレートマッチング法はいまや古典的な画像追跡手法となりつつあるが、人間の目によるターゲットの画像追跡モデルとしてはいまだ有効と考えられている。松山らはテンプレートマッチングを用いた合成画像の評価指標としてテンプレートマッチング法を用いている。
（参考文献）
Momoko Matsuyama, Norihiro Koizumi, Akihide Otsuka, Kento Kobayashi, Shiho Yagasaki, Yusuke Watanabe, Jiayi Zhou, Yu Nishiyama, Naoki Matsumoto, Hiroyuki Tsukihara, Kazushi Numata, "A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy," International Journal of Computer Assisted Radiology and Surgery (IJCARS), https://doi.org/10.1007/s11548-021-02525-8, 2021. IF=2.9
Grad-CAM 法
CNNでは畳み込みおよびプーリングによって得られた特徴マップの各ピクセルデータを、ニューラルネットワークの入力値として利用している。特徴マップの各ピクセルデータに対する識別評価関数の勾配（寄与率）を利用して、識別評価関数に大きく寄与する入力画像の局在（場所と広がり）を同定して、直観的に見通しよくこれを視覚化することができる。CNNは大きく、特徴量抽出部分と識別部分から構成される。
特徴量抽出パート：画像を読み込み、畳み込みおよびプーリングによって特徴マップを作成する
識別パート：特徴マップの各ピクセルデータを入力とする全結合層を繰り返すことで最終的な出力を得る
（参考文献）
畳み込みの意味
信頼度マップ（Confidence map）
超音波画像は浅部から音波が降り注いで、深部にゆくほど、さまざまな散乱体によって減衰してゆく。この事実を手掛かりに浅部を信頼度１、深部を信頼度０とする境界条件を設定して、ランダムウォークによって、散乱対による減衰の度合いを表現し、超音波画像の局所的な信頼度を推定することができる。これにより、音響シャドウなども検出することができる。
RANSAC（RANdom SAmple Consensus）
構造物の抽出などに用いられる。外れ値を含むデータから、外れ値の影響を除外して数学モデルのパラメータを学習する手法。
（参考文献）
医用画像処理とトーラス構造
プローブの回転
円板の一部としての扇形
深度センサ付きカメラ（デプスカメラ）
深度計測センサ付きカメラとは、対象物までの距離情報をカメラ映像にて可視化してくれるものである。石川らは、３次元の臓器モデルを構築するために、深度計測センサ付きカメラを用いて超音波プローブの運動を同定している。
Tomohiro Ishikawa, Norihiro Koizumi, Yu Nishiyama, Jiayi Zhou, Yusuke Watanabe, Takumi Fujibayashi, Momoko Matsuyama, Miyu Yamada, Ryosuke Tsumura, Kiyoshi Yoshinaka, Hiroyuki Tsukihara, Kazushi Numata, "Construction of a 3D organ model using a robot, visual SLAM, and deep learning," 36th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2022), International Journal of Computer Assisted Radiology and Surgery (IJCARS), Vol.17, Suppl.1, pp.S40-S41, 2022. https://doi.org/10.1007/s11548-022-02635-x
クローズド・ループ・コネクション（closed-loop connection）
SLAM（simultaneous locating and mapping：自己位置推定と地図の同時作成技術）というロボット技術がある。そのなかで用いられているclosed-loop connection処理とは、ロボットが環境のなかを移動中に、いつか見た風景を検出すると、その瞬間、頭のなかに描いている自身の環境地図上で閉ループを作り、自己の位置情報を逐次的に修正してゆくという処理のことである。
closed-loopは日本語では閉曲線と訳されるが、その途中経路に直線的でジグザグ状のカクカクした線分を部分的に含んでいたとしても一向にかまわない。閉曲線の定義の仕方にはさまざまあるが、抽象的に閉区間[a,b]の写像（関数）φ(t)において区間の両端でφ(a)=φ(b)となっているような曲線を閉曲線と定義する方法もある。
ガボールフィルタ（Gabor filter）
ガボールフィルタはsin/cos関数をガウス関数で局在化したカーネルを用いる。生体の視覚皮質（第一次視覚野）には、方位選択性を持つ神経細胞があることが 知られている。また、猫の視覚皮質の単純型細胞の受容野特性は、Gaborフィルタでうまく近似される。
g(t) = K・w(t)・exp( iφ )・s(t)
但し w(t) = exp( -t2 / 2σ2 ), s(t) = exp( iω0t )
Gaborフィルタの出力は、ほとんどの出力が0であり、少数個の出力だけが値を持つような表現となる。すなわち、スパース・コーディング（sparse coding）になっている。また、一般の自然画像から切り出して局所領域のスパースさを最大化するような制約条件を用いて自己組織的にフィルタを構成したところ、Gaborフィルタによく類似したフィルタが得られた例が報告されている。
（参考文献）
Daugman, ``Entropy reduction and decorrelation in visual coding by oriented neural receptive fields,'' Trans. on Biomedical Engineering, Vol.36, No.1, pp. 107-114 (1989).
B.Olshausen and D.Field, ``Emergence of simple-cell receptive field properties by learning a sparse code for natural images,'' Nature, Vol.381, pp.607-609 (1996).
漸化的画像処理アルゴリズム（Gradual image processing algorithm）
動画は時系列の画像群として捉えることができる。このため、時間軸上で隣接した２つ（あるいはN枚）の画像間にはなんらかの漸化的な構造が埋め込まれている可能性がある。
このため画像処理アルゴリズムによって抽出された物体の運動に飛躍がある場合には、なんらかのノイズが紛れ込んだことを疑う余地がある。なぜなら、臓器などの（フィジカルな）物体の運動は連続的でなめらかであることが期待されるからだ。
具体的にたとえば、腎臓の運動速度の最大値は20mm/s程度であることが報告されている。この最大速度をリプシッツ連続の条件であらわすことで、時間軸上で隣接する画像間の連続性（コミュニケーション・リンク）を評価することも可能であろう。
生検
針を刺して組織を採取する検査
術中ナビゲーション
術前に診断された前立腺癌の局在（きょくざい）を、超音波画像上で術者に教えながら手術を行なうことを術中ナビゲーションという。術者が観察するコンソール内の視野には内視鏡が映し出す骨盤内の術野以外にも、術前に撮影した患者さんの医用画像（MRIやCTなど）や、術中にリアルタイムに撮影する超音波画像を同時に表示する機能がある。
（参考文献）小路 直，前立腺がんの基本と低侵襲がん標的治療，ライフ・サイエンス．
（医用）画像をベクトル（あるいは行列）として捉える
医用にかぎらず画像の左上のピクセルの輝度値から、右下のピクセルの輝度値まで、順に並べれば、ひとつのベクトル（あるいは行列）が生成される。すなわち、（医用）画像をひとつのベクトルとして捉えることができる（われわれはこれを医デジ化画像ベクトル（あるいは行列）と呼ぼう）。これを踏まえて２つの（医用）画像の類似度を知るためには、それぞれの医デジ化画像ベクトルの内積演算をすればよいことになる（画像相関演算とよばれる）。
なにかしら物体のテンプレートをもっていて、入力画像のなかからその物体を抽出・追従・モニタリングするにあたっては、人間の視覚野がなにかしら上記の内積演算的なものを行なっていると捉えることができる。いったんベクトル化してしまえば、さまざまなフィルタをかけたり、線形代数演算による加工が可能になる。
（医用）画像をベクトル（あるいは行列）として捉える
医用にかぎらず画像の左上のピクセルの輝度値から、右下のピクセルの輝度値まで、順に並べれば、ひとつのベクトル（あるいは行列）が生成される。すなわち、（医用）画像をひとつのベクトルとして捉えることができる（われわれはこれを医デジ化画像ベクトル（あるいは行列）と呼ぼう）。これを踏まえて２つの（医用）画像の類似度を知るためには、それぞれの医デジ化画像ベクトルの内積演算をすればよいことになる（画像相関演算とよばれる）。
なにかしら物体のテンプレートをもっていて、入力画像のなかからその物体を抽出・追従・モニタリングするにあたっては、人間の視覚野がなにかしら上記の内積演算的なものを行なっていると捉えることができる。いったんベクトル化してしまえば、さまざまなフィルタをかけたり、線形代数演算による加工が可能になる。
臓器組織テクスチャの平均・均一・均質性の指標としてのエントロピー、クロスエントロピー
臓器組織テクスチャの平均・均一・均質性の指標としてエントロピーが挙げられる。エントロピーは平均・均一・均質性（あるいは平等・平凡性、凡庸（ぼんよう）・蓋然（がいぜん）性、もっともらしさ、ランダム・乱雑性）の指標として熱力学や統計学、情報理論において頻回（ひんかい）に用いられている。とりわけ情報理論におけるエントロピーの本質は単にlogをとって線形的に足し算するだけという簡便さである。
エントロピー＝log A_1 + log B_1 = log A_1 B_1エントロピー＝log A_2 + log B_2 = log A_2 B_2
log関数は単調増加関数であるので、A_i＋B_i＝constant（i=1,2，・・・）と規格化して考えれば、A_i=B_i、すなわち、それぞれの値が平均・均一・均質化されたときにエントロピーは極大（最大）化する（A_i，B_iを２辺とする長方形は正方形のときにその面積が極大化される）。
上記において、log関数の『かけ算と足し算の橋渡し機能』をうまく活用していることに着目されたい。具体的に和が一定という条件のもとでかけ算の値（一般のn次元空間における超体積）を極大化する条件が平均・均一・均質化であることを活用している。
医用画像処理においても臓器の組織が平均・均一・均質なテクスチャであるか、あるいはそうでないか（凸凹、ざらざらしている、あるいはまだら状であるかなど）などについて画像上の輝度の平均・均一・均質性の観点から評価することができる（テクスチャにおける模様・パターンの大きさに基準となるスケールが複数存在する場合には、マルチスケール・エントロピーを用いることができる）。
機械学習において分類問題を扱う際には評価関数としてクロス（交差）エントロピーが頻回（ひんかい）に用いられている。クロスエントロピーとは、何らかの機械学習出力が得られた時にその正解ラベルが得られる確率にベルヌーイ分布（歪（ゆが）んだコインによるコイントス）を仮定したときの対数尤度（たいすうゆうど：エントロピー、もっともらしさ、凡庸さ）をあらわし、このコイントスが真値と推定結果とが精度よく一致してラベルを当てられるように，コインの歪（ゆが）み方をも含めて深層学習によってすべからく学習・調整してゆこうとするものである。
真値と推定結果（のエントロピー表現）をベクトルと捉えてクロスエントロピーの式をあらためて観（み）てみれば、真値と推定結果（のエントロピー表現）との一致度を評価する内積（並進一致で極大化するベクトルのかけ算）の形で構成されており、これは『機械学習の推定結果によって得られる情報量』を表している（すなわち、『機械学習の推定結果によって得られる情報量の極大化を図ろう』というわけである）。２クラス分類を対象とするときは特にバイナリクロスエントロピーと呼ばれる。
具体的に上記の式は、『ラベルが正解ラベルのときには深層学習の出力確率値を採用して、ラベルが正解ラベルでないときには深層学習の出力確率値の余事象を考える』ということを表現している。こうすることで、深層学習は入力データに対して正解ラベルの推定確率値を精度よく出力できるように学習する（ニューラルネットワークにおける神経細胞間のコミュニケーション・リンクの重み（地形図における勾配にあたる）を適切・適正に調節・調整する）作業を首尾（しゅび）よく遂行（すいこう）することができる。
ここで、エントロピーの概念はきわめて主観的な評価指標であり、母集団によっても大きく依存してしまうことに留意（りゅうい）されたい。具体的にたとえば今まで無視していた特徴量を認識・着目してしまったがために、画像のもつ（主観的な！）情報量（エントロピー）が劇的に変化してしまう（ギブスの背理（はいり））こともありえるのだ（考えようによっては恐ろしいことでもある！）。AI・ロボティックの援用により、高精度の眼鏡をかければ、われわれの世界観もまた、大きく変貌（へんぼう）を遂げてしまうのだ（あまりにも神経質になりすぎることには注意が必要なゆえんでもある）！
最後に自然数の中に素数がどのくらいの『割合』で含まれているかを述べている素数定理（Prime number theorem）を紹介して本節（ほんせつ）を締めくくろう。驚くべきことだが素数の発生確率にもエントロピー（log）が絡んでくるのだという。具体的に自然数xとそのエントロピー表現たるlog xとの比によってその発生確率をコントロールしながら自然数の泉から素数が湧出（ゆうしゅつ）してくるのだという。何とも美しくロマンあふれる知の泉の話ではないか！素数定理は18世紀末にカール・フリードリヒ・ガウスやアドリアン＝マリ・ルジャンドルによって予想された（ガウス自身の言によればそれは1792年のガウス15歳のときであったという）。
（参考文献）
臓器組織テクスチャの平均・均一・均質性の指標としてのエントロピー、クロスエントロピー
臓器組織テクスチャの平均・均一・均質性の指標としてエントロピーが挙げられる。エントロピーは平均・均一・均質性（あるいは平等・平凡性、凡庸（ぼんよう）・蓋然（がいぜん）性、もっともらしさ、ランダム・乱雑性）の指標として熱力学や統計学、情報理論において頻回（ひんかい）に用いられている。とりわけ情報理論におけるエントロピーの本質は単にlogをとって線形的に足し算するだけという簡便さである。
エントロピー＝log A_1 + log B_1 = log A_1 B_1
エントロピー＝log A_2 + log B_2 = log A_2 B_2
log関数は単調増加関数であるので、A_i＋B_i＝constant（i=1,2，・・・）と規格化して考えれば、A_i=B_i、すなわち、それぞれの値が平均・均一・均質化されたときにエントロピーは極大（最大）化する（A_i，B_iを２辺とする長方形は正方形のときにその面積が極大化される）。
上記において、log関数の『かけ算と足し算の橋渡し機能』をうまく活用していることに着目されたい。具体的に和が一定という条件のもとでかけ算の値（一般のn次元空間における超体積）を極大化する条件が平均・均一・均質化であることを活用している。
医用画像処理においても臓器の組織が平均・均一・均質なテクスチャであるか、あるいはそうでないか（凸凹、ざらざらしている、あるいはまだら状であるかなど）などについて画像上の輝度の平均・均一・均質性の観点から評価することができる（テクスチャにおける模様・パターンの大きさに基準となるスケールが複数存在する場合には、マルチスケール・エントロピーを用いることができる）。
機械学習において分類問題を扱う際には評価関数としてクロス（交差）エントロピーが頻回（ひんかい）に用いられている。クロスエントロピーとは、何らかの機械学習出力が得られた時にその正解ラベルが得られる確率にベルヌーイ分布（歪（ゆが）んだコインによるコイントス）を仮定したときの対数尤度（たいすうゆうど：エントロピー、もっともらしさ、凡庸さ）をあらわし、このコイントスが真値と推定結果とが精度よく一致してラベルを当てられるように，コインの歪（ゆが）み方をも含めて深層学習によってすべからく学習・調整してゆこうとするものである。
真値と推定結果（のエントロピー表現）をベクトルと捉えてクロスエントロピーの式をあらためて観（み）てみれば、真値と推定結果（のエントロピー表現）との一致度を評価する内積（並進一致で極大化するベクトルのかけ算）の形で構成されており、これは『機械学習の推定結果によって得られる情報量』を表している（すなわち、『機械学習の推定結果によって得られる情報量の極大化を図ろう』というわけである）。２クラス分類を対象とするときは特にバイナリクロスエントロピーと呼ばれる。
具体的に上記の式は、『ラベルが正解ラベルのときには深層学習の出力確率値を採用して、ラベルが正解ラベルでないときには深層学習の出力確率値の余事象を考える』ということを表現している。こうすることで、深層学習は入力データに対して正解ラベルの推定確率値を精度よく出力できるように学習する（ニューラルネットワークにおける神経細胞間のコミュニケーション・リンクの重み（地形図における勾配にあたる）を適切・適正に調節・調整する）作業を首尾（しゅび）よく遂行（すいこう）することができる。
ここで、エントロピーの概念はきわめて主観的な評価指標であり、母集団によっても大きく依存してしまうことに留意（りゅうい）されたい。具体的にたとえば今まで無視していた特徴量を認識・着目してしまったがために、画像のもつ（主観的な！）情報量（エントロピー）が劇的に変化してしまう（ギブスの背理（はいり））こともありえるのだ（考えようによっては恐ろしいことでもある！）。AI・ロボティックの援用により、高精度の眼鏡をかければ、われわれの世界観もまた、大きく変貌（へんぼう）を遂げてしまうのだ（あまりにも神経質になりすぎることには注意が必要なゆえんでもある）！
最後に自然数の中に素数がどのくらいの『割合』で含まれているかを述べている素数定理（Prime number theorem）を紹介して本節（ほんせつ）を締めくくろう。驚くべきことだが素数の発生確率にもエントロピー（log）が絡んでくるのだという。具体的に自然数xとそのエントロピー表現たるlog xとの比によってその発生確率をコントロールしながら自然数の泉から素数が湧出（ゆうしゅつ）してくるのだという。何とも美しくロマンあふれる知の泉の話ではないか！素数定理は18世紀末にカール・フリードリヒ・ガウスやアドリアン＝マリ・ルジャンドルによって予想された（ガウス自身の言によればそれは1792年のガウス15歳のときであったという）。
（参考文献）
関連研究
超音波画像から診断・治療に有効な特徴量を抽出し，これを定量化しようとする試みがさまざま行なわれている。
その他
合同変換＝（直交変換）＋（平行移動）、矩形を合同な矩形に移す。
アフィン変換＝（線形変換）＋（平行移動）、矩形を一般的な平行四辺形に変形する。
射影変換＝（線形変換）、矩形を一般的な任意の凸四角形に変形する。２次元図形の射影変換の原理を説明するには、ビルの壁面のような平面領域に描かれた図形を斜めから中心投影原理のカメラで撮影したような透視投影図を考えるのが分かりやすい。
（参考文献）
玉野研一，なっとくする無限の話，講談社．
有限要素法
強形式と弱形式
偏微分方程式の求解において連続性を犠牲にしてGreenの公式をもちいて次数をさげる。
