Seg2Link:三次元立体画像中の細胞の形態を人工知能と共同して解析するためのソフトウェアの開発
研究成果の概要
365体育投注大学院理学研究科の元研究員?温琛涛(ウェン?チェンタオ)博士（現?理化学研究所生命機能科学研究センター 基礎科学特別研究員）、木村幸太郎教授、同大学院医学研究科の澤本和延教授らの共同研究グループは、三次元立体画像中の細胞の領域を正確かつ大量に判別するために、人工知能技術による自動的画像処理と人手による手動修正処理を効率的に組み合わせるソフトウェア「Seg2Link」を開発しました。この研究の成果は、近年得られるようになった生体組織の高精度な三次元画像ビッグデータの分析に貢献し、さまざまな生体組織の構造と機能の理解に大きく貢献することが期待されます。この論文は、国際科学雑誌Scientific Reportsに2023年5月22日午前10時（英国時間）に発表されます。
背景
生命現象を理解するための重要な手掛かりの一つは、私たちの体を構成する「細胞」の微細な構造を理解することです。近年、生体の微細な構造を観察するための電子顕微鏡技術や光学顕微鏡技術の飛躍的な発展により、高解像度の三次元立体画像※1が大量に取得されるようになりました。しかし、一般的にこのような立体画像には複雑な形状の細胞が数多く撮影されているため、まず平面画像から１つ１つの細胞の領域を正確に確定し、さらに高さ方向に積み重ねる操作を行うことで、私たちはそれぞれの細胞の立体的な構造を正しく理解することができます。容易に想像できるように、これは簡単な作業ではありません。
先端的な電子顕微鏡で得られた画像においても、微細な構造であるほど細胞の中と外との境目は見極めにくく、「どこからどこまでが１つの細胞の領域なのか」などを確定することは困難です。１つの二次元の平面画像の中にたくさんの細胞が含まれていればそれだけでも大変ですが、このような平面画像を高さ方向に数百枚?数千枚処理しなければいけない場合は、細胞の領域を確定するというとても細かい作業を数ヶ月から年単位の時間を掛けて処理するという気の遠くなるような作業が必要になります。
現代では、もちろん人工知能技術に活躍してもらうことになります。しかし、人工知能技術にはほぼ必ずわずかな間違いがあります。この「わずかな間違い」が細胞領域の確定の場合には問題になります。なぜなら、１つの細胞の周囲の内のほんの一部分が認識されなかっただけで、その細胞は隣の細胞とつながってしまうことになります。
従って、細胞の領域を確定するためには、人工知能技術が大部分を処理した後に、その誤りを研究者が修正していく必要があります。さらに、大量の画像データを処理するためには、「研究者による修正」をできる限り効率的に行う必要があります。しかし、「先端的な人工知能技術」は学術論文になりやすいのですが、「研究者による修正の効率化」は学術論文になりづらいために、上記のような画像解析ソフトウェアで効率的な修正を行うことは困難でした。（信じられないかもしれませんが、最近発表されたにも関わらずアンドゥ（取り消し）機能が無いソフトウェアもあります。）
先端的な電子顕微鏡で得られた画像においても、微細な構造であるほど細胞の中と外との境目は見極めにくく、「どこからどこまでが１つの細胞の領域なのか」などを確定することは困難です。１つの二次元の平面画像の中にたくさんの細胞が含まれていればそれだけでも大変ですが、このような平面画像を高さ方向に数百枚?数千枚処理しなければいけない場合は、細胞の領域を確定するというとても細かい作業を数ヶ月から年単位の時間を掛けて処理するという気の遠くなるような作業が必要になります。
現代では、もちろん人工知能技術に活躍してもらうことになります。しかし、人工知能技術にはほぼ必ずわずかな間違いがあります。この「わずかな間違い」が細胞領域の確定の場合には問題になります。なぜなら、１つの細胞の周囲の内のほんの一部分が認識されなかっただけで、その細胞は隣の細胞とつながってしまうことになります。
従って、細胞の領域を確定するためには、人工知能技術が大部分を処理した後に、その誤りを研究者が修正していく必要があります。さらに、大量の画像データを処理するためには、「研究者による修正」をできる限り効率的に行う必要があります。しかし、「先端的な人工知能技術」は学術論文になりやすいのですが、「研究者による修正の効率化」は学術論文になりづらいために、上記のような画像解析ソフトウェアで効率的な修正を行うことは困難でした。（信じられないかもしれませんが、最近発表されたにも関わらずアンドゥ（取り消し）機能が無いソフトウェアもあります。）
研究の成果
研究チームは、三次元立体画像中の細胞の微細な構造を効果的に解析するための半自動ソフトウェア「Seg2Link」を開発しました（図１）。まず深層学習技術を利用して「細胞であるか否か」について平面画像中の１点（各画素）ごとに判定※2を行った後に、「細胞」と判定された画素をグループ化してSeg2Linkが１つ１つの細胞の領域を自動的に推定します。推定された細胞領域には誤りが必ずありますが、Seg2Linkを用いれば手動による修正を容易に行える上に、１つの画像に行った修正は細胞の重なり度合い※３を指標にして隣接した次の平面画像に自動的に反映されるので、2枚目以降の画像の修正は大幅に容易になります。最終段階として?Seg2Linkで三次元立体画像に変換した後に、平面の時には気付かなかった部分を立体像として修正します。このような仕組みにより、最終的な「細胞の領域の確定」に要する時間と結果の正確性が、飛躍的に向上しました。
図1：本研究で開発したソフトウェアSeg2Linkの処理の流れ
図２：Seg2Linkを用いたAIと研究者の共同作業による三次元画像解析のイメージ図
研究のポイント
人工知能技術による「細胞」の判定は不完全であるという前提に立ち、その不完全さを補うための人手による修正をいかに効率的に行うか、という視点に立ってソフトウェアを開発した。
ユーザーに必要な操作を減らし?また計算を最適化して効率的な修正を実現した。
非専門家でも使いやすく、また一般的なPCでも大規模な画像データを迅速に処理できるソフトウェアを実現した。
ユーザーに必要な操作を減らし?また計算を最適化して効率的な修正を実現した。
非専門家でも使いやすく、また一般的なPCでも大規模な画像データを迅速に処理できるソフトウェアを実現した。
研究の意義と今後の展開や社会的意義など
大規模な画像データを処理する人工知能ソフトウェアの論文は近年多数報告されています。しかし上述したように、論文は「先端的な人工知能技術」などを主張した方が採用されやすい傾向があるのですが、これら先端的な技術を使ったソフトウェアは、人手による修正を効率的に行うための重要な機能がいくつか欠けているといった実質的な問題が存在していることが多いです。さらに、これらソフトウェアは非専門家にとって操作が難しいという問題もあります。
これに対して今回のSeg2Linkは、先端的な人工知能技術を用いても自動的な画像処理は完璧にはならないことを認識し、自動画像処理の不完全さが特に問題になる「細胞の微細構造の確定」に関して、人手による修正をできる限り効率化することを目標としました。この目標のために、広く普及しているPythonを一般的なコンピュータで利用すること、さらには実験補助として働く非専門家の方々が使いやすいソフトウェアとして作成しました。現在のように生体画像がビッグデータ化している現在では、コンピュータ操作を専門としない人々ができるだけ多く参加可能となる今回のような取り組みは重要になるはずです。
Seg2Linkを用いて生体画像の処理が効率的に行うことが可能になれば、医学や生物学分野での研究が飛躍的に進むことが期待されます。例えば、腫瘍細胞の増殖や分布を解析することで、がんの進行や治療効果を評価することが可能になります。また、神経細胞のつながりを解析することで、神経回路の機能解明や脳疾患の病態解明に役立ちます。さらに、このソフトウェアは、ヒト以外の動植物細胞の研究や微生物の相互作用の解析にも応用可能であり、幅広い研究分野での活用が期待されます。
研究チームは、Seg2Linkの機能をさらに向上させ、さまざまな細胞タイプや状況に対応できるようにすることを目指しています。また、ソフトウェアの使いやすさや処理速度の向上を図り、研究者たちがより効率的に細胞解析を行える環境を整えることを目指しています。さらなる発展が望まれるこの分野で、Seg2Linkは今後も研究者たちの大きな支えとなることでしょう。
これに対して今回のSeg2Linkは、先端的な人工知能技術を用いても自動的な画像処理は完璧にはならないことを認識し、自動画像処理の不完全さが特に問題になる「細胞の微細構造の確定」に関して、人手による修正をできる限り効率化することを目標としました。この目標のために、広く普及しているPythonを一般的なコンピュータで利用すること、さらには実験補助として働く非専門家の方々が使いやすいソフトウェアとして作成しました。現在のように生体画像がビッグデータ化している現在では、コンピュータ操作を専門としない人々ができるだけ多く参加可能となる今回のような取り組みは重要になるはずです。
Seg2Linkを用いて生体画像の処理が効率的に行うことが可能になれば、医学や生物学分野での研究が飛躍的に進むことが期待されます。例えば、腫瘍細胞の増殖や分布を解析することで、がんの進行や治療効果を評価することが可能になります。また、神経細胞のつながりを解析することで、神経回路の機能解明や脳疾患の病態解明に役立ちます。さらに、このソフトウェアは、ヒト以外の動植物細胞の研究や微生物の相互作用の解析にも応用可能であり、幅広い研究分野での活用が期待されます。
研究チームは、Seg2Linkの機能をさらに向上させ、さまざまな細胞タイプや状況に対応できるようにすることを目指しています。また、ソフトウェアの使いやすさや処理速度の向上を図り、研究者たちがより効率的に細胞解析を行える環境を整えることを目指しています。さらなる発展が望まれるこの分野で、Seg2Linkは今後も研究者たちの大きな支えとなることでしょう。
用語解説
※１ 三次元立体画像：光学顕微鏡も電子顕微鏡も?得られる画像は二次元（平面）です。したがって、三次元の立体として像の情報を得るためには?二次元の平面として得た画像を?少し「高さ」方向に動かして次の平面画像を取得して?という操作を何回も繰り返す必要があります。本研究で用いた三次元立体画像は?1000-2000枚程度の平面画像を高さ方向に積み上げることで作られています。
※２ 人工知能による細胞領域の判定：人工知能技術の中には細胞１つ１つの領域を自動的に判定するものもありますが、私たちはこれまで大きな実績がある「各画素」ごとの判定技術（U-net; Ronneberger et al., MICCAI 2015）を使うことを前提としました。次の段階として、「細胞」と判定された画素をグループ化して「１つの細胞」の形を推定する必要があり、分水嶺（watershed）法が広く使われています。三次元立体画像の処理には三次元用分水嶺（3D watershed）法が使われることもありますが、検討の結果、私たちは二次元の平面用分水嶺（2D watershed）法を行った結果を手動で修正し、その修正結果を「高さ方向」の次の平面画像に適用する方が効率的かつ正確な細胞領域確定に至ることを明らかにしました。
※３ 細胞の重なり度合い：三次元画像解析で高さ方向に隣接する2つの平面画像の細胞領域が同じ細胞由来のものであるかどうかを判断するために、重なり係数という指標を使って二つの細胞が重なっている部分を計算します。あらかじめ設定されたしきい値を超える場合、二つの平面画像の細胞領域が同じ細胞由来であると判断し、三次元空間上で正確な細胞の形状を再現するために細胞をつなぎ合わせます。
※２ 人工知能による細胞領域の判定：人工知能技術の中には細胞１つ１つの領域を自動的に判定するものもありますが、私たちはこれまで大きな実績がある「各画素」ごとの判定技術（U-net; Ronneberger et al., MICCAI 2015）を使うことを前提としました。次の段階として、「細胞」と判定された画素をグループ化して「１つの細胞」の形を推定する必要があり、分水嶺（watershed）法が広く使われています。三次元立体画像の処理には三次元用分水嶺（3D watershed）法が使われることもありますが、検討の結果、私たちは二次元の平面用分水嶺（2D watershed）法を行った結果を手動で修正し、その修正結果を「高さ方向」の次の平面画像に適用する方が効率的かつ正確な細胞領域確定に至ることを明らかにしました。
※３ 細胞の重なり度合い：三次元画像解析で高さ方向に隣接する2つの平面画像の細胞領域が同じ細胞由来のものであるかどうかを判断するために、重なり係数という指標を使って二つの細胞が重なっている部分を計算します。あらかじめ設定されたしきい値を超える場合、二つの平面画像の細胞領域が同じ細胞由来であると判断し、三次元空間上で正確な細胞の形状を再現するために細胞をつなぎ合わせます。
研究助成
本研究は、科学研究費基盤研究(S)（澤本和延、木村幸太郎、20H05700）、ＡＭＥＤ 革新的先端研究開発支援事業（澤本和延、22gm1210007）、365体育投注特別研究奨励費（澤本和延、木村幸太郎、1921102）、理化学研究所基礎科学特別研究員研究費（温琛涛）の支援を受けて行われました。
論文タイトル
"Seg2Link: an efficient and versatile solution for semi?automatic cell segmentation in 3D image stacks"（Seg2Link：3D画像スタックにおける半自動細胞セグメンテーションのための効率的で多機能な解決策）
著者
Chentao Wen, Mami Matsumoto, Masato Sawada, Kazunobu Sawamoto, Koutarou D Kimura
所属
温琛涛 (365体育投注大学院理学研究科、元博士研究員、本論文の責任著者)
松本真実（365体育投注大学院医学研究科、特任助教）
澤田雅人（365体育投注大学院医学研究科、講師）
澤本和延（365体育投注大学院医学研究科、教授）
木村幸太郎（365体育投注大学院理学研究科、教授）
所属
温琛涛 (365体育投注大学院理学研究科、元博士研究員、本論文の責任著者)
松本真実（365体育投注大学院医学研究科、特任助教）
澤田雅人（365体育投注大学院医学研究科、講師）
澤本和延（365体育投注大学院医学研究科、教授）
木村幸太郎（365体育投注大学院理学研究科、教授）
掲載学術誌
学術誌名 Scientific Reports
DOI番号：https://doi.org/10.1038/s41598-023-34232-6
DOI番号：https://doi.org/10.1038/s41598-023-34232-6