顕微鏡イメージングにおけるディープラーニング

近年、画像解析において人工知能(AI)を利用するケースが増えてきています。ディープラーニングは機械学習の一種であり、学習の際に人工ニューラルネットワーク(ANN)を使用します。ANNは、人間の脳に似ていることから名づけられました。ANNは、複数の入力値に対して出力値を算出するモデルの一種で、ある特定の入力から期待される結果を予想できるようになります。

顕微鏡イメージングにおけるディープラーニングに関連する製品

画像統合ソフトウェアNIS-ElementsソフトウェアモジュールNIS.aiは、ディープラーニングを利用して、さまざまな画像解析を行うことができます。また、NIS.aiモジュールは、JOBS実験ウィザードやGeneral Analysis 3(GA3)モジュールと組み合わせて使用することにより、解析フローの一部に組み込むことができ、解析の自動化を実現します。

●:使用可能 , ⚬:オプション

Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
機能 共焦点イメージングに最適なレーザー強度やゲインを自動的に決定します 蛍光画像から、焦点の合っていない蛍光シグナルを自動的に除去します 透過光画像の中で識別されたパターンをもとにして、別の観察法の画像を予測します 画像からノイズを自動的に除去します 弱い蛍光シグナルの画像から、高いS/N比を持つ画像を予測します ユーザー入力によるマスク画像から識別されたパターンをもとにして、複雑な画像の特徴をセグメンテーションします
事前学習の要否 不要 不要 必要 不要 必要 必要
使用可能なシステム 共焦点レーザー顕微鏡システムAX / AX Rのみ すべて すべて 共焦点レーザー顕微鏡システムAX R CMOSカメラ すべて すべて
ソフトウェアパッケージ Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
NIS-Elements C Optional Optional Optional Optional Optional Optional
NIS-Elements AR no Optional Optional Optional Optional Optional
NIS-Elements AR ML no Optional Optional Optional Optional Optional
NIS-Elements AR Passive no Optional Optional Optional Optional Optional
NIS.aiモジュール yes Optional Optional yes Optional Optional
デコンボリューションモジュールに付属 no Yes no no no no

顕微鏡イメージングにおけるディープラーニングについて

培養スフェロイドのDIC画像、ground truth画像、Convert.ai再構築画像。Convert.aiでは、すべての詳細が正確ではないにしても、蛍光標識の配置と形状を適切に再構築できています。

ディープラーニングの利点と限界

ディープラーニング(深層学習)にもとづくアルゴリズムは画像解析においても非常に強力なツールですが、決して万能という訳ではありません。ディープラーニングのアルゴリズムは、データの特徴の相関関係を推測することに優れています。したがって、イメージングにおける人工知能(AI)の最大の利点は、画像解析における速度の向上となります。

Denoise.ai、Clarify.ai、Autosignal.aiなどの一部のAIモジュールは、すでにニコンによって事前学習が施されていますが、その他のモジュールは、実験に対する特定の取得条件を使用して、学習させる必要があります。このプロセスには時間がかかりますが、一度完了してしまえば新しいデータを高速で解析できるようになります。ただし、結果はground truthではないため、各モジュールに対する適切なアプリケーションを試すことが重要です。

では、どのような解析に効果があるのでしょうか。たとえば、Convert.aiでは、透過像からDAPI染色された核を予測するように学習させることができます。この生成されたDAPI像は、DAPIシグナルの正しい位置にほぼ従っているため、この画像を使用して細胞数をカウントすることができます。一方で、生成されたDAPI像は輝度情報などの定量化を必要とするアプリケーションには適していません。ディープラーニングは、DAPIの位置や全体的な染色パターンの正確な予測には信頼できますが、細部の構造やまれな事象を定量化する方法としては使用できません。後者はそもそも、学習用のトレーニングデータに正しく表現されていないため、見逃される可能性があります。

蛍光標識したマウスの腸切片。レゾナントスキャナーを搭載した共焦点顕微鏡AX Rと20倍の水浸対物レンズ(NA 0.95)を使用して画像取得

ディープラーニングによる、イメージングや解析の合理化

ディープラーニングの利点は、多様で複雑な作業を迅速に行える点にあります。ディープラーニングの導入により、イメージングや画像解析に必要な複数のプロセスを、比較的短時間で行えるようになります。時間が限られている場合などは、画像の取得中に行うことも可能です。

たとえばAutosignal.aiは、共焦点レーザー顕微鏡システムAX / AX Rと組み合わせることにより、最適なレーザー強度やゲインをわずか数秒間で自動的に決定します。光退色などの要因がある場合は、わずか数秒であっても、大きな差となる可能性があります。

Denoise.aiも同様に、高速でリアルタイムにノイズ除去が行えます。これは、Autosignal.aiと組み合わせて使用することで相乗効果が得られ、ボタンを押すだけで、イメージング条件を数秒で最適化できます。他のAIモジュールも同様にイメージングプロセスとの組み合わせが可能です。たとえばSegment.aiを使用することにより、ビデオで示す通り、画像の特徴を高速でセグメンテーションできます。

NIS.aiモジュールは、NIS-Elementsソフトウェアの既存のイメージング/解析ワークフローに組み込むことができます。これは、ハイコンテント実験の効率を最適化する場合に有用です。General Analysis 3(GA3)モジュールは測定実験をカスタマイズできるため、ディープラーニングをベースとするNIS.aiと従来の解析法を同一のワークフローの中で適用することができます。つまり、JOBS実験ウィザードを使用して、NIS.aiモジュールを画像取得の設定に組み込むこともできます。JOBSにおいてNIS.aiを使用して得られた結果にもとづいて、実験の方向性を指定することができます。たとえば、解析結果にもとづいて別の画像取得を行うなど、より複雑なイメージングフローを簡単に構築できます。

元画像と、ノイズ除去済みの画像。レゾナントスキャナーA1 Rでタイムラプス撮影。

ショウジョウバエの幼虫。メリーランド州ベセスダNIH/NIMHのAmicia Elliot博士より提供。Quantitative Fluorescence Microscopy Course 2019で撮影。

撮影詳細:
レゾナントスキャナー使用、1024×512画素、スキャン速度:30fps、スキャンズーム: 0.72倍、アベレージングなし
対物レンズ:プランアポクロマート4X

ライブセルイメージングのためのディープラーニング

AIソフトウェアモジュールNIS.aiの多くが持つ大きな利点は、光毒性を抑えることです。Denoise.aiやClarify.ai、Enhance.aiを使用することにより、光量を上げることなく、鮮明な画像が得られます。Convert.aiは、DICなどの透過光画像から蛍光画像を予測できるため、場合によっては蛍光イメージングが不要となります。Enhance.aiでは、低シグナルの画像から高S/Nの画像を予測できるため、励起のための光子線量を最低レベルまで低減することが可能です。

蛍光観察は、透過観察よりもはるかに多い光量が必要となります。ライブセルイメージングでは光退色と光毒性が最大の課題となるため、一段と光量を抑えた蛍光イメージングが重要になります。

NIS.aiの学習は簡単です。ソフトウェアが、学習の進行状況をリアルタイムに表示します(図はEnhance.ai)。

Enhance.aiモジュールを使用して、低シグナルのDAPI画像(左)を解析し、高S/N画像(右)を予測します

顕微鏡イメージングにおけるAIの方向性

顕微鏡イメージングにAIを適用する方法は、まだ比較的初期の段階にあり、新しい研究やアプリケーションが次々と発表され、この分野を前進させています。イメージングにおいて、AIの可能性をより高めるためには、AIの知見のない方にも安心かつ簡単に使用できるようにすることが重要です。そのためには適切な使用方法を示し、品質の指標に関する明確なガイドラインを打ち立てる必要があります。また、定量性を示すためのバリデーションを示すことも重要になります。

Clarify.aiやDenoise.aiなどのニコンの学習済みAIは、ユーザーごとの解析パラメータのばらつきがないことが利点です。Clarify.aiやDenoise.aiを使用する場合は、どのユーザーにおいても、同一の学習済みネットワークを使用するため、ユーザーの主観による影響がありません。

学習の必要なConvert.ai、Enhance.ai、Segment.aiなどのNIS.aiの場合は、ネットワークに学習させるために利用する、直観操作が可能なユーザーインタフェースが各モジュールに搭載されています。学習回数やトレーニングロスなどのリアルタイムビューが可能なため、学習の進行状況をモニタリングできます。

用語解説

ソフトウェアパッケージ
ニコンが提供するNIS-Elementsソフトウェアのパッケージとモジュールの一覧です。NIS.aiモジュールは、記載されたソフトウェアパッケージやモジュールに含まれている場合と、オプションで使用できる場合があります。
事前学習の要否
画像解析のためのディープラーニングでは、多くの場合、入力画像(トレーニング後に解析を行う画像と同じ種類の)と、目的の条件を満たした同じ領域の正解画像をペアにしたデータを使用し、教師あり学習によってニューラルネットワークをトレーニングします。ニューラルネットワーク内のノードの重みを調整することにより、予測される出力画像と正解画像との間の誤差を最小限に抑えることができます。
使用可能なシステム
それぞれのソフトウェアを使用可能な顕微鏡/システムです。デジタル画像を取得できる構成であることが条件です。
機能
NIS.aiの機能の概要。