機械学習の一種であるディープラーニングにより、これまで自動では不可能と思われてきたセグメント等の実施及び画像処理が可能となります。画像コントラストや、S/N比の改善を実現します。従来は難しい画像処理パラメーター設定や手間のかかる手動によるセグメント設定が、AIによって自動化できます。
NIS.aiは、NIS-Elementsソフトウェアを拡張するさまざまなモジュールや機能を提供し、ユーザーのニーズに合わせた画像取得、画像表示、画像解析のソリューションの構築を実現します。
AIによるセグメント
従来の二値化画像
AIにより、核染色をしていない細胞核を検出し、輝度測定が行えます。従来の二値化処理では細胞構造を区別できないため、いくつかの細胞を見落としていますが、AIで学習したセグメントは核膜を正しく認識し識別しています。
AI によるノイズ除去
オリジナル画像
蛍光画像は、散乱光や焦点面以外からの光により不鮮明になることがありますが、AIを活用したツールにより、ノイズやぼやけた背景光を除去した高コントラスト画像を構築することができます。
Clarify.aiは、AIを活用して、蛍光画像からぼやけた背景光を自動的に除去します。
GPUの新技術により、焦点面以外からの光に起因する不鮮明な画像を、高速かつ効率的に鮮明な画像に変換できます。
Clarify.aiは、デフォーカス面からの蛍光シグナルを認識するよう、あらかじめ学習済みのモジュールのため、ユーザーによるAIのトレーニングや複雑なバイアスの導入は必要はありません。焦点の合った構造の情報は残したまま、このぼやけた背景光だけを自動的に除去します。あらゆる2Dまたは3Dの蛍光画像、撮像デバイス、倍率に対して使用が可能です。
Clarify.ai適用画像
オリジナル画像
60倍マルチチャンネル3Dワイドフィールド蛍光Zスタック画像。
左：Clarify.ai適用前、右：適用後
Clarify.ai適用画像
オリジナル画像
散乱光の大きな組織切片の20倍マルチチャンネル2D蛍光画像。左：Clarify.ai適用前、右：適用後
Convert.aiは、2つの異なる観察方法における特徴を認識し、一方の観察方法で取得された画像からもう片方の観察方法の画像を予測するよう学習可能です。
例えば、光毒性の強い近紫外光を使用することなく、非染色で細胞核のセグメントが可能です。ニューラルネットワークが異なる2つの観察方法に共通な特徴を学習します。それにより片方の観察方法で画像取得をし、もう一方の画像を生成可能です。その結果、画像取得のスループットと細胞の生存率を向上します。
Convert.ai適用画像
オリジナル画像
核のDAPI染色は細胞のカウントやセグメントの一般的な方法ですが、Convert.aiは、DIC画像や位相差画像において、DAPI標識の場所を予測するよう学習できます。予測した観察像を使用してセグメントやカウントが行えるため、DAPI染色や蛍光撮影を行う必要がありません。
画像ご協力：北海道大学電子科学研究所技術部 小林健太郎先生
サンプルの蛍光シグナルが非常に弱い場合は、画像の可視化が難しく、セグメントのための抽出も困難です。
また、蛍光サンプルの多くは褪色しやすく、できる限り速やかに撮影する必要があります。
Enhance.aiは、蛍光シグナルのはっきりした画像をネットワークに学習させることにより、シグナルの弱い画像でも高いS/Nで画像を構築することが可能です。短時間露光や光毒性を抑えた弱い照明光のイメージングに適用し、鮮明な画像を構築することにより解析に応用可能です。
Enhance.ai適用画像
オリジナル画像
近紫外光の影響を抑えるため、DAPI染色した核を短い露光時間で撮影しました。Enhance.aiを使用して、通常の露光によるS/N比を回復させることで、セグメントやカウントが容易に行えます。
輝度による従来の二値化ではセグメントがほぼ不可能な画像があります。Segment.aiは、従来の二値化や画像処理では抽出が困難だったターゲットに対する分類を、ニューラルネットワークに学習させることができます。
学習レシピを実際の画像に適用することにより、これまで手動でしか識別できなかったターゲットを認識し、セグメント処理が可能です。
Segment.ai適用画像
オリジナル画像
位相差画像の神経突起は、従来の二値化では正確に抽出できません。Segment.aiは手動でトレースした神経突起を学習し、対象を認識することが可能です。
NIS-Elements AR基本パッケージに含まれるDenoise.aiを使用することで、共焦点画像からショットノイズを除去することができます。
ショットノイズは、連続的なサンプリング（画像取得）に伴うポワソン分布ノイズであり、すべての画像に含まれます。このノイズの特徴をあらかじめニューラルネットワークが学習済のため、ユーザーによるさらなる学習の必要はありません。
Denoise.aiは画像のショットノイズ成分を識別し除去できるため、光源の強度を低く抑え、その上イメージング速度を上げることができます。その結果、画像の明瞭さを向上しながら、露光時間の短縮や、低光毒性での長時間イメージングが可能となります。
Denoise.ai適用画像
オリジナル画像
Denoise.aiは元の構造と輝度値はそのままに、画像のショットノイズ成分を除去できます。
Clarify.aiおよびDenoise.aiは、あらかじめ学習済みのディープラーニングネットワークを使用しています。ユーザーが追加の設定やパラメーター調整を行う必要はなく、画像に対して自動的に適用することができます。
NIS.ai画像処理・解析モジュールは、ユーザーが指定する特定の実験パラメーターを対象とした、教師データを使用します。畳み込みニューラルネットワーク（CNN）を使用して、教師データをもとに学習を行います。教師データは、少量の代表的なサンプルを従来の二値化や人の手によるトレースで作成することが可能です。
NIS.aiのインターフェースを使用することで、サンプル画像に高度なディープラーニングを簡単に行えるため、複雑なニューラルネットワークを設計して教師データを適用する必要はありません。
自動的に教師データをもとにニューラルネットワークを使用して学習を行います。これにより作成された学習レシピは、同様のサンプルに繰り返し確実に適用できるため、大量のデータを従来の方法に比べてはるかに高速で処理・解析できます。
NIS-Elements General Analysis（GA3）を使用することにより、従来のセグメント方法とAIの機能を複数組み合わせて、実験に合わせた画像解析シーケンスを作成できます。このシーケンスはハイコンテントアナリシスで取得した画像など大量の画像をまとめて処理を行うことができます。
GA3は自由にカスタマイズできるため、新しい実験手順にも簡単に適用でき、画像取得中の適用も可能です。
General Analysisにより、Convert.aiを明視野画像に適用して細胞核の画像を生成し、ノイズの多い蛍光画像にDenoise.aiを適用します。これらの画像をトラッキングすることで、細胞の動きを測定できます。この手順を複数のデータに適用して測定することもできます。
NIS.aiはNIS-Elementsの各機能と組み合わせることができ、基本的なカウントだけでなく、特定の細胞状態の検出・解析にいたるまで、さまざまな画像取得プロトコルの開発が可能です。
画像取得後だけでなく、画像取得シーケンス内に組み込むことも可能です。これにより、実験中の画像解析結果に応じて、画像取得やデバイス制御のパラメーターを自動で変更させた実験が可能になります。
JOBS機能使用すれば、解析および解析結果に応じてさらなるデバイス制御を組み込んた実験が可能です。これにより、スループットの向上と、より複雑な実験系の構築を可能にします。
実験中におけるSegment.aiの使用例。マルチポイント撮影を行い、AIにより目的の細胞を検出します。目的の細胞が検出されると光刺激が行われ、見つからない場合は次のポイントに進みます
