画像：Laurence Pelletier Lab, LTRI

A1 HD25 / A1R HD25

共焦点レーザー顕微鏡システム

生産中止 後継品はAX / AX R with NSPARCとなります

Denoise.ai

ディープラーニングを利用し、レゾナントスキャン画像からショットノイズを除去

あらかじめ採集した数千ものレゾナントスキャン画像データをMXNetでエンコードすることにより、畳み込みニューラルネットワークを構築します。これにより、入力画像データに学習可能な重みを割り当て、ネットワークに相関関係とパターン認識を学習させることができます。さらに、ショットノイズの共通パターンを使用して、画像データからノイズを認識・除去するよう学習を繰り返します。

このトレーニングされた人工知能（AI）のアルゴリズムにより、リアルタイムなノイズ除去が可能となります。

Denoise.AI適用画像
オリジナル画像

Maximum intensity projection resonant confocal image of multi-labeled Danio sp. prepared by Callen Wallace and Mike Calderon, Center for Biological Imaging, University of Pittsburgh for the Quantitative Fluorescence Microscopy (QFM) Course.

レゾナントスキャン画像におけるノイズの発生源

他の撮影法と同様にレゾナントスキャン撮影は、画像キャプチャーの際に信号（シグナル）に加えてノイズ成分も取り込みます。しかし、読み出しノイズは光電子増倍管（PMT）の使用上ほとんど無視できるレベルです。また、暗電流ノイズについても、レゾナントスキャンの特長である極めて短い露出時間（従来スキャンの20倍短い）により、最小限に抑えられます。従って、レゾナントスキャン画像における最大のノイズ要因はショットノイズであると特定できます。

ショットノイズは、サンプルから放出される光子をサンプリングしてデジタル化する際に生じます。光量が微弱な場合は、ポアソン分布による光束の不確実性が生じ、これが出力画像に大きく影響します。

Denoise.AIは、レゾナントスキャン画像のショットノイズ成分を識別して除去できます。

Denoise.AI適用画像
オリジナル画像

Denoise.AIを使用する優位点

レゾナントスキャンは、スキャニングミラーを正弦波的に高周波数で動作させるため、極めて短い滞留時間（数十ナノ秒）を実現します。これにより、長時間撮影においても励起光による検体への光ダメージを低減できます。

また、レゾナントスキャニングはナイキスト・サンプリング周波数の条件を満たせるため、動きの速い細胞のトラッキング撮影にも有効です。

Denoise.AIを使用することにより、非常に短い露光時間の撮影においても、ライン・アベレージングを行わずにショットノイズを除去できます。


さまざまな利点

1. 少ない撮影枚数で長時間の撮影が可能。（例えば、4回のアベレージングが不要となることで、結果的に4倍多くの画像を取得可能。これにより、タイムラプスの撮影総時間の延長や、撮影間隔の短縮が実現。）
2. より高速の動的イベントが撮影可能。（サンプリング周波数（速度）は、アベレージング回数が少ないほど増加）
3. ショットノイズが除去され、微弱光の撮影におけるS/N比が大幅に改善。

Drosophila sp. larvae sample provided by Amicia Elliot, PhD, NIH/NIMH, Bethesda MD. Acquired at the Quantitative Fluorescence Microscopy Course 2019.

Caco-2 cells stably expressing H2B-GFP, cultured in Matrigel. Image courtesy of Sally Cheung, Pelletier Lab, Department of Molecular Genetics, University of Toronto.

定量的な出力

ショットノイズを認識して除去するディープラーニングを有効に機能させるには、信号とノイズを明確に区別するために、入力画像データのSN比（SNR）が十分である必要があります。SN比が高いほど、ショットノイズによる輝度のばらつきを抑えることができます。NIS-Elementsでは、SN比をリアルタイムに測定するツールを使用して画質を評価できます。

Denoise.AIの重要なポイントは、たとえショットノイズによって画質が低下した画像でも、大幅に画質を改善できることです。これにより、サンプルの構造をより詳細に観察でき、長時間のオブジェクトトラッキングやサンプルの速い反応の撮影も可能になります。