Bild mit freundlicher Genehmigung von Laurence Pelletier Lab, LTRI

A1 HD25 / A1R HD25

Konfokale Mikroskope

Eingestellt Replaced by AX / AX R with NSPARC

Denoise.ai

Verwendet Deep Learning zum Entfernen des Poisson'schen Schrotrauschens aus konfokalen Bildern mit dem Resonanz-Scanner

Unter Verwendung eines konvolutionalen neuronalen Netzwerks eines MXNET-Frameworks, das mit mehreren tausend Beispielen von konfokalen Resonanz-Scannerdaten trainiert ist, werden den Eingabebilddaten lernbare Gewichtungen zugewiesen, was dazu führt, dass das Netzwerk lernt, Korrelationen herzustellen und Muster zu erkennen: da das häufigste Muster in den Eingabebilddaten Poisson'sches Schrotrauschen ist (eine spezielle Form des weißen Rauschens), wurde das Netzwerk darauf trainiert, dieses Schrotrauschen in konfokalen A1-Datensätzen mit dem Resonanz-Scanner zu erkennen und zu entfernen. Dieser antrainierte Algorithmus künstlicher Intelligenz (engl. Artificial Intelligance: AI) kann dann sogar in Echtzeit zur Rauschentfernung verwendet werden.

mit Denoise.AI
Original

Projektion (max. intensity) konfokaler Bilder mit Resonanzscanner aus vielen Z-Ebenen von einem mehrfach markierten Zebrafisch (Danio sec.), vorbereitet von Callen Wallace und Mike Calderon, Center for Biological Imaging, Universität Pittsburgh für den Kurs Quantitative Fluoreszenzmikroskopie (QFM).

Rauschquellen bei konfokalen Bilder mit Resonanz-Scanner

Das Erstellen konfokaler Bilder mit einem Resonanz-Scanner erfasst - wie alle Bildgebungsverfahren - Bilder mit einer Signal- und einer Rauschkomponente. Da das Ausleserauschen durch die Verwendung von Photomultiplier-tubes (PMTs) praktisch vernachlässigbar ist und das Dunkelrauschen aufgrund der extrem kurzen Belichtungszeiten (20-mal kürzer als bei normalen Galvano-Scannern) ebenfalls minimal ist, ist das Schrotrauschen der Hauptverursacher für das Rauschen bei konfokalen Bildern, die mit einem Resonanz-Scanner aufgenommen werden.

Das Schrotrauschen tritt durch den Teilchen-Charakter (Quantisierung) der kontinuierlich von der Probe emittierten Photonen und deren getaktetem Sampling (Scanning) auf einem PMT auf und lässt sich durch eine Poisson-Verteilung darstellen. Bei sinkendem Level der Bildsignale wird der Beitrag des Schrotrauschens größer, wodurch immer verrauschtere Bilder entstehen, was mathematisch einer Quadratwurzelfunktion folgt.

Dieses Rauschen kann in einem neuronalen Netzwerk modelliert werden, sodass weiteres Antrainieren nicht notwendig ist. Die Software Denoise.AI identifiziert die Schrotrauschenkomponente und entfernt sie aus den konfokalen Bildern mit dem Resonanz-Scanner.

mit Denoise.AI
Original

Hauptvorteile bei der Verwendung von Denoise.AI

Das Abrastern der Probe mit einem Resonanz-Scanner funktioniert durch sinusförmiges Ansteuern des konfokalen Scanner-Spiegels mit sehr hoher Frequenz, was zu ultrakurzen Verweilzeiten des fokussierten Laserpunktes in der Probe führt (wenige zehn Nanosekunden). Diese extrem kurzen Verweilzeiten sind aber gerade sehr vorteilhaft, um Schädigungen und Ausbleichen der Probe zu minimieren und die Lebensfähigkeit der Proben für Langzeitbildaufzeichnungen zu erhöhen.

Das Abrastern der Probe mit einem Resonanz-Scanner bedeutet auch, dass Proben, die sich extrem schnell bewegen, für die korrekte Objektverfolgung mit der Nyquist-Abtastfrequenz erfasst werden können (gemäß Sampling oder Digitalisierungs Theorem).

Auf der anderen Seite erfordert das Scannen mit Resonanz-Scanner bei den sehr kurzen Belichtungszeiten normalerweise eine Linienmittelung zur Reduzierung des Schrotrauschens, was dem Vorteil der Geschwindigkeit in ungünstiger Weise entgegenwirkt. Um die Beiträge des Poisson'schen-Schrotrauschens zu reduzieren, kann jetzt statt der Linienmittelung die Software Denoise.AI verwendet werden, um den Beitrag des Schrotrauschens zu entfernen. Und das sogar in Echtzeit bei voller Nutzbarkeit der hohen Geschwindigkeit des Resonanz-Scanners.

Die Ergebnisse sind vielfältig:

  1. Bei Zeitrafferaufnahmen führen weniger Imaging-Loops zu einer längeren Aufnahme-Dauer (z. B. ohne 4-fach-Averiging kann man 4x mehr Bilder aufnehmen, wodurch entweder die Dauer verlängert oder das Intervall bei der Zeitrafferaufnahme verkürzt werden kann).
  2. Die Scanfrequenz (Geschwindigkeit) nimmt bei geringerer Mittelung zu, wodurch auch besonders schnelle biologische Ereignisse erfasst werden können.
  3. Die Qualität von Bild- und Movie-Aufnahmen mit Resonanz-Scanner von Proben mit schwachen Fluoreszenzsignalen wird durch die Beseitigung des Poisson-Schrotrauschens mit der Software Denoise.AI deutlich verbessert.

Drosophila sp. Larve. Probe von Amicia Elliot, PhD, NIH / NIMH, Bethesda MD. Aufgenommen im Quantitative Fluorescence Microscopy Course 2019.

Stabil H2B-GFP exprimierende Caco-2 Zellen, in Matrigel kultiviert. Mit freundlicher Genehmigung von Sally Cheung, Pelletier Lab, Department of Molecular Genetics, University of Toronto.

Quantitative Ausgabe

Da Deep Learning zum Erkennen und Entfernen von Poisson'schem Schrotrauschen verwendet wird, sollten die Ausgangsbilddaten ein ausreichendes Signal-Rausch-Verhältnis (SNR) aufweisen, so dass das Schrotrauschen vom Signal unterschieden werden kann. Wenn das SNR ausreicht, können die Intensitätsvarianzen durch den Beitrag des Poisson'schen Schrotrauschens beseitigt werden.

NIS-Elements bietet Echtzeit-Tools zur Messung des Signal-Rausch-Verhältnisses in Bildern, um die Beurteilung der Bildqualität zu unterstützen. Es ist hingegen ein sehr wichtiger, positiver Beitrag der Kombination von High-Speed-Resonanz-Scanner und der Software Denoise.AI, dass selbst Bilder, die durch das Schrotrauschen stark verfälscht wurden, durch die Rauschbeseitigung so erheblich verbessert werden, dass Strukturen visualisiert, lebende Proben über längere Zeiträume verfolgt und sehr schnell bewegte Objekte leichter gefunden und in den Fokus genommen werden können.