Hebt Imaging und Analyse in der Lichtmikroskopie auf ein neues Leistungsniveau
"Artificial Intelligence" (AI, Künstliche Intelligenz KI) und "deep learning"-Methoden machen Bildanalyseaufgaben, die bislang als schier unlösbar erachtet wurden jetzt tatsächlich lösbar. Ob es das Ausschöpfen neuer Wege zur Verbesserung von Kontrasten und des Signal-/Rausverhältnisses ist, oder das Finden neuer Herangehensweisen, um extrem herausfordernde Bildaufnahmeparameter zu setzen, oder das Formulieren von Protokollen, mit denen bisher nicht trennbare Strukturen jetzt doch präzise als Einzelstrukturen segmentierbar werden, all solche Aufgaben können jetzt dank KI automatisch gelöst werden.
Die NIS-Elements Software-Reihe NIS.ai besteht aus verschiedenen Modulpaketen, die die Funktionalitäten der Plattform NIS-Elements dahingehend erweitern, dass sie mit maßgeschneiderten Lösungswegen für die Bild-Aufzeichnung, - Darstellung und -Analyse kombinierbar werden.
AI Segmentation
Conventional Thresholding
Die Messaufgabe bei diesem Experiment sollte sein, entlang der Zellkerngrenzen Intensitätsmessungen durchzuführen. Auf dem Weg mit konventionellen Segmentierungsschritten werden nicht alle Zellkerne identifiziert und es werden auch falsche Strukturen "erkannt". Über die Segmentierung nach Antrainieren und mit künstlicher Intelligenz (AI) werden alle Zellkerngrenzen erfolgreich erkannt und zuverlässig identifiziert.
AI
Rohbild
Bilder mit Weitfeld-Mikroskopie können durch Streulicht und unscharfe Bildsignale von ober- und unterhalb der Fokusebene "kontaminiert" sein. Mit AI-basierten Tools können aus den Rohbildern durch Herausrechnen der Rausch- und Überstrahlungsanteile Bilder mit sehr hohem Kontrast erzeugt werden.
Hauptmerkmale
Modulpaket "Clarify.ai"
Das Software-Modul "Clarify.ai" benutzt künstliche Intelligenz um automatisch unscharfe Bildbestandteile aus fluorezsenzmikroskopischen Bildern zu entfernen.
"Clarify.ai"
nutzt neue Nikon-Technologien, die auf GPUs (Graphical Processing Units) ausgeführt werden, um schnell und effizient beeindruckende Klarheit in Bilder zu bringen, die durch unscharfe Bildbeiträge aus Ebenen außerhalb der Fokusebene schlicht und einfach gesagt "verdorben" sind, d.h. "milchig" und unscharf erscheinen.
Das Modul ist darauf vor-trainiert, alle Fluoreszenzsignale, welche nicht aus der Fokusebene stammen zu erkennen. Diesen in seiner Gesamtheit "unscharfen Nebelschleier", der im Rohbild steckt und den "milchigen" Eindruck erweckt kann die Software aus dem Bild herausrechnen, sodass nur die (scharfen) Strukturen in der Fokusebene quasi freigelegt werden und übrig bleiben. Dieses Prinzip von "Clarify.ai" kann angewendet werden auf alle 2D- oder 3D-Weitfeld-Fluoreszenz-Bilddatensätze, unabhängig von der Art des Detektors und der Vergrößerung, und auch ohne, dass AI-Trainingsprozeduren erforderlich sind. Und auch ohne, dass sich unbeabsichtigt Fehler durch sehr komplizierte Benutzereinstellungen einschleichen könnten.
Clarify.ai
Original
60x, Mehrfach-Fluoreszenz, Weitfeld, 3D Z-Stapel vor und nach Anwendung von "Clarify.ai"
Clarify.ai
Original
20x, Mehrfach-Fluoreszenz, 2D-Weitfeldbild von einem stark streuenden Gewebeschnitt vor und nach Anwendung von "Clarify.ai"
NIS.ai Module für Bildverarbeitung und Bildanalyse
Die NIS.ai Modulpakete für Verarbeitung und Analyse enthalten Tools, die zum einen darauf abzielen, die Bildaufnahme effizienter und einfacher zu gestalten, sowie zum anderen bislang als zu komplex und zu schwierig erachtete Analyse-Routinen zu vereinfachen.
Convert.ai
Durch das Erkennen bestimmter Muster in zwei verschiedenen Bildkanälen kann das Modul "Clarify.ai" darauf trainiert werden, vorauszusagen, wie der zweite Bildkanal aussehen würde, wenn nur einer der beiden Kanäle aufgenommen wird.
Diese Möglichkeiten können angewendet werden, um Strukturen zu segmentieren, die gar nicht speziell markiert wurden, oder, um schädliches UV-nahes Anregungslicht bei der Mikroskopie zu vermeiden. Wenn das neuronale Netzwerk einmal gelernt hat, welche Muster in beiden Bildkanälen (z.B. jeweils mit und ohne sichtbare Markierung) ausgeprägt sind, kann in den Folgeexperimenten auf einen Bildkanal - in der Regel auf den Fluoreszenzkanal - verzichtet werden. Im Ergebnis sind der Durchsatz der Bildaufnahme und auch die Lebensfähigkeit der Zellen ganz erheblich erhöht.
Convert.ai
Original
Die DAPI-Färbung von Zellkernen ist eine gängige Methode, um das Zählen und Segmentieren von Zellen zu ermöglichen. Convert.ai kann so trainiert werden, dass das System vorhersagen kann, wo die DAPI-Markierung in DIC- oder Phasenbildern vorhanden ist. Dieser vorhergesagte Kanal kann dann zur Segmentierung und Zählung verwendet werden, ohne dass die Probe jemals mit DAPI markiert oder ein Fluoreszenzkanal erfasst werden muss.
Fotos mit freundlicher Genehmigung von Dr. Kentaro Kobayashi, technische Abteilung, Forschungsinstitut für elektronische Wissenschaften, Universität Hokkaido
Enhance.ai
Einige fluoreszenzmarkierte Proben zeigen sich mit einem derart schwachen Signal-/Rausverhältnis, dass die Visualisierung von Details für eine eindeutige Segmentierung fast unmöglich ist.
Dazu kommt noch, dass viele solcher Proben extrem lichtempfindlich sind, sehr schnell bleichen und es erfordern, die Bilder so schnell wie möglich aufzuzeichnen.
Enhance.ai kann die Detailstrukturen aufarbeiten, indem man dem entsprechenden neuronalen Netzwerk antrainiert, wie die Strukturen bei angemessener (aber zu stark bleichender) Beleuchtungsintensität bei der Bildaufnahme aussehen würden. Das entstandene "Aufarbeitungsrezept" kann man auf die (schonend) unterbelichteten Bilder anwenden, um die Strukturdetails hervorzuholen, wodurch sie dann einer weiteren Verarbeitung, Segmentierung und automatischen, quantitativen Analyse zugänglich werden.
Enhance.ai
Original
Die DAPI-gefärbten Zellkerne sind vorsorglich mit deutlicher Unterbelichtung aufgenommen, um die Belastung der Probe durch Nah-UV-Licht zu minimieren. Mit dem Enhance.ai-Rezept kann das (schwache) Signal-/Rauschverhältnis auf das (gute) Niveau bei normaler (aber zu stark bleichender) Belichtung gehoben werden, und es kann eine klare Segmentierung für z.B. eine präzise Zell-Zählung erfolgen.
Segment.ai
Es gibt eine ganze Reihe von Strukturen in mikroskopischen Bildern, die typisch dafür sind, dass sie sich schon seit eh und jeh durch klassische Schwellenwertsetzung auf Basis von Intensitätswerten für automatische Analysen so gut wie gar nicht segmentieren lassen. Ein neuronales Netzwerk kann aber durch menschliches Identifizieren und Klassifizieren bestimmter Bildstrukturen von Interesse auf das Erkennen solcher Ziel-Strukturen trainiert werden. Mit Segment.ai können diese Strukturen dann automatisch erkannt werden.
Durch interaktives Nachzeichnen von interessierenden Strukturen und das Antrainieren Ihrer speziellen Eigenschaften im Vergleich zum Gesamtbild kann es ein neuronales Netzwerk erlernen, solche speziellen Strukturen zu erkennen und automatisch zu segmentieren. Dadurch erspart man sich Stunden mühsamer, händischer Zeichnerei von Strukturen, die bisher nicht für automatische Messungen zugänglich waren.
Segment.ai
Original
Neuriten im Phasenkontrast können durch klassisches Schwellenwertsetzen auf Basis von Intensitätswerten nicht akkurat genug segmentiert werden. Segment.ai wurde durch händisches Nachzeichnen darauf trainiert, Neurite in solchen Phasenkontrastbildern zu erkennen und ihren Linienverlauf automatisch nachzuzeichnen.
Die Funktion Denoise.ai
Die Funktion Denoise.ai ist im Modulpaket NIS-Elements AR enthalten, und kann in konfokalen Bildern das Schrotrauschen identifizieren und entfernen. Schrotrauschen tritt durch den Teilchen-Charakter (Quantisierung) der kontinuierlich von der Probe emittierten Photonen und deren getaktetem Sampling (Scanning) auf einem PMT auf und lässt sich durch eine Poisson-Verteilung darstellen. Bei sinkendem Level der Bildsignale wird der Beitrag des Schrotrauschens größer, wodurch immer verrauschtere Bilder entstehen, was mathematisch einer Quadratwurzelfunktion folgt. Dieses Rauschen kann in einem neuronalen Netzwerk modelliert werden, ohne dass weiteres Antrainieren notwendig ist.
Die stetig neu erscheinenden Fluoreszenztechniken fordern tendenziell immer geringere Intensitäten für die Anregung der Fluoreszenz und immer höhere Geschwindigkeiten für die Bildaufnahme bzw. das Sampling. Denoise.ai sorgt jetzt dafür, dass das folglich immer stärker werdende Schrotrauschen erkannt und entfernt werden kann. Deshalb können jetzt auch bei super-schnellen Aufnahmefrequenzen mit extrem kurzen Belichtungszeiten und sehr geringen Anregungsintensitäten Bilder aufgezeichnet werden, die ein verblüffend gutes Signal-/Rausverhältnis zeigen, wobei die lebenden, biologischen Objekte ausgesprochen schonenden Lichtdosen ausgesetzt werden.
Denoise.ai
Original
Denoise.ai erkennt und entfernt nur den Beitrag des Schrotrauschens in den Bildern, während die Signale der Strukturen und ihre relativen Intensitätswerte unberührt bleiben.
Keine Programmierkenntnisse erforderlich
Clarify.ai and Denoise.ai sind Softwaremodule mit vortrainierten "deep learning networks" und erfordern kein zusätzliches Eingeben von speziellen Einstellungen und Parametern, um diese Funktionen automatisch auf Bilder anzuwenden.
Das NIS.ai Modulpaket "Processing and Analysis" benutzt Daten von Trainings, die gezielt auf benutzerdefinierten Experiment-Parametern beruhen: es bedient sich sog. konvolutionaler neuronaler Netzwerke (CNNs), um aus einer vergleichsweise kleinen Untermenge aus Trainings-(Bild-) Daten zu lernen (was die Ziel-Strukturen bzw. Bereiche sind), die entweder durch konventionelle Segmentierung, oder durch händisches, interaktives Nachzeichnen oder Markieren gewonnen wurden.
Mit dem Modulpaket ist es sehr einfach, komplexe "deep learning"-Prozesse auf die eigenen Proben anzuwenden. Es ist nicht notwendig, jeweils ein kompliziertes neuronales Netzwerk zu entwickeln und dann die antrainierten Daten speziell darauf zu übertragen.
Automatisierte Tools übernehmen die Trainingsdaten und wenden sie auf das neuronale Netzwerk an, damit es bestimmte Muster erkennt. Die resultierende Trainingsrezeptur kann dann wiederholt und zuverlässig auf ähnliche Proben angewendet werden, um riesige Datenmengen signifikant schneller zu verarbeiten und zu analysieren als mit konventionellen Techniken.
GA3: Eine Analyse-Pipeline mit den Fähigkeiten künstlicher Intelligenz
Mit dem Modulpaket NIS-Elements General Analysis (GA3) können vielfältige konventionelle Segmentierungs- und AI-Tools kombiniert werden, um Routinen für die Datenmessung zu erzeugen, die maßgeschneidert für spezielle Experimente sind. Diese Routinen können dann auf die verschiedensten Bilder, auf experimentelle Abläufe oder High Content Daten angewendet werden.
Weil GA3 frei benutzerdefinierbar ist, kann es auf immer wieder neue Routinen von Experimenten angepasst werden. Es können vordefinierte Routinen sein, oder solche, die während des Experimentverlaufs entstehen.
Das Modulpaket "General Analysis" (GA3) verwendet "Convert.ai", um die Zellkerne in Hellfeldbildern (Brightfield) zu identifizieren und "Denoise.ai", um verrauschte Fluoreszenzbilder (Fluorescence) zu verbessern. Die konvertierten Hellfeld- und restaurierten Fluorszenzbilder können dann in Zeitrafferaufnahmen genutzt werden, um Zellbewegungen zu vermessen. So eine "GA3"-Routine kann dann auf eine riesige Menge an experimentellem Ausgangsmaterial angewandt und für die umfangreiche Auswertung genutzt werden.
Nutzen Sie NIS-ai als Bestandteil einer Imaging Pipeline
Die NIS.ai Modulpakete können mit allen anderen Funktionalitäten der NIS-Elements Plattform kombiniert werden, um variable Imaging- und zielgerichtete Analyse-Protokolle (sog. "imaging pipelines") zu entwickeln, die vom einfachen Zählen über die Auswertung von "rare events" bis hin zur selektiven Phänotyp-Erkennungsanalyse alles umfassen können.
All diese Analyseabfolgen können im Anschluss an Bildaufzeichnungen ablaufen, oder - was noch wirkungsvoller ist - als integraler Bestandteil "online" in ein Experiment-Protokoll eingebaut werden. Dadurch können Ergebnisse, die NIS-Elements während des Experiments erzeugt, die experimentellen Parameter für den Fortlauf des Experiments in verschiedene Richtungen steuern. Folglich kann man sich eine Art "intelligente Bildaufzeichnung" konfigurieren.
Mit dem JOBS-Wizard für die Experiment-Konfiguration können in maßgeschneiderte Imaging-Protokolle Analyse-Aufgaben und -Verzweigungen eingebaut werden, die Entscheidungslogiken über den Fortgang des Experiments auf Basis aktueller Analyseergebnisse enthalten. Dadurch wird der Durchsatz von komplexen Experimenten erhöht und die Bildaufnahmen werden zielgerichteter ausgeführt.
Beispiel für ein JOBS konfiguriertes Experiment mit eingebauter Funktionalität von Segment.ai, mit der beim Durchmustern von XY-Positionen nach Zellen mit einem spezifischen Phänotyp gesucht wird. Wenn so eine Zelle gefunden wird, startet ein Stimulationsexperiment. Wenn in dem XY Gesichtsfeld kein spezifischer Phänotyp gefunden wird, geht das Experiment sofort bei der nächsten XY-Position weiter.
Quantifizierbare Ergebnisse
Künstliche Intelligenz ist mittlerweile in der diagnostischen Bildgebung anerkannt und hat sich zu einem weit verbreiteten Tool in vielerlei Anwendungsgebieten entwickelt. Ihre Attraktivität gegenüber traditionellen, rein mathematischen Ansätzen für die Bildanalyse begründet sich sowohl in ihrer Geschwindigkeit als auch in ihrer extrem hohen Genauigkeit. Jedoch ist es wichtig in der Lage zu sein, die Ergebnisse ihrer Berechnungen zu validieren, und die Ergebnisse für die Extraktion quantitativer Daten, für Berechnungen und Analysen richtig einzusetzen.
Die NIS-Elements Software besitzt Feedback-Mechanismen, die einem während der Trainingsroutinen anzeigen, inwiefern das trainierte neuronale Netzwerk zu akkuraten Ergebnissen führt. Darüber hinaus enthält NIS-Elements diverse Analyse-Tools und Workflows, um die Effektivität neuronaler Netzwerke zu validieren, oder um eine leichte Vergleichbarkeit zwischen den AI- und den sog. "ground truth"-Daten zu ermöglichen.
AI Segmentation
Conventional Thresholding
AI
Rohbild
