Nikon Instruments Europe B.V. | Europe & Africa
Artboard 1
de Change Region

Global Site

NIS-Elements

Nikon Instruments Europe BV und alle Nikon Niederlassungen in Europa beobachten aktuell sehr genau alle Entwicklungen rund um das Corona Virus COVID-19. Selbstverständlich werden alle durch die Regierungsorganisationen erlassenen Richtlinien von uns strikt befolgt.

Erfahren Sie mehr über die von uns getroffenen Maßnahmen.

 

Hebt Imaging und Analyse in der Lichtmikroskopie auf ein neues Leistungsniveau

"Artificial Intelligence" (AI, Künstliche Intelligenz) und "deep learning"-Methoden machen inzwischen scheinbar unlösbare Aufgaben jetzt lösbar. Ob es das Ausschöpfen neuer Wege zur Verbesserung von Kontrasten oder des Signal-/Rausverhältnisses ist, oder das Finden neuer Ansätze, um extrem herausfordernde Bildaufnahmeparameter zu setzen oder das Formulieren von Protokollen, mit denen bisher nicht trennbare Strukturen doch exakt als Einzelstrukturen segmentierbar sind, all solche bisher als sehr schwierig bis unlösbar erachtete Imaging-Aufgaben können dank KI jetzt automatisch gelöst werden.

Die NIS-Elements Software-Reihe NIS.ai besteht aus verschiedenen Modulpaketen, die die Funktionalitäten der Plattform NIS-Elements dahingehend erweitern, dass sie mit maßgeschneiderten Lösungswegen für die Bild-Aufzeichnung, - Darstellung und -Analyse kombinierbar werden.


AI Segmentation
Conventional Thresholding

Die Messaufgabe bei diesem Experiment sollte sein, entlang der Zellkerngrenze Intensitätsmessungen zu machen. Auf dem Weg mit konventionellen Segmentierungsschritten werden nicht alle Zellkerne identifiziert und es werden auch falsche Strukturen "erkannt". Über die Segmentierung nach Antrainieren und mit künstlicher Intelligenz (AI) werden alle Zellkerngrenzen erfolgreich erkannt und identifiziert.

AI
Raw Image

Bilder mit Weitfeld-Mikroskopie können durch Streulicht und unscharfe Bildsignale von ober- und unterhalb der Fokusebene "kontaminiert" sein. Mit AI-basierten Tools können aus den Rohbildern durch Herausrechnen der Rausch- und Überstrahlungsanteile Bilder mit sehr hohem Kontrast erzeugt werden.

Hauptmerkmale

Modulpaket "Clarify.ai"

Das Software-Modul "Clarify.ai" benutzt künstliche Intelligenz um automatisch unscharfe Bildbestandteile aus fluorezsenzmikroskopischen Bildern zu entfernen.

"Clarify.ai" nutzt neue Nikon-Technologien, die auf GPUs (Graphical Processing Units) ausgeführt werden, um schnell und effizient beeindruckende Klarheit in Bilder zu bringen, die durch das "Durchschlagen" unscharfer Bildbeiträge aus Ebenen außerhalb der Fokusebene schlicht und einfach gesagt "verdorben" sind, d.h. "milchig" und unscharf erscheinen.

Das Modul ist darauf vor-trainiert, alle Fluoreszenzsignale, welche nicht aus der Fokusebene stammen zu erkennen. Diesen in seiner Gesamtheit "unscharfen Nebelschleier", der im Rohbild steckt und den "milchigen" Eindruck erweckt kann die Software aus dem Bild herausrechnen, sodass nur die (scharfen) Strukturen in der Fokusebene quasi freigelegt werden und übrig bleiben. Dieses Prinzip von "Clarify.ai" kann angewendet werden auf alle 2D- oder 3D-Weitfeld-Fluoreszenz-Bilddatensätze, unabhängig von der Art des Detektors und der Vergrößerung, und auch ohne, dass AI-Trainingsprozeduren erforderlich sind. Und auch ohne, dass sich unbeabsichtigt Fehler durch sehr komplizierte Benutzereinstellungen einschleichen könnten.

Clarify.ai
Original

60x, Mehrfach-Fluoreszenz, Weitfeld, 3D Z-Stapel vor und nach Anwendung von "Clarify.ai"

Clarify.ai
Original

20x, Mehrfach-Fluoreszenz, 2D-Weitfeldbild von einem stark streuenden Gewebeschnitt vor und nach Anwendung von "Clarify.ai"


NIS-ai Module für Bildverarbeitung und Bildanalyse

Die NIS.ai Modulpakete für Verarbeitung und Analyse enthalten Tools, die darauf abzielen, die Bildaufnahme effizienter und einfacher zu gestalten, sowie bislang als zu komplex und zu schwierig erachtete Analyse-Routinen ablaufen zu lassen.

Convert.ai

Durch das Erkennen bestimmter Muster in zwei verschiedenen Bildkanälen kann das Modul "Clarify.ai" darauf trainiert werden, dass es voraussagen kann, wie der zweite Bildkanal aussehen würde, wenn nur einer der beiden Kanäle aufgenommen wird.

Diese Fähigkeit kann angewendet werden, um Strukturen zu segmentieren, die gar nicht speziell markiert wurden, oder, um schädliches UV-nahes Anregungslicht zu vermeiden. Wenn das neuronale Netzwerk einmal gelernt hat, welche Muster jeweils in beiden (z.B. gefärbtem und ungefärbtem) Bildkanal ausgeprägt sind, kann in den Folgeexperimenten auf ein Bildkanal verzichtet werden. Im Ergebnis erhöhen sich der Durchsatz der Bildaufnahme und die Lebensfähigkeit der Zellen ganz erheblich.

Convert.ai
Original

DAPI-Färbung der Zellkerne ist eine gängige Methode um Zell-Zählungen und -Segmentierung durchzuführen. "Convert.ai" kann darauf trainiert werden vorauszusagen, wo die DAPI-Markierung im entsprechenden DIC- oder Phasenkontrastbild aufscheinen würde. Dieser vorausgesagte "Bildkanal" kann für die Segmentierung und Zellzählung benutzt werden, ohne jemals die Zellen mit DAPI färben, oder einen Fluoreszenzkanal aufnehmen zu müssen.

PMit freundlicher Genehmigung von Dr. Kentaro Kobayashi, Division of Technical, Research Institute for Electronic Science, Hokkaido University


Enhance.ai

Einige fluoreszenzmarkierte Proben zeigen sich mit derart schwachem Signal-/Rausverhältnis, dass die Visualisierung von Details für eine eindeutige Segmentierung fast unmöglich ist.

Dazu kommt noch, dass viele solcher Proben sehr lichtempfindlich sind, sehr schnell bleichen und es erfordern, Bilder so schnell wie möglich aufzuzeichnen.

Enhance.ai kann die Detailstrukturen aufarbeiten, indem man dem entsprechenden neuronalen Netzwerk antrainiert, wie die Strukturen bei angemessener Belichtung bei der Bildaufnahme aussehen würden. Das entstandene "Rezept" kann man auf die (schonend) unterbelichteten Bilder anwenden, um die Strukturdetails hervorzuholen, wodurch sie dann einer weiteren Verarbeitung, Segmentierung und Analyse zugänglich werden.

Enhance.ai
Original

Die DAPI-gefärbten Zellkerne sind vorsorglich mit deutlicher Unterbelichtung aufgenommen, um die Belastung der Probe durch Nah-UV-Licht zu minimieren. Mit dem Enhance.ai-Rezept kann das (schwache) Signal-/Rauschverhältnis auf das (gute) Niveau bei normale Belichtung gehoben werden, und es kann eine klare Segmentierung für z.B. eine Zählung erfolgen.


Segment.ai

Es gibt eine ganze Reihe von Bildern, in denen sich schon immer Strukturen durch klassische Schwellenwertsetzung auf Basis von Intensitätswerten so gut wie gar nicht segmentieren lassen. Ein neuronales Netzwerk kann aber durch menschliches Identifizieren und Klassifizieren bestimmter Strukturen von Interesse auf das Erkennen solcher Strukturen trainiert werden. Mit Segment.ai können diese Strukturen dann automatisch erkannt werden.

Durch interaktives Nachzeichnen von interessierenden Strukturen und das Antrainieren Ihrer speziellen Eigenschaften im Vergleich zum Gesamtbild kann es ein neuronales Netzwerk erlernen, diese zu erkennen und automatisch zu segmentieren. Dadurch erspart man sich Stunden mühsamer, händischer Zeichnerei von Strukturen, die bisher nicht für automatische Messungen zugänglich waren.

Segment.ai
Original

Neuriten im Phasenkontrast können durch klassisches Schwellenwertsetzen auf Basis von Intensitätswerten nicht akkurat genug segmentiert werden. Segment.ai wurde durch händisches Nachzeichnen darauf trainiert, Neurite in solchen Phasenkontrastbildern zu erkennen und ihren Linienverlauf automatisch nachzuzeichnen.


Die Funktion Denoise.ai

Die Funktion Denoise.ai ist im Modulpaket NIS-Elements AR enthalten, und kann in konfokalen Bildern das Schrotrauschen identifizieren und entfernen. Schrotrauschen tritt durch den Teilchen-Charakter (Quantisierung) der kontinuierlich von der Probe emittierten Photonen und deren getaktetem Sampling (Scanning) auf einem PMT auf und lässt sich durch eine Poisson-Verteilung darstellen. Bei sinkendem Level der Bildsignale wird der Beitrag des Schrotrauschens größer, wodurch immer verrauschtere Bilder entstehen, was mathematisch einer Quadratwurzelfunktion folgt. Dieses Rauschen kann in einem neuronalen Netzwerk modelliert werden, sodass weiteres Antrainieren nicht notwendig ist.

Immer neue Fluoreszenztechniken treiben die Anregungsintensitäten stetig weiter nach unten und die Bildaufnahmengeschwindigkeiten nach oben. Denoise.ai sorgt dafür, dass das entsprechend stärker werdende Schrotrauschen erkannt und entfernt wird. Deshalb können jetzt auch bei kurzen Belichtungszeiten, mit schnelleren Aufnahmefrequenzen und bei wenig Lichtintensität aufgezeichnet Bilder mit einem sehr guten Signal-/Rausverhältnis entstehen und die lebenden Objekte entsprechend geschont werden.

Denoise.ai
Original

Denoise.ai erkennt und entfernt nur den Beitrag des Schrotrauschens in den Bildern, während die Signale der Strukturen und ihre Intensitätswerte unberührt bleiben.


Keine Programmierkenntnisse erforderlich

Clarify.ai and Denoise.ai sind Softwaremodule mit vortrainierten "deep learning networks" und erfordern kein zusätzliches Eingeben von speziellen Einstellungen und Parametern, um diese Funktionen automatisch auf Bilder anzuwenden.

Das NIS.ai Modulpaket "Processing and Analysis" benutzt Daten von Trainings, die gezielt auf benutzerdefinierten Experiment-Parametern beruhen: es bedient sich sog. konvolutionaler neuronaler Netzwerke (CNNs), um aus einer vergleichsweise kleinen Untermenge aus Trainings-(Bild-) Daten zu lernen (was die Ziel-Strukturen bzw. Bereiche sind), die entweder durch konventionelle Segmentierung, oder durch (menschlich) interaktives Umreißen oder Markieren gewonnen wurden.

Mit dem Modulpaket ist es sehr einfach, komplexe "deep learning"-Prozesse auf die eigenen Proben anzuwenden. Es ist nicht notwendig, jeweils ein kompliziertes neuronales Netzwerk zu entwickeln und dann die antrainierten Daten speziell darauf zu übertragen.

Automatisierte Tools übernehmen die Trainingsdaten und wenden sie auf das neuronale Netzwerk an, damit es bestimmte Muster erkennt. Das resultierende Trainingsrezept kann dann wiederholt und zuverlässig auf ähnliche Proben angewendet werden, um riesige Datenmengen signifikant schneller zu verarbeiten und zu analysieren als mit konventionellen Techniken.


GA3: Eine Analyse-Pipeline mit den Fähigkeiten künstlicher Intelligenz

Mit dem Modulpaket NIS-Elements General Analysis (GA3) können vielfältige konventionelle Sementierungs- und AI-Tools kombiniert werden um Routinen für die Datenvermessung zu erzeugen, die maßgeschneidert für spezielle Experimente sind. Diese Routinen können auf die verschiedensten Bilder, auf experimentelle Abläufe oder High Content Daten angewendet werden.

Weil GA3 frei benutzerdefinierbar ist, kann es auf immer wieder neue Routinen von Experimenten angepasst werden. Es können vordefinierte Routinen sein, oder solche, die während des Experimentverlaufs entstehen.

Das Modulpaket "General Analysis" verwendet "Convert.ai", um die Zellkerne in Hellfeldbildern zu identifizieren und "Denoise.ai", um verrauschte Fluoreszenzkanäle zu verbessern. Die restaurierten Fluorszenzbilder können dann über Zeitrafferaufnahmen genutzt werden, um Zellbewegungen zu vermessen. So eine Routine kann dann auf eine riesige Menge an Daten für die Auswertung genutzt werden.


Nutzen Sie NIS-ai als Bestandteil einer Imaging Pipeline

Die NIS.ai Modulpakete können mit allen anderen Funktionalitäten der NIS-Elements Plattform kombiniert werden um variable Imaging- und zielgerichtete Analyse-Protokolle zu entwickeln, die vom einfachen Zählen über die Auswertung von "rare events" bis hin zur selektiven Phänotyp-Erkennung -Analyse alles umfassen.

All diese Analyseabfolgen können nach den Bildaufzeichnungen erstellt werden, oder - was noch wirkungsvoller ist - als integraler Bestandteil in ein Experiment-Protokoll eingebaut werden. Dadurch können Ergebnisse, die NIS-Elements während des Experiments erzeugt die experimentellen Parameter für den Fortlauf des Experiments in verschiedene Richtungen steuern. Folglich kann man sich eine Art "intelligente Bildaufzeichnung" konfigurieren.

Mit dem JOBS-Wizard für Experiment-Konfiguration können in maßgeschneiderte Imaging-Protokolle Analyse-Aufgaben und -Verzweigungen eingebaut werden, die Entscheidungslogiken über den Fortgang des Experiments auf Basis aktueller Analyseergebnisse enthalten. Dadurch wird der Durchsatz von komplexen Experimenten erhöht und die Bildaufnahmen zielgerichteter ausgeführt.

Beispiel für ein JOBS konfiguriertes Experiment mit eingebauter Funktionalität von Segment.ai, mit der beim Durchmustern von XY-Positionen nach Zellen mit einem spezifischen Phänotyp gesucht wird. Wenn so eine Zelle gefunden wird, startet ein Stimulationsexperiment. Wenn in dem XY Gesichtsfeld kein spezifischer Phänotyp gefunden wird, geht das Experiment sofort bei der nächsten XY-Position weiter.


Quantifizierbare Ergebnisse

Künstliche Intelligenz ist mittlerweile in der diagnostischen Bildgebung anerkannt und hat sich zu einem weit verbreiteten Tool in vielerlei Anwendungen entwickelt. Ihre Attraktivität gegenüber traditionellen, rein mathematischen Ansätzen begründet sich sowohl in ihrer Geschwindigkeit als auch in ihrer extrem hohen Genauigkeit. Jedoch ist es wichtig in der Lage zu sein, die Ergebnisse ihrer Berechnungen zu validieren, und diese Ergebnisse für Berechnungen und Analysen einzusetzen.

Die NIS-Elements Software besitzt Feedback-Mechanismen, die einem während der Trainingsroutinen anzeigen, inwiefern das trainierte neuronale Netzwerk zu akkuraten Ergebnissen führt. Darüber hinaus enthält NIS-Elements diverse Analyse-Tools und Workflows, um die Effektivität neuronaler Netzwerke zu validieren, oder um eine leichte Vergleichbarkeit zwischen den AI- und den sog. "ground truth"-Daten zu ermöglichen.


Zusammenfassung der AI-Modulpakete

●: enthalten, ⚬: optional

Denoise.ai Clarify.ai Enhance.ai Segment.ai Convert.ai
NIS C, Ar, Ar ML, Ar Passive Included Optional Optional Optional Optional
NIS.ai Modul No No Included Included Included
Gebündelt mit Deconvolution Modulen No Included No No No
Offline Batch Denoise Package Included No No No No