Deep Learning in Microscopia

I metodi di intelligenza artificiale (AI) stanno aumentando di popolarità per l'analisi dei dati di microscopia. Il deep learning (DL) è un tipo di machine learning (ML) che utilizza una rete neurale artificiale (ANN) per l'apprendimento. Le ANN sono così chiamate a causa delle somiglianze con il nostro cervello: ogni “neurone” (nodo) nella rete riceve input da molteplici altri nodi. Il processo di formazione modifica il peso di queste connessioni per prevedere al meglio i risultati attesi da un dato input.

Prodotti per il Deep Learning in Microscopia

Gli approcci DL possono essere vantaggiosi quando applicati a una varietà di attività di analisi delle immagini. I moduli software NIS.ai di Nikon per il software NIS-Elements sfruttano DL per varie analisi delle immagini. I moduli NIS.ai possono essere combinati con altri strumenti software come parte di pipeline di analisi e imaging automatizzate utilizzando rispettivamente la nostra procedura guidata per gli esperimenti JOBS e il modulo General Analysis 3 (GA3).

●: included, ⚬: option

Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
Funzione Determina automaticamente la potenza e il guadagno del laser ottimali per l'imaging confocale a scansione di punti. Rimuove automaticamente il segnale di fluorescenza sfocato dalle immagini a fluorescenza a campo largo. Prevede le immagini in un determinato canale da schemi identificati in un canale di luce trasmessa. Rimuove automaticamente il rumore dall'immagine. Prevede un'immagine con un migliore rapporto segnale-rumore da un'immagine a basso segnale. Segmenta le caratteristiche complesse dell'immagine in base ai modelli identificati dalla formazione preliminare guidata dall'utente.
Pre-formazione richiesta no no no
Sistemi Nikon compatibili Microscopi confocali AX / AX R Tutto TuttoMicroscopi confocali AX R e sistemi basati su telecamere CMOS Tutto Tutto
Pacchetti software Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
NIS-Elements C Optional Optional Optional Optional Optional Optional
NIS-Elements AR no Optional Optional Optional Optional Optional
NIS-Elements AR ML no Optional Optional Optional Optional Optional
NIS-Elements AR passivi no Optional Optional Optional Optional Optional
Modulo NIS.ai yes Optional Optional yes Optional Optional
In bundle con moduli di deconvoluzione no Yes no no no no

Discussione di Deep Learning in Microscopia

DIC, dati di campo e ricostruzione immagini Convert.ai di uno sferoide in cultura. Convert.ai è stato in grado di ricostruire adeguatamente la posizione e la forma del marcatore di fluorescenza, se non ogni dettaglio esatto.

Comprendere i vantaggi e i limiti del Deep Learning per la microscopia

Sebbene gli algoritmi e il software basati sul deep learning promettano molto per supportare l'analisi delle immagini mediante microscopia ottica, è importante capire che tali approcci non sono una panacea, ma piuttosto modi diversi per affrontare un problema. Gli algoritmi di Deep Learning (DL), che funzionano inferendo correlazioni tra le caratteristiche dei dati (che potrebbero non essere necessariamente ovvie o intuitive), saranno più adatti ad alcuni problemi rispetto agli approcci classici. Tuttavia, spesso il maggiore vantaggio dell'intelligenza artificiale (AI) per la microscopia è l'accelerazione dell'analisi delle immagini.

Gli algoritmi DL supervisionati, come quelli utilizzati dai moduli AI NIS.ai di Nikon, richiedono dati estesi per addestrare la rete neurale. Mentre Nikon pre-addestra alcuni moduli AI, tra cui Denoise.ai, Clarify.ai e Autosignal.ai, altri dovranno essere addestrati utilizzando le condizioni di acquisizione specifiche per un determinato esperimento. Questo processo può essere lungo, ma una volta completato consentirà una rapida analisi di nuovi dati. È importante capire che i risultati non sono i dati di campo. In definitiva, questo limita le applicazioni appropriate.

Come esempio di un caso d'uso appropriato, il modulo Convert.ai può essere addestrato per prevedere i modelli di colorazione nucleare DAPI dalle immagini di luce trasmessa. Questo canale DAPI predetto è utile e appropriato per il conteggio delle cellule, che dipende principalmente dalla corretta localizzazione del segnale DAPI. Tuttavia, l'utilizzo di immagini DAPI predette per le applicazioni che richiedono la quantificazione delle informazioni sull'intensità sarebbe inappropriato. Sebbene DL sia affidabile per prevedere con precisione la localizzazione DAPI e i modelli di colorazione grossolani, non è una buona scelta per quantificare dettagli fini ed eventi rari. Questi ultimi non sarebbero ben rappresentati nei dati di addestramento e quindi probabilmente non sarebbero rilevati.

Immagine di una sezione dell'intestino del topo con marcatura fluorescente acquisita utilizzando un microscopio confocale a scansione risonante Nikon AX R e una lente dell'obiettivo 20X WI 0,95 NA

Ottimizzazione dell'imaging e dell'analisi con il deep learning

Un vantaggio dei metodi DL è la velocità con cui si possono eseguire compiti variati e complessi. Ciò consente lo stacking di metodi DL per eseguire analisi complicate in più parti in periodi di tempo relativamente brevi, anche durante il processo di imaging quando il tempo è limitato.

Ad esempio, il modulo Autosignal.ai determina automaticamente la potenza e il guadagno laser ottimali in pochi secondi quando si utilizza il nostro microscopio confocale AX / AX R. È improbabile che un approccio classico a questo problema restituisca una soluzione affidabile in un periodo così breve. Anche una manciata di secondi può fare una differenza significativa quando si compete con fattori come il photobleaching.

Il modulo Denoise.ai è altrettanto veloce, fornendo una riduzione del rumore quasi in tempo reale. Ciò crea una combinazione sinergica con Autosignal.ai: le condizioni di imaging possono essere ottimizzate in pochi secondi semplicemente premendo un pulsante. Altri moduli AI possono essere aggiunti in modo simile, come Segment.ai per una rapida segmentazione delle funzionalità dell'immagine, come mostrato nel video.

I moduli NIS.ai possono essere inseriti nelle pipeline di analisi e imaging esistenti all'interno del nostro software NIS-Elements. Ciò è utile per ottimizzare l'efficienza di esperimenti ad alto contenuto. Il modulo General Analysis 3 (GA3) viene utilizzato per creare routine di misurazione personalizzate e consente agli utenti di applicare nella stessa pipeline sia analisi classiche che basate su NIS.ai DL. I moduli NIS.ai possono anche essere incorporati nella routine di imaging utilizzando la procedura guidata dell'esperimento JOBS: i risultati ottenuti utilizzando un modulo NIS.ai all'interno di JOBS possono essere utilizzati per dirigere il corso dell'esperimento. Ad esempio, è possibile eseguire automaticamente acquisizioni mirate in base ai risultati dell'analisi, una scelta adatta per il targeting di eventi rari.

Timelapse risonante A1 raw vs denoise

Specie Drosofila, campione di larve fornito da Amicia Elliot, PhD, NIH/NIMH, Bethesda MD. Acquisito al Corso di Microscopia Quantitativa a Fluorescenza 2019.

Dettagli di acquisizione: scanner risonante, dimensione 1024 x 512, velocità di scansione 30 fps, zoom di scansione x0,72, No Averaging

Obiettivo Plan Apo 4X

Deep Learning per l'imaging cellulare in tempo reale

Uno dei maggiori vantaggi di molti moduli AI di NIS.ai è la riduzione della dose di fotoni. Denoise.ai e Clarify.ai forniscono immagini più nitide senza richiedere la raccolta di segnali aggiuntivi. Convert.ai consente la previsione dei canali di imaging a fluorescenza da immagini a luce trasmessa (ad esempio, DIC), eliminando in alcuni casi del tutto la necessità di imaging a fluorescenza. Enhance.ai può prevedere immagini di segnale più elevato da dati a basso segnale, riducendo al minimo la dose di fotoni richiesta per l'eccitazione.

La microscopia a fluorescenza generalmente richiede un'intensità di illuminazione molto più elevata rispetto ai metodi a luce trasmessa, ha un budget fotonico limitato ed è spesso il metodo di scelta per l'imaging di cellule vive, specialmente nella ricerca. La riduzione della dose di fotoni è utile per la maggior parte delle applicazioni di imaging, ma è essenziale per l'imaging a fluorescenza di cellule vive, dove il photobleaching e la fototossicità sono le principali preoccupazioni.

Addestrare i moduli NIS.ai è semplice. Il software fornisce una visualizzazione in tempo reale dell'avanzamento dell’addestramento (in figura Enhance.ai).

Analisi dei dati dell'immagine DAPI a basso segnale (a sinistra) utilizzando il modulo Enhance.ai per prevedere un ripristino a segnale più elevato (a destra)

La direzione dell’AI e del Deep Learning in Microscopia

L'applicazione dell'intelligenza artificiale e dell'apprendimento profondo in microscopia è ancora in una fase relativamente precoce, con nuove ricerche e applicazioni costantemente pubblicate che spingono il campo in avanti. Dato il potenziale dei metodi DL e la rapidità con cui tali metodi stanno diventando popolari, è importante che le comunità di intelligenza artificiale e microscopia sviluppino linee guida chiare per applicazioni appropriate e metriche di qualità che consentano ai non specialisti senza background computazionale di essere sicuri nell'uso di questi metodi strumenti per la ricerca peer-reviewed.

I moduli AI pre-addestrati di Nikon, che attualmente includono Clarify.ai e Denoise.ai, non consentono la regolazione manuale di impostazioni ambigue come la “forza” dell'analisi, evitando che i pregiudizi degli utenti influiscano sui risultati. Tutti coloro che utilizzano Clarify.ai o Denoise.ai utilizzano la stessa rete pre-addestrata di ogni altro utente.

Per i moduli NIS.ai che devono essere addestrati, inclusi Convert.ai, Enhance.ai e Segment.ai, il modulo include un'interfaccia utente grafica intuitiva per la formazione in rete. L'utente può monitorare l'andamento della formazione, inclusa una visualizzazione in tempo reale del numero di iterazioni e della perdita di formazione.

Glossario

Funzione
Riepilogo della funzione del modulo software NIS.ai.
Pacchetti software
Elenco dei pacchetti software e dei moduli NIS-Elements disponibili per l'acquisto. I singoli moduli NIS.ai possono essere inclusi o disponibili a scelta per i diversi pacchetti software e moduli, come indicato.
Pre-formazione richiesta
L'addestramento di una rete neurale di deep learning per l'analisi delle immagini viene spesso eseguito utilizzando l'apprendimento supervisionato con dati di immagine accoppiati: un'immagine di input (del tipo che verrà analizzato dopo l'addestramento) e un'immagine della verità di base della stessa area dove è soddisfatta la condizione desiderata. I pesi dei nodi all'interno della rete neurale vengono regolati per ridurre al minimo l'errore tra l'immagine di output prevista e la verità di base.
Sistemi Nikon compatibili
Indica quali microscopi/sistemi Nikon sono compatibili. Ciò presuppone che il sistema sia configurato per acquisire immagini digitali.