Deep Learning in Microscopia

Comprendere i vantaggi e i limiti del Deep Learning per la microscopia

Sebbene gli algoritmi e il software basati sul deep learning promettano molto per supportare l'analisi delle immagini mediante microscopia ottica, è importante capire che tali approcci non sono una panacea, ma piuttosto modi diversi per affrontare un problema. Gli algoritmi di Deep Learning (DL), che funzionano inferendo correlazioni tra le caratteristiche dei dati (che potrebbero non essere necessariamente ovvie o intuitive), saranno più adatti ad alcuni problemi rispetto agli approcci classici. Tuttavia, spesso il maggiore vantaggio dell'intelligenza artificiale (AI) per la microscopia è l'accelerazione dell'analisi delle immagini.

Gli algoritmi DL supervisionati, come quelli utilizzati dai moduli AI NIS.ai di Nikon, richiedono dati estesi per addestrare la rete neurale. Mentre Nikon pre-addestra alcuni moduli AI, tra cui Denoise.ai, Clarify.ai e Autosignal.ai, altri dovranno essere addestrati utilizzando le condizioni di acquisizione specifiche per un determinato esperimento. Questo processo può essere lungo, ma una volta completato consentirà una rapida analisi di nuovi dati. È importante capire che i risultati non sono i dati di campo. In definitiva, questo limita le applicazioni appropriate.

Come esempio di un caso d'uso appropriato, il modulo Convert.ai può essere addestrato per prevedere i modelli di colorazione nucleare DAPI dalle immagini di luce trasmessa. Questo canale DAPI predetto è utile e appropriato per il conteggio delle cellule, che dipende principalmente dalla corretta localizzazione del segnale DAPI. Tuttavia, l'utilizzo di immagini DAPI predette per le applicazioni che richiedono la quantificazione delle informazioni sull'intensità sarebbe inappropriato. Sebbene DL sia affidabile per prevedere con precisione la localizzazione DAPI e i modelli di colorazione grossolani, non è una buona scelta per quantificare dettagli fini ed eventi rari. Questi ultimi non sarebbero ben rappresentati nei dati di addestramento e quindi probabilmente non sarebbero rilevati.

Ottimizzazione dell'imaging e dell'analisi con il deep learning

Un vantaggio dei metodi DL è la velocità con cui si possono eseguire compiti variati e complessi. Ciò consente lo stacking di metodi DL per eseguire analisi complicate in più parti in periodi di tempo relativamente brevi, anche durante il processo di imaging quando il tempo è limitato.

Ad esempio, il modulo Autosignal.ai determina automaticamente la potenza e il guadagno laser ottimali in pochi secondi quando si utilizza il nostro microscopio confocale AX / AX R. È improbabile che un approccio classico a questo problema restituisca una soluzione affidabile in un periodo così breve. Anche una manciata di secondi può fare una differenza significativa quando si compete con fattori come il photobleaching.

Il modulo Denoise.ai è altrettanto veloce, fornendo una riduzione del rumore quasi in tempo reale. Ciò crea una combinazione sinergica con Autosignal.ai: le condizioni di imaging possono essere ottimizzate in pochi secondi semplicemente premendo un pulsante. Altri moduli AI possono essere aggiunti in modo simile, come Segment.ai per una rapida segmentazione delle funzionalità dell'immagine, come mostrato nel video.

I moduli NIS.ai possono essere inseriti nelle pipeline di analisi e imaging esistenti all'interno del nostro software NIS-Elements. Ciò è utile per ottimizzare l'efficienza di esperimenti ad alto contenuto. Il modulo General Analysis 3 (GA3) viene utilizzato per creare routine di misurazione personalizzate e consente agli utenti di applicare nella stessa pipeline sia analisi classiche che basate su NIS.ai DL. I moduli NIS.ai possono anche essere incorporati nella routine di imaging utilizzando la procedura guidata dell'esperimento JOBS: i risultati ottenuti utilizzando un modulo NIS.ai all'interno di JOBS possono essere utilizzati per dirigere il corso dell'esperimento. Ad esempio, è possibile eseguire automaticamente acquisizioni mirate in base ai risultati dell'analisi, una scelta adatta per il targeting di eventi rari.

Deep Learning per l'imaging cellulare in tempo reale

Uno dei maggiori vantaggi di molti moduli AI di NIS.ai è la riduzione della dose di fotoni. Denoise.ai e Clarify.ai forniscono immagini più nitide senza richiedere la raccolta di segnali aggiuntivi. Convert.ai consente la previsione dei canali di imaging a fluorescenza da immagini a luce trasmessa (ad esempio, DIC), eliminando in alcuni casi del tutto la necessità di imaging a fluorescenza. Enhance.ai può prevedere immagini di segnale più elevato da dati a basso segnale, riducendo al minimo la dose di fotoni richiesta per l'eccitazione.

La microscopia a fluorescenza generalmente richiede un'intensità di illuminazione molto più elevata rispetto ai metodi a luce trasmessa, ha un budget fotonico limitato ed è spesso il metodo di scelta per l'imaging di cellule vive, specialmente nella ricerca. La riduzione della dose di fotoni è utile per la maggior parte delle applicazioni di imaging, ma è essenziale per l'imaging a fluorescenza di cellule vive, dove il photobleaching e la fototossicità sono le principali preoccupazioni.

La direzione dell’AI e del Deep Learning in Microscopia

L'applicazione dell'intelligenza artificiale e dell'apprendimento profondo in microscopia è ancora in una fase relativamente precoce, con nuove ricerche e applicazioni costantemente pubblicate che spingono il campo in avanti. Dato il potenziale dei metodi DL e la rapidità con cui tali metodi stanno diventando popolari, è importante che le comunità di intelligenza artificiale e microscopia sviluppino linee guida chiare per applicazioni appropriate e metriche di qualità che consentano ai non specialisti senza background computazionale di essere sicuri nell'uso di questi metodi strumenti per la ricerca peer-reviewed.

I moduli AI pre-addestrati di Nikon, che attualmente includono Clarify.ai e Denoise.ai, non consentono la regolazione manuale di impostazioni ambigue come la “forza” dell'analisi, evitando che i pregiudizi degli utenti influiscano sui risultati. Tutti coloro che utilizzano Clarify.ai o Denoise.ai utilizzano la stessa rete pre-addestrata di ogni altro utente.

Per i moduli NIS.ai che devono essere addestrati, inclusi Convert.ai, Enhance.ai e Segment.ai, il modulo include un'interfaccia utente grafica intuitiva per la formazione in rete. L'utente può monitorare l'andamento della formazione, inclusa una visualizzazione in tempo reale del numero di iterazioni e della perdita di formazione.