Deep Learning en microscopie

Comprendre les avantages et les limites du Deep Learning pour la microscopie

Bien que les algorithmes et les logiciels basés sur le Deep Learning soient très prometteurs pour prendre en charge l'analyse d'images en microscopie optique, il est important de comprendre que de telles approches ne sont pas une « panacée », mais plutôt différentes façons d'aborder un problème. Les algorithmes de Deep Learning (DL), qui fonctionnent en inférant des corrélations entre les caractéristiques des données (qui ne sont pas nécessairement évidentes ou intuitives), seront mieux adaptés à certains problèmes que les approches classiques. Cependant, le plus grand avantage de l'intelligence artificielle (IA) pour la microscopie est souvent l'accélération de l'analyse d'images.

Les algorithmes DL supervisés, tels qu'utilisés par les modules AI NIS.ai de Nikon, nécessitent de nombreuses données pour former le réseau neuronal. Alors que Nikon pré-entraîne certains modules d'IA, notamment Denoise.ai, Clarify.ai et Autosignal.ai, d'autres devront être formés en utilisant les conditions d'acquisition spécifiques pour une expérience donnée. Ce processus peut être long, mais une fois terminé, il permettra une analyse rapide des nouvelles données. Il est important de comprendre que les résultats ne sont pas la vérité terrain. En fin de compte, cela limite les applications appropriées.

Comme exemple de cas d'utilisation appropriée, le module Convert.ai peut être formé pour prédire les schémas de coloration nucléaire au DAPI à partir d'images en lumière transmise. Ce canal DAPI prédit est utile et approprié pour le comptage des cellules, qui dépend principalement de la localisation correcte du signal DAPI. Cependant, l'utilisation d'images DAPI prédites pour des applications nécessitant une quantification des informations d'intensité serait inappropriée. Bien que DL soit fiable pour prédire avec précision la localisation DAPI et les schémas de coloration grossière, ce n'est pas un bon choix pour quantifier les détails fins et les événements rares, ces derniers ne seraient pas bien représentés dans les données de formation pour commencer et seraient susceptibles d'être manqués.

Rationalisation de l'imagerie et de l'analyse avec le Deep Learning

Un avantage des méthodes DL est la rapidité avec laquelle elles peuvent effectuer des tâches différentes et complexes. Cela permet d'empiler les méthodes DL pour effectuer des analyses complexes en plusieurs parties dans des périodes de temps relativement courtes, même pendant le processus d'imagerie lorsque le temps est limité.

Par exemple, le module Autosignal.ai détermine automatiquement la puissance et le gain laser optimaux en quelques secondes lors de l'utilisation de notre microscope confocal AX / AX R. Il est peu probable qu'une approche classique de ce problème donne une solution fiable en si peu de temps. Même une poignée de secondes peut faire une différence significative face à des facteurs tels que le photoblanchiment.

Le module Denoise.ai est tout aussi rapide, offrant un débruitage en temps quasi réel. Cela permet une combinaison synergique avec Autosignal.ai - les conditions d'imagerie peuvent être optimisées en quelques secondes en appuyant sur un bouton. D'autres modules AI peuvent être empilés de la même manière, tels que Segment.ai pour une segmentation rapide des caractéristiques de l'image, comme le montre la vidéo.

Les modules NIS.ai peuvent être connectés aux pipelines d'imagerie et d'analyse existants au sein de notre logiciel NIS-Elements. Ceci est bénéfique pour optimiser l'efficacité des expériences de type de haut contenu.Le module General Analysis 3 (GA3) est utilisé pour créer des routines de mesure personnalisées et permet aux utilisateurs d'appliquer des analyses NIS.ai DL et classiques ensemble dans le même pipeline. Les modules NIS.ai peuvent également être intégrés dans la routine d'imagerie à l'aide de l'assistant d'expérience JOBS - les résultats obtenus à l'aide d'un module NIS.ai dans JOBS peuvent être utilisés pour diriger le déroulement de l'expérience. Par exemple, on peut effectuer automatiquement des acquisitions ciblées en fonction des résultats d'analyse - un choix approprié pour cibler des événements rares.

Deep Learning pour l'imagerie de cellules vivantes

L'un des plus grands avantages fournis par de nombreux modules NIS.ai AI est la réduction de la dose de photons. Denoise.ai et Clarify.ai fournissent des images plus claires sans nécessiter de signal supplémentaire à collecter. Convert.ai permet de prédire les canaux d'imagerie de fluorescence à partir d'images de lumière transmise (par exemple, DIC), éliminant complètement le besoin d'imagerie de fluorescence dans certains cas. Enhance.ai peut prédire des images à signal plus élevé à partir de données à faible signal, minimisant ainsi la dose de photons requise pour l'excitation.

Fluorescence microscopy generally requires much higher illumination intensity than transmitted light methods, has a limited photon budget, and is often the method of choice for live cell imaging, especially in research. Reduction of photon dose is useful for most imaging applications, but is essential for live cell fluorescence imaging, where photobleaching and phototoxicity are top concerns.

La direction de l'IA et du Deep Learning en microscopie

L'application de l'IA et du Deep Learning en microscopie en est encore à un stade relativement précoce, de nouvelles recherches et applications étant constamment publiées et faisant avancer le domaine. Compte-tenu du potentiel des méthodes DL et de la rapidité avec laquelle ces méthodes sont généralisées, il est important que les communautés de l'IA et de la microscopie élaborent des directives claires pour des applications appropriées et des mesures de qualité qui permettent aux non-spécialistes sans expérience en informatique d'avoir confiance dans l'utilisation de ces outils pour la recherche évaluée par des pairs.

Les modules d'intelligence artificielle préformés de Nikon, qui incluent actuellement Clarify.ai et Denoise.ai, ne permettent pas le réglage manuel de paramètres ambigus tels que la « force » de l'analyse, évitant ainsi que les biais de l'utilisateur n'affectent les résultats. Tous ceux qui utilisent Clarify.ai ou Denoise.ai utilisent le même réseau préformé que tous les autres utilisateurs.

Pour les modules NIS.ai qui doivent être formés, notamment Convert.ai, Enhance.ai et Segment.ai, le module comprend une interface utilisateur graphique intuitive pour la formation réseau. L'utilisateur peut surveiller la progression de la formation, y compris une vue en temps réel du nombre d'itérations et de la perte de formation.