Aprendizaje profundo en microscopía

Los métodos de inteligencia artificial (IA) están ganando popularidad en el análisis de datos de microscopía. El aprendizaje profundo (DL) es un tipo de aprendizaje automático (ML) que utiliza una red neuronal artificial (ANN) para el aprendizaje. Las ANN se denominan así debido a las similitudes con nuestro propio cerebro: cada “neurona” (nodo) en la red recibe entradas de muchos otros nodos. El proceso de entrenamiento cambia el peso de estas conexiones para predecir mejor los resultados esperados de una entrada determinada.

Productos para aprendizaje profundo en microscopía

El enfoques de DL se puede suponer una ventaja para a una variedad de tareas de análisis de imágenes. Los módulos de software NIS.ai de Nikon para el software NIS-Elements aprovechan DL para varios análisis de imágenes. Los módulos NIS.ai se pueden combinar con otras herramientas de software como parte de proyecto de análisis y captura de imágenes automatizadas utilizando nuestro asistente de experimentos JOBS y el módulo General Analysis 3 (GA3), respectivamente.

●: Incluido, ⚬: Opcional

Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
Función Determina automáticamente la intensidad y la ganancia óptimas del láser para la captura de imágenes confocales de barrido. Elimina automáticamente la señal de fluorescencia desenfocada de las imágenes de fluorescencia de campo amplio. Predice imágenes en un canal determinado a partir de patrones identificados en un canal de luz transmitida. Elimina automáticamente el ruido de la imagen. Predice una imagen con una relación señal/ruido mejorada a partir de una imagen de baja señal. Segmenta características complejas de una imagen en función de patrones identificados a partir del entrenamiento previo guiado por el usuario.
Entrenamiento previo requerido no no no
Sistemas Nikon compatibles Microscopios confocales AX / AX R Todo TodoMicroscopios confocales AX R y sistemas basados en cámaras CMOS Todo Todo
Paquetes de software Autosignal.ai Clarify.ai Convert.ai Denoise.ai Enhance.ai Segment.ai
NIS-Elements C Optional Optional Optional Optional Optional Optional
NIS-Elements AR no Optional Optional Optional Optional Optional
NIS-Elements AR ML no Optional Optional Optional Optional Optional
NIS-Elements AR Pasivo no Optional Optional Optional Optional Optional
Módulo NIS.ai yes Optional Optional yes Optional Optional
Incluido con módulos de deconvolución no Yes no no no no

Discusión sobre el aprendizaje profundo en microscopía

Imágenes de reconstrucción DIC, Ground Truth y Convert.ai de un esferoide en cultivo. Convert.ai pudo reconstruir adecuadamente la posición y la forma del marcador de fluorescencia, si no todos los detalles exactos.

Comprensión de los beneficios y limitaciones del aprendizaje profundo para microscopía

Si bien los algoritmos y el software basados en el aprendizaje profundo son muy prometedores para respaldar el análisis de imágenes de microscopía óptica, es importante comprender que tales enfoques no son una “cura para todo” sino formas diferentes de abordar un problema. Los algoritmos de aprendizaje profundo (DL), que funcionan infiriendo correlaciones entre las características de los datos (que pueden no ser necesariamente obvias o intuitivas), serán más adecuados para algunos problemas que los enfoques clásicos. Sin embargo, a menudo, el mayor beneficio de la inteligencia artificial (IA) para la microscopía es la aceleración del análisis de imágenes.

Los algoritmos DL supervisados, como los que utilizan los módulos NIS.ai AI de Nikon, requieren una gran cantidad de datos para entrenar la red neuronal. Si bien Nikon entrena previamente algunos módulos de IA, incluidos Denoise.ai, Clarify.ai y Autosignal.ai, otros deberán entrenarse utilizando las condiciones de adquisición específicas para un experimento determinado. Este proceso puede ser largo, pero una vez completado, permitirá un análisis rápido de nuevos datos. Es importante entender que los resultados no son la verdad básica. En última instancia, esto limita las aplicaciones apropiadas.

Como ejemplo de un caso de uso apropiado, el módulo Convert.ai se puede entrenar para predecir patrones de tinción nuclear DAPI a partir de imágenes de luz transmitida. Este canal DAPI predicho es útil y apropiado para el recuento de células, que depende principalmente de la localización correcta de la señal DAPI. Sin embargo, el uso de imágenes DAPI predichas para aplicaciones que requieren cuantificación de información de intensidad sería inapropiado. Si bien DL es fiable para predecir con precisión la localización de DAPI y los patrones de tinción macroscópica, no es una buena opción para cuantificar detalles finos y eventos raros, el último de los cuales no estaría bien representado en los datos de entrenamiento para comenzar y es probable que se pase por alto.

Imagen de una sección de intestino de ratón marcada con fluorescencia adquirida con un microscopio confocal de barrido resonante Nikon AX R y una lente de objetivo 20X WI 0.95 NA

Optimización de imágenes y análisis con aprendizaje profundo

Una ventaja de los métodos DL es la rapidez con la que pueden realizar tareas diferentes y complejas. Esto permite el apilamiento de métodos DL para realizar análisis complicados de varias partes en períodos de tiempo relativamente cortos, incluso durante el proceso de creación de imágenes cuando el tiempo es limitado.

Por ejemplo, el módulo Autosignal.ai determina automáticamente la intensidad del láser y la ganancia óptimas en cuestión de segundos cuando se utiliza nuestro microscopio confocal AX/AX R. Es poco probable que un planteamiento clásico de este problema brinde una solución fiable en un período tan corto. Incluso unos pocos segundos pueden marcar una diferencia significativa cuando se compite con factores como el fotoblanqueo.

El módulo Denoise.ai es igualmente rápido y eliminando el ruido casi en tiempo real. Esto crea una combinación sinérgica con Autosignal.ai: las condiciones de captura de imagen se pueden optimizar en segundos con solo presionar un botón. Otros módulos de IA se pueden apilar de manera similar, como Segment.ai para una segmentación rápida de las características de la imagen, como se muestra en el video.

Los módulos NIS.ai se pueden conectar a los proyectos de análisis y captura imágenes existentes dentro de nuestro software NIS-Elements. Esto es beneficioso para optimizar la eficiencia de los experimentos de alto contenido. El módulo General Analysis 3 (GA3) se utiliza para crear rutinas de medición personalizadas y permite a los usuarios aplicar análisis clásicos y basados en NIS.ai DL juntos en el mismo proyecto. Los módulos NIS.ai también se pueden integrar en la rutina de captura de imágenes mediante el asistente de experimentos JOBS: los resultados obtenidos mediante un módulo NIS.ai dentro de JOBS se pueden utilizar para dirigir el curso del experimento. Por ejemplo, se pueden realizar automáticamente adquisiciones dirigidas en función de los resultados del análisis, una opción adecuada para detectar eventos raros.

Lapso de tiempo resonante A1 sin procesar comparado a sin ruido

Drosophila sp. muestra de larvas proporcionada por Amicia Elliot, PhD, NIH/NIMH, Bethesda MD. Adquirido en el Curso de Microscopía de Fluorescencia Cuantitativa 2019.

Detalles de adquisición: Escáner resonante, Dimensión 1024 x 512, Velocidad de escaneo 30 fps, Zoom de escaneo x0.72, Sin hacer promedio Objetivo Plan Apo 4X

Aprendizaje profundo para la captura de imágenes de células vivas

Uno de los mayores beneficios que brindan muchos de los módulos NIS.ai AI es la reducción de la dosis de fotones. Denoise.ai y Clarify.ai proporcionan imágenes más claras sin necesidad de recopilar una señal adicional. Convert.ai permite la predicción de canales de imágenes de fluorescencia a partir de imágenes de luz transmitida (por ejemplo, DIC), eliminando por completo la necesidad de adquirir imágenes de fluorescencia en algunos casos. Enhance.ai puede predecir imágenes de señal más alta a partir de datos de señal baja, minimizando la dosis de fotones necesaria para la excitación.

La microscopía de fluorescencia generalmente requiere una intensidad de iluminación mucho más alta que los métodos de luz transmitida, tiene un presupuesto de fotones limitado y, a menudo, es el método elegido para obtener imágenes de células vivas, especialmente en investigación. La reducción de la dosis de fotones es útil para la mayoría de las aplicaciones de imágenes, pero es esencial para las imágenes de fluorescencia de células vivas, donde el fotoblanqueo y la fototoxicidad son las principales preocupaciones.

El entrenamiento de los módulos NIS.ai es sencillo. El software proporciona una vista en tiempo real del progreso del entrenamiento (se muestra Enhance.ai).

Análisis de datos de imagen con señal de DAPI baja (izquierda) usando el módulo Enhance.ai para predecir una restauración de señal más alta (derecha)

La dirección de la IA y el aprendizaje profundo en microscopía

La aplicación de la IA y el aprendizaje profundo en microscopía aún se encuentra en una etapa relativamente temprana, con nuevas investigaciones y aplicaciones que se publican constantemente y que impulsan el campo hacia adelante. Dado el potencial de los métodos DL, y la rapidez con la que dichos métodos se generalizan, es importante que las comunidades de IA y microscopía desarrollen pautas claras para las aplicaciones apropiadas y las métricas de calidad que permitan a los no especialistas sin experiencia en informática tener confianza en el uso de estas herramientas para la investigación revisada por pares.

Los módulos de inteligencia artificial pre entrenados de Nikon, que actualmente incluyen Clarify.ai y Denoise.ai, no permiten el ajuste manual de configuraciones ambiguas como la “fuerza” del análisis, lo que evita la posibilidad de que el sesgo del usuario afecte los resultados. Todos los que usan Clarify.ai o Denoise.ai utilizan la misma red pre entrenada que cualquier otro usuario.

Para los módulos NIS.ai que se deben entrenar, incluidos Convert.ai, Enhance.ai y Segment.ai, el módulo incluye una interfaz gráfica de usuario intuitiva para el entrenamiento de la red. El usuario puede monitorear el progreso del entrenamiento, incluida una vista en tiempo real del número de iteraciones y la pérdida de entrenamiento.

Glosario

Entrenamiento previo requerido
El entrenamiento de una red neuronal de aprendizaje profundo para el análisis de imágenes a menudo se realiza mediante el aprendizaje supervisado con datos de imágenes emparejados: una imagen de entrada (del tipo que se analizará después del entrenamiento) y una imagen real de la misma área donde se cumple la condición deseada. El peso de los nodos dentro de la red neuronal se ajusta para minimizar el error entre la imagen de salida prevista y la realidad del terreno.
Función
Resumen de la función del módulo de software NIS.ai.
Paquetes de software
Lista de paquetes y módulos de software NIS-Elements disponibles para la compra. Los módulos NIS.ai individuales pueden estar incluidos o disponibles de manera opcional para los diferentes módulos y paquetes de software, como se indica.
Sistemas Nikon compatibles
Indica qué microscopios/sistemas Nikon son compatibles. Esto supone que el sistema está configurado para capturar imágenes digitales.