Aprendizaje profundo en microscopía

Comprensión de los beneficios y limitaciones del aprendizaje profundo para microscopía

Si bien los algoritmos y el software basados en el aprendizaje profundo son muy prometedores para respaldar el análisis de imágenes de microscopía óptica, es importante comprender que tales enfoques no son una “cura para todo” sino formas diferentes de abordar un problema. Los algoritmos de aprendizaje profundo (DL), que funcionan infiriendo correlaciones entre las características de los datos (que pueden no ser necesariamente obvias o intuitivas), serán más adecuados para algunos problemas que los enfoques clásicos. Sin embargo, a menudo, el mayor beneficio de la inteligencia artificial (IA) para la microscopía es la aceleración del análisis de imágenes.

Los algoritmos DL supervisados, como los que utilizan los módulos NIS.ai AI de Nikon, requieren una gran cantidad de datos para entrenar la red neuronal. Si bien Nikon entrena previamente algunos módulos de IA, incluidos Denoise.ai, Clarify.ai y Autosignal.ai, otros deberán entrenarse utilizando las condiciones de adquisición específicas para un experimento determinado. Este proceso puede ser largo, pero una vez completado, permitirá un análisis rápido de nuevos datos. Es importante entender que los resultados no son la verdad básica. En última instancia, esto limita las aplicaciones apropiadas.

Como ejemplo de un caso de uso apropiado, el módulo Convert.ai se puede entrenar para predecir patrones de tinción nuclear DAPI a partir de imágenes de luz transmitida. Este canal DAPI predicho es útil y apropiado para el recuento de células, que depende principalmente de la localización correcta de la señal DAPI. Sin embargo, el uso de imágenes DAPI predichas para aplicaciones que requieren cuantificación de información de intensidad sería inapropiado. Si bien DL es fiable para predecir con precisión la localización de DAPI y los patrones de tinción macroscópica, no es una buena opción para cuantificar detalles finos y eventos raros, el último de los cuales no estaría bien representado en los datos de entrenamiento para comenzar y es probable que se pase por alto.

Optimización de imágenes y análisis con aprendizaje profundo

Una ventaja de los métodos DL es la rapidez con la que pueden realizar tareas diferentes y complejas. Esto permite el apilamiento de métodos DL para realizar análisis complicados de varias partes en períodos de tiempo relativamente cortos, incluso durante el proceso de creación de imágenes cuando el tiempo es limitado.

Por ejemplo, el módulo Autosignal.ai determina automáticamente la intensidad del láser y la ganancia óptimas en cuestión de segundos cuando se utiliza nuestro microscopio confocal AX/AX R. Es poco probable que un planteamiento clásico de este problema brinde una solución fiable en un período tan corto. Incluso unos pocos segundos pueden marcar una diferencia significativa cuando se compite con factores como el fotoblanqueo.

El módulo Denoise.ai es igualmente rápido y eliminando el ruido casi en tiempo real. Esto crea una combinación sinérgica con Autosignal.ai: las condiciones de captura de imagen se pueden optimizar en segundos con solo presionar un botón. Otros módulos de IA se pueden apilar de manera similar, como Segment.ai para una segmentación rápida de las características de la imagen, como se muestra en el video.

Los módulos NIS.ai se pueden conectar a los proyectos de análisis y captura imágenes existentes dentro de nuestro software NIS-Elements. Esto es beneficioso para optimizar la eficiencia de los experimentos de alto contenido. El módulo General Analysis 3 (GA3) se utiliza para crear rutinas de medición personalizadas y permite a los usuarios aplicar análisis clásicos y basados en NIS.ai DL juntos en el mismo proyecto. Los módulos NIS.ai también se pueden integrar en la rutina de captura de imágenes mediante el asistente de experimentos JOBS: los resultados obtenidos mediante un módulo NIS.ai dentro de JOBS se pueden utilizar para dirigir el curso del experimento. Por ejemplo, se pueden realizar automáticamente adquisiciones dirigidas en función de los resultados del análisis, una opción adecuada para detectar eventos raros.

Aprendizaje profundo para la captura de imágenes de células vivas

Uno de los mayores beneficios que brindan muchos de los módulos NIS.ai AI es la reducción de la dosis de fotones. Denoise.ai y Clarify.ai proporcionan imágenes más claras sin necesidad de recopilar una señal adicional. Convert.ai permite la predicción de canales de imágenes de fluorescencia a partir de imágenes de luz transmitida (por ejemplo, DIC), eliminando por completo la necesidad de adquirir imágenes de fluorescencia en algunos casos. Enhance.ai puede predecir imágenes de señal más alta a partir de datos de señal baja, minimizando la dosis de fotones necesaria para la excitación.

La microscopía de fluorescencia generalmente requiere una intensidad de iluminación mucho más alta que los métodos de luz transmitida, tiene un presupuesto de fotones limitado y, a menudo, es el método elegido para obtener imágenes de células vivas, especialmente en investigación. La reducción de la dosis de fotones es útil para la mayoría de las aplicaciones de imágenes, pero es esencial para las imágenes de fluorescencia de células vivas, donde el fotoblanqueo y la fototoxicidad son las principales preocupaciones.

La dirección de la IA y el aprendizaje profundo en microscopía

La aplicación de la IA y el aprendizaje profundo en microscopía aún se encuentra en una etapa relativamente temprana, con nuevas investigaciones y aplicaciones que se publican constantemente y que impulsan el campo hacia adelante. Dado el potencial de los métodos DL, y la rapidez con la que dichos métodos se generalizan, es importante que las comunidades de IA y microscopía desarrollen pautas claras para las aplicaciones apropiadas y las métricas de calidad que permitan a los no especialistas sin experiencia en informática tener confianza en el uso de estas herramientas para la investigación revisada por pares.

Los módulos de inteligencia artificial pre entrenados de Nikon, que actualmente incluyen Clarify.ai y Denoise.ai, no permiten el ajuste manual de configuraciones ambiguas como la “fuerza” del análisis, lo que evita la posibilidad de que el sesgo del usuario afecte los resultados. Todos los que usan Clarify.ai o Denoise.ai utilizan la misma red pre entrenada que cualquier otro usuario.

Para los módulos NIS.ai que se deben entrenar, incluidos Convert.ai, Enhance.ai y Segment.ai, el módulo incluye una interfaz gráfica de usuario intuitiva para el entrenamiento de la red. El usuario puede monitorear el progreso del entrenamiento, incluida una vista en tiempo real del número de iteraciones y la pérdida de entrenamiento.