Aprendizagem Profunda em Microscopia

Entendendo os benefícios e as limitações da aprendizagem profunda para a microscopia

Embora os algoritmos e softwares baseados em aprendizagem profunda sejam muito promissores para auxiliar na análise de imagens de microscopia óptica, é importante entender que essas abordagens não constituem uma solução para tudo, mas sim, são maneiras diferentes de abordar um problema. Algoritmos de aprendizagem profunda (DL), que funcionam inferindo correlações entre recursos de dados (que podem não ser necessariamente óbvios ou intuitivos), serão mais adequados para alguns problemas do que as abordagens clássicas. No entanto, muitas vezes, o maior benefício da inteligência artificial (AI) para microscopia é a agilidade da análise de imagens.

Os algoritmos de DL supervisionados, usados pelos módulos NIS.ai AI da Nikon, exigem dados extensivos para treinar a rede neural. Enquanto a Nikon pré-treina alguns módulos de AI, incluindo Denoise.ai, Clarify.ai e Autosignal.ai, outros precisarão ser treinados utilizando as condições de aquisição específicas para um determinado experimento. Esse processo pode ser demorado, mas, uma vez concluído, permitirá uma análise rápida de novos dados. É importante entender que os resultados não são a verdade absoluta. Em última análise, isso limita as aplicações apropriadas.

Como exemplo de um caso de uso apropriado, o módulo Convert.ai pode ser treinado para prever padrões de coloração nuclear por DAPI, a partir de imagens de luz transmitida. Este canal previsto de DAPI é útil e apropriado para contagem de células, que depende principalmente da localização correta do sinal de DAPI. No entanto, o uso das imagens previstas de DAPI, para aplicações que exigem quantificação da informação de intensidade, seria inapropriado. Embora a DL seja confiável para prever com precisão a localização de DAPI e os padrões de coloração brutos, não é uma boa opção para quantificar detalhes finos e eventos raros, os quais não seriam bem representados nos dados de treinamento prévio e provavelmente seriam perdidos.

Simplificação na aquisição e análise de imagens com a aprendizagem profunda

Uma vantagem dos métodos de DL é a rapidez com que eles podem executar tarefas diferentes e complexas. Isso permite a sobreposição de métodos de DL para realizar análises complicadas de várias partes em períodos de tempo relativamente curtos, mesmo durante o processo de aquisição de imagem quando o tempo é limitado.

Por exemplo, o módulo Autosignal.ai determina automaticamente a potência e o ganho ideais do laser, em questão de segundos, ao utilizar nosso microscópio confocal AX / AX R. É improvável que uma abordagem clássica para esse problema forneça uma solução confiável em um período tão curto. Mesmo alguns segundos podem fazer uma diferença significativa quando fatores como o fotobranqueamento estão presentes.

O módulo Denoise.ai é igualmente rápido, fornecendo eliminação de ruído quase em tempo real. Isso cria uma combinação sinérgica com o Autosignal.ai – as condições de imagem podem ser otimizadas em segundos, com o apertar de um botão. Outros módulos de AI podem ser combinados de maneira semelhante, como Segment.ai, para segmentação rápida de recursos de imagem, conforme mostrado no vídeo.

Os módulos NIS.ai podem ser conectados a pipelines existentes de aquisição e análise de imagem, em nosso software NIS-Elements. Isso é vantajoso para otimizar a eficiência de experimentos de alto conteúdo. O módulo General Analysis 3 (GA3) é utilizado para criar rotinas de medição personalizadas e permite que os usuários apliquem análises clássicas e baseadas em aprendizagem profunda NIS.ai combinadas no mesmo pipeline. Os módulos NIS.ai também podem ser incorporados à rotina de geração de imagens utilizando o assistente de experimento JOBS – os resultados obtidos por meio de um módulo NIS.ai dentro do JOBS podem ser utilizados para direcionar o curso do experimento. Por exemplo, pode-se realizar automaticamente aquisições direcionadas com base nos resultados da análise – uma escolha adequada para direcionar eventos raros.

Aprendizagem profunda para aquisição de imagens de células vivas

Um dos maiores benefícios fornecidos por muitos dos módulos NIS.ai AI é a redução da dose de fótons. Denoise.ai e Clariify.ai fornecem imagens mais nítidas sem exigir a coleta de sinal adicional. O Convert.ai permite a previsão de canais de imagens de fluorescência a partir de imagens de luz transmitida (por exemplo, DIC), eliminando a necessidade de imagens de fluorescência em alguns casos. O Enhance.ai pode prever imagens de sinal mais alto a partir de dados de baixo sinal, minimizando a dose de fótons necessária para a excitação.

A microscopia de fluorescência geralmente requer uma intensidade de iluminação muito maior do que os métodos de luz transmitida, tem um orçamento de fótons limitado e muitas vezes é o método de escolha para imagens de células vivas, especialmente em pesquisa. A redução da dose de fótons é útil para a maioria das aplicações de aquisição de imagem, mas é essencial para imagens de fluorescência de células vivas, onde o fotobranqueamento e a fototoxicidade são as principais preocupações.

A direção da AI e da aprendizagem profunda na microscopia

A aplicação de AI e aprendizagem profunda na microscopia ainda está em um estágio relativamente inicial, com novas pesquisas e aplicações sendo publicadas consistentemente e impulsionando o campo. Dado o potencial dos métodos de DL e a rapidez com que os mesmos estão se popularizando, é importante que as comunidades de AI e microscopia desenvolvam diretrizes claras para aplicações apropriadas, bem como métricas de qualidade, que permitam que não especialistas, sem conhecimentos computacionais, tenham confiança na utilização dessas ferramentas nas pesquisas.

Os módulos de AI pré-treinados da Nikon, que atualmente incluem Clarify.ai e Denoise.ai, não permitem o ajuste manual de configurações ambíguas, como “força” de análise, evitando a possibilidade de o viés do usuário afetar os resultados. Todos que usam Clarify.ai ou Denoise.ai estão utilizando a mesma rede pré-treinada que qualquer outro usuário.

Para módulos NIS.ai que devem ser treinados, incluindo Convert.ai, Enhance.ai e Segment.ai, o módulo inclui uma interface gráfica de usuário intuitiva para treinamento de rede. O usuário pode monitorar o progresso do treinamento, incluindo uma visualização em tempo real do número de iterações e perda do treinamento.