Aprendizagem Profunda em Microscopia
Os métodos de inteligência artificial (AI, do inglês Artificial Intelligence) estão ganhando popularidade na análise de dados de microscopia. A aprendizagem profunda (DL, do inglês Deep Learning) é um tipo de aprendizado de máquina (ML, do inglês Machine Learning) que usa uma rede neural artificial (ANN, do inglês Artificial Neural Network) para aprendizagem. As ANNs são assim chamadas devido às semelhanças com o nosso próprio cérebro – cada “neurônio” (nó) na rede recebe dados de vários outros nós. O processo de treinamento altera o peso dessas conexões, de maneira a reconhecer padrões e melhor prever os resultados esperados de uma determinado dado.
Produtos para Aprendizagem Profunda em Microscopia
As abordagens de DL podem ser aplicadas de maneira vantajosa a uma variedade de tarefas na análise de imagem. Os módulos NIS.ai da Nikon, para o software NIS-Elements, aproveitam da DL para várias análises de imagem. Esses módulos podem ser combinados com outras ferramentas de software, como parte de pipelines automatizados de aquisição e análise de imagem, por meio do nosso assistente de experimento JOBS e o módulo General Analysis 3 (GA3), respectivamente.
●: Incluído, ⚬: Opcional
Autosignal.ai | Clarify.ai | Convert.ai | Denoise.ai | Enhance.ai | Segment.ai | |
---|---|---|---|---|---|---|
Função | Determina automaticamente a potência e o ganho ideais do laser para imagens confocais de varredura de ponto. | Remove automaticamente o sinal de fluorescência fora de foco de imagens de fluorescência de campo amplo. | Prevê imagens em um determinado canal a partir de padrões identificados em um canal de luz transmitido. | Remove automaticamente o ruído da imagem. | Prevê uma imagem com melhor relação sinal/ruído a partir de uma imagem de baixo sinal. | Segmenta recursos de imagem complexos com base em padrões identificados no pré-treinamento guiado pelo usuário. |
Pré-treinamento obrigatório | não | não | sim | não | sim | sim |
Sistemas Nikon compatíveis | Microscópios Confocais AX / AX R | Todos | Todos | Microscópios confocais AX R e sistemas baseados em câmeras CMOS | Todos | Todos |
Pacotes de software | Autosignal.ai | Clarify.ai | Convert.ai | Denoise.ai | Enhance.ai | Segment.ai |
NIS-Elements C | Optional | Optional | Optional | Optional | Optional | Optional |
NIS-Elements AR | no | Optional | Optional | Optional | Optional | Optional |
NIS-Elements AR ML | no | Optional | Optional | Optional | Optional | Optional |
NIS-Elements AR Passive | no | Optional | Optional | Optional | Optional | Optional |
Módulo NIS.ai | yes | Optional | Optional | yes | Optional | Optional |
Fornecido com módulos de deconvolução | no | Yes | no | no | no | no |
Discussão da Aprendizagem Profunda em Microscopia
Entendendo os benefícios e as limitações da aprendizagem profunda para a microscopia
Embora os algoritmos e softwares baseados em aprendizagem profunda sejam muito promissores para auxiliar na análise de imagens de microscopia óptica, é importante entender que essas abordagens não constituem uma solução para tudo, mas sim, são maneiras diferentes de abordar um problema. Algoritmos de aprendizagem profunda (DL), que funcionam inferindo correlações entre recursos de dados (que podem não ser necessariamente óbvios ou intuitivos), serão mais adequados para alguns problemas do que as abordagens clássicas. No entanto, muitas vezes, o maior benefício da inteligência artificial (AI) para microscopia é a agilidade da análise de imagens.
Os algoritmos de DL supervisionados, usados pelos módulos NIS.ai AI da Nikon, exigem dados extensivos para treinar a rede neural. Enquanto a Nikon pré-treina alguns módulos de AI, incluindo Denoise.ai, Clarify.ai e Autosignal.ai, outros precisarão ser treinados utilizando as condições de aquisição específicas para um determinado experimento. Esse processo pode ser demorado, mas, uma vez concluído, permitirá uma análise rápida de novos dados. É importante entender que os resultados não são a verdade absoluta. Em última análise, isso limita as aplicações apropriadas.
Como exemplo de um caso de uso apropriado, o módulo Convert.ai pode ser treinado para prever padrões de coloração nuclear por DAPI, a partir de imagens de luz transmitida. Este canal previsto de DAPI é útil e apropriado para contagem de células, que depende principalmente da localização correta do sinal de DAPI. No entanto, o uso das imagens previstas de DAPI, para aplicações que exigem quantificação da informação de intensidade, seria inapropriado. Embora a DL seja confiável para prever com precisão a localização de DAPI e os padrões de coloração brutos, não é uma boa opção para quantificar detalhes finos e eventos raros, os quais não seriam bem representados nos dados de treinamento prévio e provavelmente seriam perdidos.
Simplificação na aquisição e análise de imagens com a aprendizagem profunda
Uma vantagem dos métodos de DL é a rapidez com que eles podem executar tarefas diferentes e complexas. Isso permite a sobreposição de métodos de DL para realizar análises complicadas de várias partes em períodos de tempo relativamente curtos, mesmo durante o processo de aquisição de imagem quando o tempo é limitado.
Por exemplo, o módulo Autosignal.ai determina automaticamente a potência e o ganho ideais do laser, em questão de segundos, ao utilizar nosso microscópio confocal AX / AX R. É improvável que uma abordagem clássica para esse problema forneça uma solução confiável em um período tão curto. Mesmo alguns segundos podem fazer uma diferença significativa quando fatores como o fotobranqueamento estão presentes.
O módulo Denoise.ai é igualmente rápido, fornecendo eliminação de ruído quase em tempo real. Isso cria uma combinação sinérgica com o Autosignal.ai – as condições de imagem podem ser otimizadas em segundos, com o apertar de um botão. Outros módulos de AI podem ser combinados de maneira semelhante, como Segment.ai, para segmentação rápida de recursos de imagem, conforme mostrado no vídeo.
Os módulos NIS.ai podem ser conectados a pipelines existentes de aquisição e análise de imagem, em nosso software NIS-Elements. Isso é vantajoso para otimizar a eficiência de experimentos de alto conteúdo. O módulo General Analysis 3 (GA3) é utilizado para criar rotinas de medição personalizadas e permite que os usuários apliquem análises clássicas e baseadas em aprendizagem profunda NIS.ai combinadas no mesmo pipeline. Os módulos NIS.ai também podem ser incorporados à rotina de geração de imagens utilizando o assistente de experimento JOBS – os resultados obtidos por meio de um módulo NIS.ai dentro do JOBS podem ser utilizados para direcionar o curso do experimento. Por exemplo, pode-se realizar automaticamente aquisições direcionadas com base nos resultados da análise – uma escolha adequada para direcionar eventos raros.
Aprendizagem profunda para aquisição de imagens de células vivas
Um dos maiores benefícios fornecidos por muitos dos módulos NIS.ai AI é a redução da dose de fótons. Denoise.ai e Clariify.ai fornecem imagens mais nítidas sem exigir a coleta de sinal adicional. O Convert.ai permite a previsão de canais de imagens de fluorescência a partir de imagens de luz transmitida (por exemplo, DIC), eliminando a necessidade de imagens de fluorescência em alguns casos. O Enhance.ai pode prever imagens de sinal mais alto a partir de dados de baixo sinal, minimizando a dose de fótons necessária para a excitação.
A microscopia de fluorescência geralmente requer uma intensidade de iluminação muito maior do que os métodos de luz transmitida, tem um orçamento de fótons limitado e muitas vezes é o método de escolha para imagens de células vivas, especialmente em pesquisa. A redução da dose de fótons é útil para a maioria das aplicações de aquisição de imagem, mas é essencial para imagens de fluorescência de células vivas, onde o fotobranqueamento e a fototoxicidade são as principais preocupações.
A direção da AI e da aprendizagem profunda na microscopia
A aplicação de AI e aprendizagem profunda na microscopia ainda está em um estágio relativamente inicial, com novas pesquisas e aplicações sendo publicadas consistentemente e impulsionando o campo. Dado o potencial dos métodos de DL e a rapidez com que os mesmos estão se popularizando, é importante que as comunidades de AI e microscopia desenvolvam diretrizes claras para aplicações apropriadas, bem como métricas de qualidade, que permitam que não especialistas, sem conhecimentos computacionais, tenham confiança na utilização dessas ferramentas nas pesquisas.
Os módulos de AI pré-treinados da Nikon, que atualmente incluem Clarify.ai e Denoise.ai, não permitem o ajuste manual de configurações ambíguas, como “força” de análise, evitando a possibilidade de o viés do usuário afetar os resultados. Todos que usam Clarify.ai ou Denoise.ai estão utilizando a mesma rede pré-treinada que qualquer outro usuário.
Para módulos NIS.ai que devem ser treinados, incluindo Convert.ai, Enhance.ai e Segment.ai, o módulo inclui uma interface gráfica de usuário intuitiva para treinamento de rede. O usuário pode monitorar o progresso do treinamento, incluindo uma visualização em tempo real do número de iterações e perda do treinamento.
Glossário
- Função
- Resumo das funções dos módulos de software NIS.ai.
- Pacotes de software
- Lista de pacotes e módulos do software NIS-Elements disponíveis para compra. Os módulos NIS.ai podem ser adquiridos individualmente ou incluídos em diferentes pacotes de software e módulos, conforme indicado.
- Pré-treinamento obrigatório
- O treinamento de uma rede neural de aprendizagem profunda para análise de imagem geralmente é realizado utilizando aprendizagem supervisionada, com dados de imagem emparelhados: uma imagem de entrada (semelhante à que será analisada após o treinamento) e uma imagem real da mesma área na qual a condição desejada é atendida . Os pesos dos nós dentro da rede neural são ajustados para minimizar o erro entre a imagem de saída prevista e a realidade da área.
- Sistemas Nikon compatíveis
- Indica quais microscópios/sistemas Nikon são compatíveis. Isso pressupõe que o sistema esteja configurado para capturar imagens digitais.