L'apprentissage en profondeur permet la référence

Nature Communications volume 13, Numéro d'article : 3297 (2022) Citer cet article

7567 Accès

5 Citations

37 Altmétrique

Détails des métriques

L'imagerie volumétrique par microscopie à fluorescence est souvent limitée par une résolution spatiale anisotrope, dans laquelle la résolution axiale est inférieure à la résolution latérale. Pour résoudre ce problème, nous présentons une technique de super-résolution non supervisée d'apprentissage en profondeur qui améliore les images anisotropes en microscopie à fluorescence volumétrique. Contrairement aux approches d'apprentissage en profondeur existantes qui nécessitent des images cibles à haute résolution assorties, notre méthode réduit considérablement l'effort à mettre en pratique car la formation d'un réseau ne nécessite qu'une seule pile d'images 3D, sans connaissance a priori du processus de formation d'image, enregistrement des données de formation ou acquisition séparée des données cibles. Ceci est réalisé sur la base du réseau antagoniste génératif cohérent avec le cycle de transport optimal qui apprend d'une correspondance non appariée entre des images 2D haute résolution dans le plan d'image latéral et des images 2D basse résolution dans d'autres plans. À l'aide de la microscopie confocale à fluorescence et de la microscopie à feuille de lumière, nous démontrons que le réseau formé améliore non seulement la résolution axiale, mais restaure également les détails visuels supprimés entre les plans d'imagerie et supprime les artefacts d'imagerie.

L'imagerie par fluorescence tridimensionnelle (3D) révèle des informations structurelles importantes sur un échantillon biologique qui sont généralement impossibles à obtenir à partir d'une image bidimensionnelle (2D). Les progrès récents dans les méthodes de compensation des tissus1,2,3,4,5 et la microscopie à fluorescence en feuille de lumière (LSFM)6,7,8,9 ont permis une visualisation 3D simplifiée des tissus biologiques à une échelle et une vitesse sans précédent, parfois même dans des détails plus fins. Néanmoins, la résolution spatiale en microscopie à fluorescence 3D est encore loin de la perfection ; une résolution isotrope reste difficile à atteindre.

L'anisotropie en microscopie à fluorescence se réfère généralement à plus de flou dans le plan d'imagerie axial. Un tel déséquilibre spatial dans les résolutions peut être attribué à de nombreux facteurs, notamment la diffraction de la lumière, le sous-échantillonnage axial et le degré de correction des aberrations. Même pour la microscopie à super-résolution10, qui dépasse essentiellement les limites de diffraction de la lumière, comme la microscopie à illumination structurelle 3D (3D-SIM)11,12 ou la microscopie à émission stimulée (STED)13, faire correspondre la résolution axiale à la résolution latérale reste un défi14. Alors que LSFM, où le chemin d'excitation de fluorescence ne s'aligne pas nécessairement sur le chemin de détection, fournit une amélioration substantielle de la résolution axiale9, une fonction d'étalement de point vraiment isotrope (PSF) est difficile à réaliser pour la plupart des techniques de microscopie à feuille de lumière contemporaines, et la résolution axiale est généralement 2 ou 3 fois pire que la résolution latérale15,16,17.

Au cours des dernières années de restauration d'images en microscopie à fluorescence, l'apprentissage en profondeur est apparu comme une approche alternative basée sur les données pour remplacer les algorithmes de déconvolution classiques. L'apprentissage en profondeur a pour avantage de capturer la complexité statistique d'un mappage d'image et de permettre une transformation d'image de bout en bout sans ajuster minutieusement les paramètres à la main. Certains exemples incluent l'amélioration de la résolution sur différentes modalités d'imagerie et tailles d'ouverture numérique18, vers l'isotropie19,20, ou moins de bruit19. Bien que ces méthodes offrent un certain niveau de flexibilité dans le fonctionnement de la microscopie, ces méthodes basées sur l'apprentissage en profondeur doivent supposer une certaine connaissance d'un domaine de données cible pour la formation du réseau. Par exemple, pour la reconstruction isotrope, Weigert et al19,20. ont utilisé une stratégie d'apprentissage supervisé consistant à associer des images latérales haute résolution à des images axiales basse résolution floues avec un modèle PSF explicite. Zhang et al21. a mis en œuvre une technique de super-résolution basée sur le GAN avec un modèle de dégradation d'image extrait du microscope. Dans les deux cas, le processus de dégradation d'image n'est pas dynamiquement apprenable, et une telle hypothèse d'un processus de dégradation d'image fixe nécessite que le succès de la restauration d'image repose sur la précision des priors et ajoute une autre couche de fonctionnement aux microscopistes. De plus, si l'hypothèse initiale de la dégradation de l'image n'est pas correcte, les performances dans un ensemble de données du monde réel peuvent être limitées. En particulier pour l'imagerie par fluorescence volumétrique à haut débit, les conditions d'imagerie sont souvent sujettes à des fluctuations et les caractéristiques visuelles des échantillons sont considérées comme diverses. Par conséquent, l'hypothèse uniforme d'informations préalables dans une image volumique à grande échelle pourrait entraîner un surajustement du modèle formé et exacerber les performances et la fiabilité de la restauration d'image.

À la lumière de ce défi, l'approche récente de l'apprentissage non supervisé utilisant un réseau contradictoire génératif cohérent par cycle (cycleGAN)22 est une direction prometteuse pour réduire l'espace de solution pour les problèmes inverses mal posés en optique23,24. Plus précisément, il est avantageux en pratique car il ne nécessite pas de paires de données appariées pour l'apprentissage. Lorsqu'elle est formulée comme un problème de transport optimal entre deux distributions de probabilité23,25, la microscopie de déconvolution basée sur l'apprentissage non supervisé peut transporter avec succès les distributions d'images de microscopie floues vers des images de microscopie haute résolution en estimant la PSF floue et en déconvoluant avec elle24. En conséquence, il est moins enclin à générer des caractéristiques artificielles par rapport au GAN26 tel qu'analysé théoriquement dans un travail antérieur23. De plus, si la structure de la PSF est partiellement ou totalement connue, l'un des générateurs pourrait être remplacé par une opération simple, ce qui réduit significativement la complexité du cycleGAN et rend l'entraînement plus stable24. Néanmoins, l'un des problèmes techniques restants est la difficulté d'obtenir des volumes supplémentaires d'images de microscopie à haute résolution dans des conditions expérimentales similaires, telles que des profils de bruit et des conditions d'éclairage, afin qu'elles puissent être utilisées comme une distribution cible inégalée pour le transport optimal. En particulier, l'obtention d'un tel ensemble de données d'entraînement de référence à une résolution isotrope 3D reste difficile en pratique.

Pour résoudre ce problème, nous présentons ici un cadre d'apprentissage en profondeur non supervisé qui améliore aveuglément la résolution axiale en microscopie à fluorescence volumétrique, étant donné une seule image d'entrée 3D. Le réseau peut être formé avec une pile d'images qui a une résolution spatiale anisotrope sans nécessiter de volumes de référence 3D isotropes à haute résolution. Ainsi, la nécessité d'acquérir des ensembles de données d'apprentissage supplémentaires dans des conditions expérimentales similaires est complètement évitée. Notre cadre tire parti de la formation de représentations abstraites d'objets imagés de manière cohérente dans des vues latérales et axiales : par exemple, des instantanés 2D de neurones pour reconstruire une apparence de neurone 3D généralisée. Ensuite, notre schéma d'apprentissage non supervisé utilise les représentations abstraites pour découpler uniquement les informations pertinentes pour la résolution des images, ainsi que les détails sous-échantillonnés ou flous dans les images axiales. Cette stratégie se traduit par un avantage dans les applications d'images de volume à grande échelle, telles que l'ensemble de la région corticale d'un cerveau. La figure 1a illustre notre approche. Nous avons démontré le succès du cadre dans la simulation, la microscopie à fluorescence confocale (CFM) et la microscopie à feuille de lumière à ciel ouvert (OT-LSM). Dans l'expérience CFM, nous avons abordé l'anisotropie qui est principalement due à la diffraction de la lumière et au sous-échantillonnage axial. Nous avons comparé les résultats à une image 3D qui a été imagée séparément à un angle perpendiculaire. Dans l'expérience OT-LSM, notre objectif était de tester si notre méthode peut traiter l'anisotropie qui est régie par un mélange de plusieurs facteurs de dégradation d'image, dont beaucoup ne sont pas simplement modélisés avec une convolution PSF : par exemple, les artefacts de mouvement de la vibration de l'échantillon par la dérive de la scène. Dans tous les cas, notre approche de super-résolution basée sur l'apprentissage en profondeur sans référence a été efficace pour améliorer la résolution axiale, tout en préservant les informations dans le plan latéral et en restaurant également les microstructures supprimées.

a En microscopie à fluorescence, l'imagerie 3D est souvent sujette à une anisotropie qui résulte de la diffraction de la lumière et du sous-échantillonnage dans la direction du balayage. Notre approche pour la super-résolution à échantillon unique consiste à apprendre les transformations bidirectionnelles, G et F, entre le collecteur haute résolution et le collecteur basse résolution, en échantillonnant à partir de tranches latérales et axiales ou de MIP latéraux et axiaux. b Schéma du cadre. Les réseaux génératifs, G et F, apprennent le mappage de transformation spécifique aux données entre les images basse résolution et les images haute résolution en apprenant à super-résoudre les images axiales et à inverser le processus, respectivement. G et F utilisent des couches de convolution 3D, et les réseaux discriminatifs, DX et DY, pilotent le processus d'apprentissage pour G et F et utilisent des couches de convolution 2D. L'inférence sur un volume à grande échelle est effectuée de manière itérative sur des sous-volumes avec des blocs voisins qui se chevauchent. c Résultats de déconvolution aveugle par notre méthode, avec des retours sur investissement agrandis (affichés sous forme de cases en pointillés jaunes) en plus pour (d) et (h). d Évaluation de la précision de la reconstruction en 2D. Les signaux ont été segmentés à partir de l'arrière-plan à l'aide de la méthode d'Otsu, illustrée avec PSNR et SSIM pour la quantification. e Visualisation 3D de l'inférence à grande échelle. Une région aléatoire de 7003 voxels a été sélectionnée comme volume de test pour calculer le PSNR et le MS-SSIM. La barre de couleur représente l'intensité du signal normalisée entre 0 et 1. f Comparaison des performances avec PSNR et MS-SSIM sur le volume de test dans différentes conditions d'imagerie : flou axial et sous-échantillonnage de l'axe z. Le sous-échantillonnage est effectué après le flou gaussien axial avec un écart type de 4. g Comparaison des performances à l'aide du SSIM et du PSNR des images MIP. Des coupes transversales (n = 47 échantillons indépendants non chevauchants) ont été prises avec 15 profondeurs de tranche pour générer des images MIP. "Latéral" fait référence aux sections latérales du volume, qui ont été tournées perpendiculairement avant le floutage pour fournir une référence haute résolution. h Amélioration de la résolution par décalage FWHM avec la vérité terrain, avec des profils d'intensité en coupe transversale à partir de lignes marquées dans des ROI agrandies à partir de c. Nous avons mesuré les discordances FWHM des objets tubulaires (n = 317 échantillons indépendants non chevauchants) par rapport à la vérité terrain. La reconstruction par la sortie du réseau présente une amélioration notable de la précision de reconstruction. Pour calculer les FWHM, les profils d'intensité ont été ajustés dans des fonctions gaussiennes. Pour les boîtes à moustaches tracées dans les panneaux (g) et (h), la boîte montre l'intervalle interquartile (IQR) entre le premier quartile (Q1) et le troisième quartile (Q3) de l'ensemble de données, avec la marque centrale (ligne horizontale) montrant la médiane et les moustaches indiquant le minimum (Q1-1,5*IQR) et le maximum (Q3+1,5*IQR). Les valeurs aberrantes sont représentées par des marqueurs en forme de losange au-delà des moustaches.

L'architecture globale du cadre a été inspirée par les réseaux antagonistes génératifs compatibles avec les cycles de transport optimaux (OT-cycleGAN)23. La figure 1b illustre le schéma d'apprentissage du framework. Nous utilisons deux réseaux génératifs 3D (G et F sur la figure 1b) qui apprennent à générer une image 3D isotrope à partir d'une image 3D anisotrope (le chemin vers l'avant ou super-résolvant) et vice versa (le chemin vers l'arrière ou le flou), respectivement. Pour freiner le processus génératif de ces réseaux, nous utilisons deux groupes de réseaux discriminants 2D (DX et DY sur la Fig. 1b). Notre innovation clé provient d'une orchestration efficace de l'apprentissage des réseaux basée sur la façon dont les réseaux discriminants échantillonnent pendant la phase d'apprentissage. Dans le chemin aller, les réseaux discriminants de DX comparent les images de projection axiale 2D de l'image 3D générée aux images latérales 2D de l'image 3D réelle, tout en préservant les informations d'image latérale. Les images de projection du volume généré sont obtenues sous forme de projections d'intensité maximale (MIP) avec une profondeur aléatoire dans une plage prédéterminée et sont conçues pour imiter les informations visuelles latérales projetées à partir des tranches adjacentes. Cet appariement d'échantillons pour former les réseaux discriminatifs encourage le réseau génératif 3D G à améliorer uniquement la résolution axiale dans la sortie de volume 3D. D'autre part, les réseaux discriminants de DY dans le chemin de retour comparent des images 2D de l'image 3D reconstruite à des images 2D de l'image 3D réelle dans chaque plan orthogonal correspondant ; le réseau génératif 3D F apprend à inverser le processus de restauration d'image. La perte de cohérence de cycle stabilise le processus d'apprentissage et guide G et F pour qu'ils soient mutuellement inverses. En réalisant l'équilibre de la convergence des pertes sous la forme d'un jeu mini-max26 par cet ensemble des réseaux discriminatifs et génératifs, le réseau G est formé pour apprendre la transformation de la résolution anisotrope d'origine à la résolution isotrope souhaitée.

Nous avons d'abord simulé l'anisotropie dans une image synthétique 3D et testé notre cadre pour la tâche de déconvolution aveugle. Le volume synthétique, de 900 × 900 × 900 voxels, contient 10 000 objets tubulaires qui ont été placés au hasard et déformés par un champ de déformation basé sur une grille élastique 3D. Ce modèle de simulation permet aux tubes de s'entrelacer de manière non linéaire et est idéal pour simuler des échantillons biologiques avec des structures tubulaires à mailles complexes, telles que des microtubules ou des réseaux neuronaux. L'image a ensuite été convoluée avec un noyau gaussien qui ne s'estompe que axialement avec un écart type de 4. La Fig. 1 supplémentaire visualise ce processus de génération. Les réseaux ont été formés à l'aide d'un échantillon d'image et, pendant la formation et l'inférence, nous avons utilisé des mini-lots avec des sous-régions de 1203 à 1443 voxels. Après inférence, les sous-régions ont été empilées dans l'espace image d'origine (Fig. 1b).

La figure 1c – h montre les résultats de la déconvolution aveugle par la méthode proposée. Après la déconvolution aveugle, la sortie du réseau a résolu l'enchevêtrement complexe des tubes, qui était auparavant masqué par le flou axial, comme illustré visuellement dans les régions d'intérêt (ROI) de la Fig. 1c, e. Pour quantifier l'amélioration de la résolution à grande échelle, nous avons sélectionné au hasard une région de 700 × 700 × 700 voxels et calculé le rapport signal/bruit maximal (PSNR) et la mesure de l'indice de similarité structurelle à plusieurs échelles (MS-SSIM)27 comme mesures. Nous avons remarqué que les métriques PSNR et MS-SSIM étaient plus élevées dans la sortie du réseau 3D d'environ 2 dB et 0,16, respectivement (Fig. 1e) : le PNSR d'entrée et le MS-SSIM étaient de 16,94 dB et 0,70, et le PSNR de sortie et le MS-SSIM étaient de 19,03 dB et 0,86. Pour évaluer l'effet de la dégradation de l'image sur les performances du réseau, nous nous sommes entraînés et testés pour différentes conditions d'imagerie : le niveau de flou axial et de sous-échantillonnage axial. Le niveau de flou axial a été contrôlé par l'écart type du noyau gaussien, et le sous-échantillonnage axial a été effectué en plus du flou gaussien avec un écart type de 4 et imite le processus de sous-échantillonnage en microscopie à fluorescence en prenant des tranches avec des intervalles : par exemple, 4 × signifie prendre une tranche toutes les quatre tranches sur l'axe z. Après le sous-échantillonnage, les images ont été redimensionnées aux dimensions d'origine par interpolation bilinéaire. Nous avons remarqué qu'à travers différents niveaux de dégradation, la sortie du réseau était systématiquement plus performante (Fig. 1f). Comme l'objectif de l'apprentissage était d'améliorer les volumes axiaux à l'aide des MIP des volumes générés, nous avons également mesuré le PSNR et la mesure de l'indice de similarité structurelle (SSIM) de 47 images MIP axiales de 700 × 700 pixels et comparé les résultats avec les images MIP latérales correspondantes du volume de référence, qui a été imagé à un angle perpendiculaire, comme référence de résolution latérale. Les métriques de la sortie du réseau étaient plus proches de celles des images MIP latérales (Fig. 1g).

Afin d'évaluer la capacité de reconstruction, nous avons sélectionné au hasard 317 objets tubulaires et calculé les décalages FWHM (pleine largeur à mi-hauteur) de l'image d'entrée et de sortie par rapport à la vérité terrain (Fig. 1h). La discordance moyenne FWHM de la sortie du réseau était environ cinq fois plus faible avec une discordance de 0,61 pixel par rapport à la discordance de 2,95 pixels dans l'entrée. La sortie du réseau a également montré un écart type inférieur de 0,60 pixels par rapport à 2,41 pixels dans l'entrée. Comme méthode alternative, nous avons également segmenté les signaux de l'arrière-plan en utilisant diverses méthodes de binarisation basées sur des histogrammes : la méthode d'Otsu28, la technique d'analyse itérative des données auto-organisées29 (ISODATA) et le seuil moyen30. La figure 1d montre un exemple de segmentation par la méthode d'Otsu. Pour toutes les méthodes de segmentation, les métriques PSNR et SSIM étaient systématiquement plus élevées pour la sortie du réseau que pour l'entrée (Fig. 2 supplémentaire). Pour évaluer plus en détail la précision de la déconvolution de l'image de sortie, nous avons également effectué une analyse du spectre de Fourier avant et après la déconvolution afin de mieux visualiser la restauration des informations haute fréquence et avons montré que, par rapport à l'entrée, les informations de fréquence de la sortie sont plus proches de celles de la vérité terrain et de sa contrepartie latérale (Fig. 3 supplémentaire). De plus, nous avons remarqué que notre cadre peut être vu comme interprétable lors de la formation. Nous pourrions approximer le modèle PSF de flou en calculant la réponse impulsionnelle à travers le réseau génératif dans le chemin de retour, qui a été initialement modélisé comme un noyau de flou linéaire qui émule le processus de flou axial (Fig. 4 supplémentaire).

Nous avons démontré l'amélioration de la résolution dans le plan axial en imageant une région corticale d'un cerveau de souris Thy 1-eYFP à l'aide de CFM. L'échantillon a été nettoyé des tissus et a été imagé en 3D à l'aide d'une coupe optique. La section optique en CFM a généré un contraste frappant entre la résolution latérale et la résolution axiale, avec une résolution latérale estimée de 1,24 µm avec une profondeur z de 3 µm d'intervalle. Le volume de l'image, dont la taille physique s'étend sur environ 1270 × 930 × 800 µm3, a été rééchantillonné pour une reconstruction isotrope à une taille de voxel de 1 µm en utilisant une interpolation bilinéaire. Afin de fournir une référence qui confirme l'authenticité de l'amélioration de la résolution, nous avons en outre imagé l'échantillon après l'avoir fait pivoter physiquement de 90 degrés, de sorte que son plan XY latéral haute résolution corresponde au plan axial XZ du volume d'origine, tout en partageant le plan axial YZ. Le volume de référence a ensuite été enregistré au niveau cellule à cellule dans l'espace image d'entrée à l'aide du plug-in BigWarp31. Bien que la référence acquise séparément soit loin d'être une image de vérité au sol parfaite en raison de sa condition d'imagerie indépendante et de son erreur d'enregistrement potentielle, elle fournit toujours la meilleure référence disponible pour savoir si les détails reconstruits par le cadre correspondent aux mesures physiques réelles.

Dans notre test sur le volume CFM, le réseau formé a restauré la résolution précédemment hautement anisotrope à une résolution isotrope presque parfaite. Nous avons illustré l'amélioration de la résolution en comparant la distance sur une image axiale résolue et la distance correspondante dans l'image latérale pour une structure symétrique entre le plan latéral et axial. Un exemple, illustré à la Fig. 2a, est une dendrite basale, qui est principalement cylindrique. Dans cet exemple, la différence était à l'échelle nanométrique (∼0,05 µm). Comme les différences de texture entre les images latérales et les images axiales super-résolues étaient imperceptibles à l'œil humain, nous avons effectué une analyse du spectre de Fourier avant et après la restauration et avons montré que les informations de fréquence de la sortie étaient restaurées pour correspondre à celles de l'imagerie latérale (Fig. 5 supplémentaire).

Les régions corticales d'un cerveau de souris Thy 1-eYFP ont été imagées. Une résolution quasi isotrope a été obtenue par la méthode proposée dans un volume CFM. Les images axiales ont été aveuglément améliorées par le réseau neuronal génératif, qui est formé et testé sur un seul volume CFM qui s'étend sur 1 à 2 gigaoctets de mémoire. L'amélioration de la résolution dans les plans axiaux était globale et cohérente dans tout l'espace de l'image (voir également la Fig. 6 supplémentaire). Les profils d'intensité en coupe transversale convergents d'une dendrite cylindrique dans le plan XY (ligne jaune) et le plan XZ (ligne bleue) indiquent une résolution isotrope presque parfaite par rapport à l'entrée dans XZ (ligne bleue pointillée), avec XY FWHM de 1,71 µm et XZ FWHM de 1,76 µm, considérablement réduit par rapport à l'entrée XZ FWHM de 6,04 µm. Barres d'échelle : 100 µm, 50 µm, 20 µm (2D) et 20 µm (3D) dans l'ordre de zoom progressif. b Les résultats de la restauration d'image ("Réseau") montrent les régions corticales supérieures du cortex de la souris, sous forme d'images MIP d'une épaisseur de 150 µm. Les résultats ont été comparés à l'imagerie axiale d'origine ("Input") et à l'imagerie latérale de référence ("90°-rotated"). Les retours sur investissement agrandis sont marqués par des cases jaunes. Les détails supprimés ou flous ont été récupérés dans les images de sortie du réseau et correspondaient à l'imagerie latérale. Barres d'échelle : 50 μm (ROI supérieurs), 10 μm (ROI intermédiaires), 20 μm (ROI inférieurs). c Reconstruction 3D des neurones pyramidaux de la couche corticale supérieure avant et après restauration, avec tracés neuronaux. L'amélioration de la résolution dans le plan axial permet une reconstruction plus précise et détaillée de la morphologie neuronale 3D. Nous avons vérifié les tracés neuronaux supplémentaires en confirmant les emplacements correspondants à partir de l'imagerie latérale. Le sous-échantillonnage et le flou Z ont rendu plus difficile le suivi des neurites qui s'étendent perpendiculairement à la direction de balayage (flèches dans les ROI 2D), alors qu'un traçage plus précis était possible à partir de la sortie du réseau. Barres d'échelle : 50 µm (3D) et 10 µm (ROI 2D). d Distribution PSNR des images MIP en tant que métrique de distance à l'image de référence, avec des améliorations par paires. Les images MIP (n = 31 images indépendantes) provenaient de sections transversales de 140 × 140 µm2 avec des profondeurs de 150 µm. Pour les diagrammes en boîte, la boîte montre l'IQR entre Q1 et Q3 de l'ensemble de données, avec la marque centrale montrant la médiane et les moustaches indiquant le minimum (Q1-1.5*IQR) et le maximum (Q3+1.5*IQR). e Profils d'intensité en coupe transversale à partir de lignes marquées dans les ROI agrandies de (b). La ligne tournée à 90° est enregistrée sur l'entrée. Dans les panneaux (a) et (c), les barres de couleur représentent l'intensité du signal normalisée entre 0 et 1.

Nous avons examiné la précision anatomique des détails résolus en les comparant à l'image de référence (étiquetée comme pivotée à 90 ° sur les Fig. 2b, c), qui fournit une correspondance haute résolution avec l'image axiale d'origine à l'échelle micrométrique. Nous avons remarqué que le réseau a réussi non seulement à traduire la texture axiale de l'image dans le domaine de l'image haute résolution, mais également à récupérer des détails précédemment supprimés, qui ont été vérifiés par l'imagerie de référence. Conformément à l'image de référence, la sortie du réseau a amélioré avec précision les caractéristiques anatomiques du tissu nerveux, de manière cohérente dans tout l'espace de l'image (Fig. 2a et Fig. 6 supplémentaire). Comme le montrent les Fig. 2b, c, le réseau a permis une enquête cytoarchitectonique plus avancée de la région corticale, car le réseau a géré la récupération adaptative de caractéristiques anatomiques importantes qui varient en morphologie, densité et connectivité dans la région corticale. Par exemple, dans les couches corticales supérieures, les dendrites apicales précédemment floues des neurones pyramidaux ont été résolues (ROI au milieu à gauche sur la figure 2b). La sortie du réseau a également révélé des micro-circuits corticaux inédits par des neurones pyramidaux et des interneurones (ROI inférieure sur la figure 2b). Le profil d'intensité en coupe (Fig. 2e) illustre une telle récupération des détails supprimés qui étaient auparavant flous dans l'imagerie axiale. Nous avons remarqué que si le réseau améliorait la résolution axiale, il n'introduisait aucune distorsion ou artefact perceptible dans le plan latéral.

Une telle récupération des détails supprimés s'est traduite par une amélioration notable de la reconstruction des morphologies neuronales à partir du volume de sortie amélioré. Nous avons tracé deux neurones pyramidaux en utilisant NeuroGPS-tree32, la méthode de traçage neuronal standard actuelle, par exemple la segmentation, qui a été suivie d'une correction humaine. Le traçage a été effectué à l'aveugle sans connaissance des autres images homologues. La figure 2c montre les résultats. En comparaison visuelle, les tracés de la sortie du réseau n'étaient limités dans aucune direction, alors que dans l'image d'entrée, l'arbre NeuroGPS n'a pas réussi à tracer les neurites interrompus par le sous-échantillonnage de l'axe z (ROI 2D sur la figure 2c). Les comparaisons des tracés neuronaux de l'entrée, du réseau et de l'imagerie de référence sont présentées dans la Fig. 7 supplémentaire. Pour quantifier la précision anatomique des détails reconstruits par le réseau, nous avons étayé les reconstructions par le réseau via une vérification tranche par tranche des tracés de sortie sur les images de l'imagerie latérale. La vérification a été effectuée au niveau de l'examen de la ramification des neurites reconstruits par suppression des faux positifs. Par exemple, les régions d'image tracées avec des neurites non correspondants ont été définies sur des zéros, et celles avec des neurites correspondants ont été définies sur des uns dans une image binaire vérifiée. Les résultats du traçage et le processus de vérification sont décrits plus en détail dans les films supplémentaires 1 et 2. Ensuite, nous avons mesuré la précision biologique des tracés en calculant le rapport entre les tracés originaux et les tracés vérifiés. Les précisions de la reconstruction neuronale à partir des deux neurones tests étaient de 98,31 % et 98,26 %.

Pour quantifier l'amélioration de la résolution axiale au niveau du signal, nous avons identifié 31 ROI non superposées chacune de 140 × 140 µm2 dans les images axiales d'entrée et les images latérales de référence, où des structures neuronales identiques se distinguaient et étaient détectées de manière similaire dans les visuels par émission de fluorescence. Ensuite, nous avons mesuré et comparé la distance maximale du rapport signal sur bruit (PSNR) des ROI d'entrée et des ROI de sortie du réseau aux ROI de référence correspondantes. Le réseau a introduit une amélioration moyenne du PSNR de 2,42 dB par paire d'une ROI d'entrée par rapport à une ROI de sortie (Fig. 2d). Cette analyse suggère que les détails texturaux récupérés par le réseau incluent des caractéristiques anatomiquement précises qui étaient plus discernables dans l'imagerie latérale. Nous avons remarqué que leurs différences métriques ne reflétaient pas entièrement la précision perceptuelle des détails récupérés et étaient attribuées aux différences d'émission de fluorescence entre les séances d'imagerie par imagerie sous un angle différent (voir la Fig. 8 supplémentaire). Nous avons en outre testé la capacité de généralisation du cadre en formant et en testant d'autres types de cellules ou de tissus biologiques par imagerie de tissus cérébraux de rat avec CFM : astrocytes marqués avec des marqueurs GFAP fluorescents et vaisseaux sanguins marqués avec de la lectine (voir les figures supplémentaires 9 et 10). Dans nos évaluations, le cadre a montré des améliorations biologiquement significatives de la qualité de l'image et de la reconstruction.

La microscopie à feuille de lumière (LSM) est une technique microscopique spécialisée pour l'imagerie cellulaire à haut débit de grands échantillons de tissus, y compris les tissus optiquement effacés. Pour explorer davantage la capacité de restauration d'image de notre cadre, nous avons testé la capacité de déconvolution d'une PSF mesurée expérimentalement sur un système LSM à toit ouvert (OT-LSM)33. Nous avons imagé des billes fluorescentes de 0,5 µm avec OT-LSM, dans la pile d'images avec une taille physique globale de 360 ​​× 360 × 160 µm3. L'image a été rééchantillonnée pour une reconstruction isotrope à une taille de voxel de 0,5 µm en utilisant une interpolation bilinéaire. Les perles ont été réparties arbitrairement, certaines des perles étant plus espacées les unes des autres. Les résultats de notre cadre sont présentés à la Fig. 3. Après la déconvolution, la reconstruction 2D et 3D de la sortie du réseau a indiqué une résolution presque isotrope, résultant en une forme presque sphérique (Fig. 3a). Cet effet de déconvolution était cohérent entre les perles fluorescentes individuelles. Pour quantifier les performances de la déconvolution, nous avons calculé les valeurs FWHM 2D de plus de 300 points lumineux sélectionnés au hasard et comparé le FWHM latéral et le FWHM axial avant et après la restauration de l'image. Comme le montre la figure 3b, les distributions FWHM des points lumineux dans l'image restaurée montrent une correspondance presque identique à celles de l'entrée dans le plan latéral. La sortie du réseau a corrigé l'allongement axial de la PSF, avec une FWHM axiale moyenne de ∼3,91 ± 0,28 µm réduite à ∼1,95 ± 0,12 µm, ce qui est très proche de la FWHM moyenne de ∼1,98 ± 0,13 µm de l'entrée latérale. Le réseau a introduit très peu de déviation dans le plan latéral, avec un décalage moyen de FWHM d'environ 0,13 ± 0,06 µm.

Les billes fluorescentes de 0,5 µm ont été imagées pour modéliser expérimentalement la PSF du système OT-LSM. a Un exemple de déconvolution PSF visualisée en 3D et 2D. Les profils d'intensité ont été ajustés dans des fonctions gaussiennes. L'allongement axial est un problème courant en microscopie à fluorescence. Notre cadre le résout à la perle fluorescente sphérique à l'origine. Les images de tranche ont été visualisées sur la plage de signal de l'image d'entrée. Les barres de couleur représentent l'intensité du signal normalisée entre 0 et 1. Barres d'échelle : 10 µm (gauche), 1 µm (milieu et droite). b FWHM des PSF mesurés expérimentalement dans les plans latéral et axial avant et après la déconvolution de la PSF. Nous avons extrait les points lumineux des mêmes emplacements avant d'appliquer la méthode (n = 300 points pour le plan XY et 305 points pour le plan YZ à partir de régions distinctes non superposées). Chaque point a été ajusté dans une fonction gaussienne 2D, où FWHM a été calculé. Les PSF dans le plan axial ont été déconvoluées à une résolution presque identique à celles du plan latéral. Pour la boîte à moustaches, la boîte montre l'IQR entre Q1 et Q3 de l'ensemble de données, avec la marque centrale montrant la médiane et les moustaches indiquant le minimum (Q1-1.5*IQR) et le maximum (Q3+1.5*IQR). Les valeurs aberrantes sont représentées par des marqueurs en forme d'astérisque au-delà des moustaches.

L'imagerie d'un échantillon à grande échelle à haute résolution, telle que l'imagerie d'un cerveau de souris entier à une résolution inférieure au micromètre, peut introduire un agrégat d'artefacts d'image inattendus qui ne sont pas perceptibles à une résolution inférieure. En microscopie LSM, ces artefacts sont souvent des sous-produits d'un microscope mal calibré ou mal installé. En particulier, les systèmes OT-LSM standard34,35 exigent que le chemin d'excitation et le chemin d'imagerie soient perpendiculaires l'un à l'autre et peuvent introduire des distorsions de la qualité de l'image de manière inégale entre le plan XZ et le plan YZ, bien que cette anisotropie puisse être relâchée par une excitation étroitement focalisée33. Pour tester aveuglément notre cadre sur une combinaison de processus de dégradation d'image inconnus, nous avons formé et testé sur un système OT-LSM avec plusieurs artefacts d'imagerie, qui incluent non seulement les artefacts de flou par aberration sphérique causée par le décalage d'indice de réfraction entre l'air et le milieu d'immersion, mais d'autres artefacts qui s'étendent de manière non uniforme sur l'espace image : par exemple, des artefacts de doublement d'image par synchronisation manquée entre le balayage du laser d'excitation et l'obturateur roulant du capteur de détection, ou des artefacts de flou de mouvement provenant de dérives d'échantillons physiques. par la scène motorisée. Nous avons testé notre cadre pour résoudre ces problèmes à l'aveugle, à partir d'une seule session d'imagerie sans antécédents de marqueurs fiduciaires ou d'autres méthodes conventionnelles pour prévenir ces artefacts. Comme le problème d'anisotropie pour ce système OT-LSM nécessite que le réseau apprenne deux transformations d'image distinctes dans chaque plan orthogonal et est incohérent dans l'espace image, nous avons mis en œuvre une variante du cadre qui utilise des discriminateurs séparés pour le plan YZ et le plan XZ et remplace l'échantillonnage de projection par un échantillonnage de tranche pour les réseaux discriminatifs.

Nous avons imagé la région corticale d'un cerveau de souris débarrassé des tissus marqué avec Thy 1-eYFP à l'aide d'OT-LSM, qui a une taille physique d'environ 930 × 930 × 8600 µm3. L'image a été rééchantillonnée pour une reconstruction isotrope à une taille de voxel de 0,5 µm en utilisant une interpolation bilinéaire. On estime que le système de microscopie a une résolution d'image d'environ 0,5 µm latéralement et d'environ 4,6 µm axialement, avec un intervalle de balayage de profondeur z de 1 µm, et a généré plusieurs artefacts d'imagerie comme indiqué ci-dessus. Pour les schémas du système OT-LSM, reportez-vous à la Fig. 11 supplémentaire. Comme le montre la Fig. 4a, nous avons remarqué que la dégradation de la qualité de l'image dans les images axiales par le système OT-LSM n'était pas identique entre les plans XZ et YZ, car les images XZ et YZ étaient affectées à des degrés différents par la propagation de la lumière qui s'aligne sur l'axe Y et les vibrations dues au mouvement latéral de l'échantillon de tissu nettoyé lors de la numérisation.

a Comparaison des qualités d'image entre les plans d'image orthogonaux dans un OT-LSM non calibré, en utilisant des images MIP d'une ROI 3D sélectionnée. Barre d'échelle : 100 µm et 25 µm (ROI agrandies). b Reconstructions 3D des somates et des dendrites basales des neurones pyramidaux, avec des images MIP axiales des ROI 3D sélectionnées. Le réseau a corrigé l'effet de dédoublement dans le plan XZ et a également amélioré le contraste entre les signaux et l'arrière-plan. L'amélioration de la résolution était cohérente sur le plan XZ et le plan YZ. Les images d'entrée et de sortie ont été visualisées sur le même spectre d'intensité. La barre de couleur représente l'intensité du signal normalisée entre 0 et 1. Barres d'échelle : 25 µm. c Images MIP YZ et XZ de l'entrée, le résultat de la déconvolution par l'algorithme de Richardson-Lucy et la sortie du réseau. La déconvolution et la correction des artefacts dans la sortie du réseau étaient cohérentes sur les 8600 images en tranches du volume OT-LSM. Les images MIP sont à des profondeurs de 150 µm. Les expériences ont été répétées avec six volumes d'image indépendants, obtenant des résultats similaires. Barres d'échelle : 50 µm et 10 µm (ROI agrandies).

Comme le montre la figure 4c, la sortie du réseau a montré une résolution uniformément améliorée entre les plans XZ et YZ, tout en améliorant le contraste entre les signaux et l'arrière-plan. Cette amélioration a permis une reconstruction plus détaillée des morphologies neuronales 3D (Fig. 4b). Pour une comparaison visuelle des détails restaurés, nous avons déconvolué le volume de l'image à l'aide de l'algorithme de déconvolution de Richardson-Lucy (RL)36,37 basé sur le modèle PSF acquis expérimentalement (Fig. 3). La déconvolution RL a été réalisée avec Fiji-Plugin DeconvolutionLab38 avec 10 itérations. Dans l'image de déconvolution RL, nous avons trouvé des détails correspondants qui étaient auparavant supprimés par l'aberration sphérique dans l'image d'entrée (Fig. 4c). Les améliorations de résolution dans les deux plans axiaux présentaient des différences imperceptibles de texture et de précision. Cependant, comme la dégradation de l'image était irrégulière dans l'espace de l'image, l'image de déconvolution RL n'a pas réussi à traiter les artefacts d'imagerie supplémentaires qui n'ont pas été modélisés par la PSF donnée. En revanche, le réseau a corrigé bon nombre de ces artefacts d'imagerie. Par exemple, les artefacts de doublage d'image provenant de l'asynchronie entre l'excitation et la détection ont été visiblement réduits (images du plan XZ de la Fig. 4b et ROI du plan XZ de la Fig. 4c). Les artefacts d'ondulation horizontale causés par la dérive de la scène ont également été corrigés (ROI du plan YZ sur la Fig. 4c et la Fig. 12 supplémentaire). Nous avons remarqué que la correction des artefacts était cohérente dans tout l'espace de l'image.

Pour l'évaluation quantitative du cadre dans le système LSM, nous avons généré des images de vérité au sol quasi isotropes en calibrant le microscope33, à une résolution latérale d'environ 0,5 µm et une résolution axiale d'environ 1,9 µm, et en réduisant considérablement la plupart des artefacts d'imagerie précédents. Ensuite, nous avons simulé un processus de flou PSF en profondeur en appliquant un noyau gaussien axial avec un écart type de 10. Nous nous sommes entraînés et testés sur un volume d'image de ∼490 × 130 × 150 µm3. Lors de nos tests avec le modèle d'origine, le réseau a réussi à récupérer la plupart des informations floues axiales floues. La figure 13 supplémentaire montre les résultats de cette expérience. Par rapport à l'image de déconvolution RL, les images de sortie du réseau présentent une récupération des détails fins (ROI zoomées dans la Fig. 13a supplémentaire). De plus, nous avons remarqué que par rapport à la vérité au sol, le réseau corrigeait également les artefacts de bande horizontale, qui étaient causés par le sous-échantillonnage axial et illustrés dans les retours sur investissement de la vérité au sol dans la Fig. 13a supplémentaire. Pour quantifier l'amélioration de la résolution axiale, nous avons divisé le volume de test en huit régions sans chevauchement et calculé les mesures de qualité d'image sur leurs MIP respectifs avec des profondeurs de 17,5 µm. PSNR et MS-SSIM ont été utilisés comme métriques de référence, et BRISQUE39 a été utilisé comme métrique de qualité d'image sans référence pour évaluer le caractère naturel perceptuel de l'image de sortie, par rapport à l'entrée et à la vérité terrain. Nous avons remarqué des améliorations dans toutes les métriques (Fig. 13b supplémentaire). La métrique BRISQUE suggère que les images de sortie étaient perceptuellement plus naturelles que l'entrée floue, avec peu de différence par rapport à la vérité terrain. Nous avons également remarqué une amélioration globale du PSNR de 1,98 dB dans le volume de sortie 3D.

Jusqu'à présent, nous avons démontré l'efficacité de notre méthode en simulation, CFM et OT-LSM, qui impliquent de nombreuses dissemblances les unes des autres dans la formation d'images. En conséquence, nous nous attendons à ce que le cadre soit largement applicable à d'autres formes du spectre de la microscopie à fluorescence, car la composante essentielle de l'apprentissage ne repose pas sur les conditions d'un processus de formation d'image.

Dans ce travail, nous avons développé une technique de super-résolution basée sur l'apprentissage en profondeur qui améliore la résolution axiale de la microscopie à fluorescence conventionnelle en apprenant à partir d'images latérales à haute résolution. La force de notre cadre vient du fait qu'il tire parti de l'apprentissage non supervisé à partir de paires de données inégalées : il permet de localiser l'apprentissage de la transformation d'image dans un espace unitaire 3D défini par l'utilisateur et ainsi de le découpler des variations régionales des caractéristiques de l'image, telles que les aberrations ou les artefacts qui découlent naturellement d'un processus d'imagerie par fluorescence. Dans nos expériences de simulation, CFM et OT-LSM, nous avons montré que cette fonctionnalité se traduit par un avantage distinct pour la reconstruction isotrope des détails supprimés dans la microscopie à fluorescence volumétrique à grande échelle, où le niveau de dégradation de l'image varie dans l'espace de l'image.

Les modèles d'apprentissage en profondeur basés sur une architecture GAN, qui est un apprentissage non supervisé, excellent pour générer des détails de haut niveau très plausibles et sont connus pour des tâches telles que le transfert de styles artistiques22,40 ou même la modification de détails de haut niveau41. Cependant, lorsqu'il s'agit d'améliorer les images de microscopie dans la recherche en biologie, les détails bien générés sont une épée à double tranchant. La grande plausibilité des détails rend difficile la validation de l'authenticité des images restaurées, surtout sans se référer à de véritables preuves biologiques. Dans cet article, nous avons fourni à la fois des preuves théoriques des études de simulation et des preuves expérimentales de l'imagerie orthogonale et du flou artificiel pour étayer la validité de ces informations reconstruites à haute fréquence. Les résultats ont confirmé que notre conception de réseau OT-cycleGAN a résolu le problème de l'écart par rapport à l'authenticité en confinant strictement l'espace de solution par la formulation d'un transport optimal et la conception inspirée de la physique du modèle de dégradation dans le chemin inverse, tout en exploitant cette excellente puissance générative pour reconstruire des informations à haute fréquence. De plus, nos études d'ablation fournissent un examen plus approfondi des composants essentiels de notre cadre (Note complémentaire 1 et Fig. 14 supplémentaire).

En pratique, notre méthode ne doit pas être confondue avec une solution unique pour tous les problèmes d'anisotropie en microscopie. Si nécessaire, les utilisateurs peuvent inclure des étapes supplémentaires de visualisation dans le post-traitement. Par exemple, certains artefacts visuels peuvent apparaître selon la façon dont les images sont visualisées : 2D contre 3D ou la plage d'intensité pour la visualisation. La Fig. 15 supplémentaire montre un exemple de tels cas. Comme les réseaux discriminants sont entraînés avec des images MIP 2D, ces artefacts visuels peuvent apparaître plus discernables lorsqu'ils sont visualisés uniquement sous forme d'images MIP 2D. Cependant, ces artefacts ne proviennent pas de fausses reconstructions, comme le montre la Fig. 15 supplémentaire ; il n'y a pas de structure parasite lorsqu'elle est entièrement visualisée en 3D. Dans les cas de volumes d'image où le contraste local change sensiblement entre les sous-volumes au cours des itérations d'entraînement, alors que la plupart des artefacts sont définis dans des plages de très faible intensité et restent à peine visibles, ils peuvent sembler plus visibles lorsqu'ils sont visualisés sur une plage d'intensité hautement saturée. Dans de tels cas, les utilisateurs peuvent normaliser l'image de sortie localement en fonction de l'histogramme de l'image d'entrée, en utilisant la correspondance d'histogramme42. La Fig. 16 supplémentaire montre notre test avec le volume d'image de l'expérience de déconvolution PSF ; le post-traitement seul a augmenté le rapport signal sur bruit (SNR) local.

Enfin, le principal avantage de notre méthode réside dans sa facilité de déploiement. Comme le montrent les Figs supplémentaires. 9 et 10, le cadre n'est pas nécessairement limité par le type de tissus imagés ou de marqueurs de marquage fluorescents. En conséquence, notre méthode devrait être applicable à une variété de scénarios d'imagerie en microscopie à fluorescence volumétrique. Cela réduit également considérablement l'effort à mettre en pratique car la formation d'un réseau ne nécessite qu'une seule pile d'images 3D, sans connaissance a priori du processus de formation d'image, d'enregistrement des données de formation ou d'acquisition séparée des données cibles. Une combinaison de ces facteurs est généralement considérée comme nécessaire43 pour la plupart des méthodes conventionnelles de super-résolution basées sur l'apprentissage en profondeur. Pour cette raison, nous nous attendons à ce que notre méthode réduise considérablement la difficulté préexistante d'appliquer la super-résolution aux données de microscopie volumétrique.

Pour simuler une structure de maillage aléatoire avec des objets tubulaires, nous avons d'abord sélectionné au hasard 20 000 points dans un espace d'image 3D de 900 × 900 × 900 voxels pour dessiner 10 000 lignes linéaires d'une épaisseur de deux pixels. Ensuite, nous avons appliqué un champ de déformation basé sur une grille élastique 3D avec 70 emplacements de grille avec une valeur sigma de 3. Le volume déformé a ensuite été normalisé et traité comme le volume de vérité au sol. Pour obtenir un volume flou, nous avons appliqué un noyau gaussien Z-blurring avec un écart type de 4. La Fig. 1 supplémentaire visualise ce processus.

Les souris Tg(Thy1-eYFP)MJrs/J ont été identifiées par génotypage après l'élevage de souris mutantes hétérozygotes, et les souris ont été rétrocroisées sur le fond C57BL/6 WT pendant 10 générations, puis maintenues dans la même animalerie au Korea Brain Research Institute (KBRI). Les souris ont été logées en groupes de 2 à 5 animaux par cage avec un accès ad libitum à de la nourriture standard et de l'eau dans un cycle lumière/obscurité 12/12 avec "lumière allumée" à 07h00, à une température ambiante de 20-22 ° C et humidité (environ 55%) à travers un flux d'air constant. Le bien-être des animaux a été contrôlé régulièrement. Toutes les procédures animales ont suivi les lignes directrices sur les soins aux animaux approuvées par le Comité institutionnel d'utilisation des soins aux animaux (IACUC) de KBRI (IACUC-18-00018). En préparation des tranches de cerveau de souris, les souris ont été anesthésiées par injection avec un mélange de zoletil (30 mg/kg) et de xylazine (10 mg/kg de poids corporel). Les souris ont été perfusées avec 20 ml de solution saline tamponnée au phosphate (PBS) fraîche et froide et 20 ml de solution de paraformaldéhyde (PFA) à 4% à l'aide d'une pompe péristaltique et des cerveaux de souris entiers ont été extraits et fixés dans du PFA à 4% pendant 1 à 2 jours à 4 ◦C. Les cerveaux de souris fixes ont été tranchés coronairement à 500 µm d'épaisseur. Ensuite, les tranches de cerveau ont été incubées dans une solution d'adaptation d'indice de réfraction (IR) (C match, 1,46 RI, Crayon Technologies, Corée) à 37 ° C pendant une heure pour la compensation optique. La méthode proposée a été appliquée aux images des échantillons de tissus optiquement effacés. Pour la préparation de l'échantillon pour les Figs supplémentaires. 9 et 10, se référer à la note complémentaire 2.

Pour l'imagerie CFM, les échantillons de tissus optiquement clarifiés ont été montés sur un fond plat de 35 mm et ont été immergés dans la solution d'adaptation RI lors de l'acquisition d'images à l'aide d'un microscope confocal droit (Nikon C2Si, Japon) avec un objectif Plan-Apochromat 10 × (NA = 0, 5, WD = 5, 5 mm). Les piles Z de coupes optiques ont été prises à des intervalles de 3 ou 4 µm.

Pour l'imagerie OT-LSM, nous avons utilisé un système de microscopie33 récemment développé, dont la conception est basée sur la microscopie à feuille de lumière ouverte à prisme d'eau34,35. Pour induire l'anisotropie, nous avons exclu la focalisation serrée de la feuille de lumière d'excitation à travers le champ de vision d'imagerie. Le système comprend un ETL (EL-16-40-TC-VIS-5D-M27, Optotune) dans le cadre du bras d'éclairage pour le balayage axial de la feuille de lumière d'excitation et une caméra sCMOS (ORCA-Flash4.0 V3 Digital CMOS camera, Hamamatsu) en mode obturateur roulant pour collecter la lumière d'émission de l'échantillon. Le système utilise une lentille d'objectif à air 10× (MY10X-803, NA 0,28, Mitutoyo) dans les bras d'éclairage et d'imagerie, pointant vers la surface de l'échantillon à +45° et -45°. Le prisme liquide personnalisé a été déposé avec la solution d'adaptation RI pour l'incidence de lumière normale sur la solution de compensation. La source de lumière d'excitation était soit des lasers CW de 488 nm ou de 532 nm (Sapphire 488 LP-100, Coherent; LSR532NL-PS-II, JOLOOYO).

Pour les images cérébrales OT-LSM, un filtre médian d'un rayon de 2 pixels a été appliqué pour supprimer le bruit sel et poivre résultant de l'imagerie par fluorescence. Toutes les images ont été normalisées à l'échelle affine entre 0 et 1 en utilisant une saturation basée sur le centile avec le bas et le haut 0,25 % pour les images synthétiques, 0,03 % pour les images CFM et 3 % pour les images OT-LSM. Dans les deux expériences OT-LSM, puisque le système OT-LSM image un échantillon à 45° ou -45°, nous avons appliqué le cisaillement dans le plan YZ comme une transformation affine pour reconstruire l'espace échantillon correct. La visualisation des images a été réalisée à l'aide des logiciels Fiji44 et Paraview45.

Deux neurones pyramidaux ont été choisis pour la visibilité de leurs neurites de connexion. Ils ont d'abord été tracés automatiquement à l'aide du logiciel NeuroGPS-Tree. Les emplacements des soma ont été sélectionnés manuellement à l'aide du logiciel V3D46. Le logiciel NeuroGPS-tree a utilisé ces emplacements de soma pour le traçage, avec les paramètres de seuil binaire et de seuil de trace, qui ont été choisis de manière empirique via une observation et une correction manuelles. Après le tracé initial, les tracés ont été convertis en un volume d'image binaire et corrigés manuellement en fonction de sa comparaison tranche par tranche avec le volume de l'image source, en réglant les neurites correspondants sur des uns et le reste sur des zéros. Lors de l'étape de vérification, les tracés ont ensuite été traduits aux emplacements correspondants dans le volume de référence enregistré, qui a été imagé séparément après une rotation physique de 90 degrés de l'échantillon. La vérification a été effectuée tranche par tranche en vérifiant les tracés sur les tranches d'image de référence (Films supplémentaires 1 et 2). Par exemple, les régions d'image avec des neurites non correspondants ont été définies sur zéro, et les régions d'image avec des neurites correspondants ont été définies sur un. La précision a ensuite été calculée comme suit :

Ici, W, H et D représentent la largeur, la hauteur et la profondeur du volume tracé. V et C représentent respectivement le volume binaire vérifié après la vérification référentielle et le volume binaire corrigé avant la vérification référentielle.

Pour dériver notre algorithme, nous supposons que l'espace cible haute résolution \({{{{{\mathcal{X}}}}}}\) se compose de volumes d'image 3D imaginaires avec une résolution isotrope selon une mesure de probabilité µ, tandis que l'espace d'entrée \({{{{{\mathcal{Y}}}}}}\) se compose de volumes 3D mesurés avec une résolution anisotrope avec une résolution axiale plus faible qui suit une mesure de probabilité \(\nu\). Selon le cycle de transport optimal GAN23, si nous devions transformer un volume d'image dans \({{{{{\mathcal{Y}}}}}}\) en \({{{{{\mathcal{X}}}}}}\), nous pouvons résoudre ce problème en transportant la distribution de probabilité \(\nu\) vers µ et vice versa en termes de minimisation de la distance statistique dans \({{{{{\mathcal{X}}}}}}\) et \( {{{{{\mathcal{Y}}}}}}\) simultanément23, qui peut être mis en œuvre à l'aide d'un cycleGAN. Dans notre implémentation, c'est le rôle des réseaux discriminants d'estimer ces distances statistiques et de guider les réseaux génératifs pour minimiser les distances. Malheureusement, comme \({{{{\mathcal{X}}}}}}\) se compose de volumes imaginaires isotropes à haute résolution, nous ne pouvons pas mesurer directement la distance statistique à \({{{{{\mathcal{X}}}}}}\) des volumes générés. Cette difficulté technique peut être résolue par l'observation suivante : puisque la résolution isotrope est supposée pour chaque volume 3D \({{{{{\boldsymbol{x}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{X}}}}}}\), les plans XY, YZ et XZ doivent avoir la même résolution que la résolution latérale du volume d'entrée (c'est-à-dire le plan XY du volume d'entrée \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{Y}}}}}}\)). En conséquence, nous pouvons mesurer la distance statistique aux volumes imaginaires dans \({{{{{\mathcal{X}}}}}}\) en définissant la distance statistique comme la somme des distances statistiques dans les plans XY, YZ et XZ en utilisant la perte contradictoire des moindres carrés suivante :47

où

où les indices xy, yz et xz font référence aux informations de tranche sur le plan xy, yz et xz, et les indices xyproj, yzproj et xzproj font référence aux projections d'intensité maximale sur le plan XY, YZ et XZ. La projection prend en compte les projections z-floues sur le plan latéral à partir de tranches adjacentes. Ici, yxy, une image de tranche XY 2D du volume d'image y, est utilisée comme référence de plan XY, YZ et XZ à partir de la distribution de volume isotrope imaginaire \({{{{\mathcal{X}}}}}}\) et comparée aux plans correspondants du volume restauré G(y).

D'autre part, le groupe de discriminateurs de chemin arrière DY est formé pour minimiser la perte suivante :

où

de sorte que les images des plans XY, YZ et XZ du volume flou \(F({{{{{\boldsymbol{x}}}}}})\) suivent la distribution des images des plans XY, YZ et XZ du volume d'entrée \({{{{{\boldsymbol{y}}}}}}\,{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{Y}}}}}}\).

Notez que G est un générateur 3D qui effectue un brouillage ou un suréchantillonnage 3D sur un volume d'image d'entrée. Au cours de ce processus de restauration 3D, il est possible que les images de coupe XY d'origine soient déformées. Par conséquent, le générateur G doit être formé pour améliorer la résolution dans les tranches XZ et YZ, mais également pour ne pas dégrader les performances dans le plan XY. Ce problème concerne également le générateur F dans le chemin de retour. Par conséquent, nous avons besoin de discriminateurs pour l'échantillonnage axial et l'échantillonnage latéral pendant l'étape de restauration 3D dans le chemin aller et l'étape de dégradation 3D dans le chemin arrière. De plus, s'il n'y a pas de divergence dans la qualité de l'image entre les deux plans axiaux, un seul réseau discriminant peut être utilisé pour apprendre des deux plans axiaux (ie, \ ({d} _ {x} ^ {\ Left (2 \ droite)} = {d} _ {x} ^ {\ Left (3 \ droite)} \) et \ (} )} = {D} _ {y} ^ {\ Left (3 \ droite)} \)). Par exemple, les études de simulation et l'expérience CFM en sont des exemples.

Ensuite, l'objectif complet de la formation sur les réseaux de neurones est donné par :

où \({{{{{\mathcal{L}}}}}}}_{{{{{\mathcal{c}}}}}}{{{{{\mathcal{y}}}}}}{{{{{\mathcal{c}}}}}}}\left(G,F\right)\) fait référence à la perte de cohérence cyclique et est calculé comme la somme des différences absolues, également appelée perte L1, entre F (G(y)) et y . λ, en tant que poids de la perte de cohérence cyclique, est fixé à 10 dans nos expériences. La fonction objective de l'architecture de préservation de la cohérence du cycle vise à atteindre l'équilibre entre la capacité générative et la capacité discriminative du modèle en transformant les données d'image au domaine cible estimé aussi près que possible, tout en préservant la réversibilité des cartographies entre les domaines. L'équilibre génératif versus discriminatif est atteint par la convergence de la perte contradictoire dans les deux voies de la transformation de l'image, car les réseaux génératifs apprennent à maximiser la perte et les réseaux discriminatifs, en tant qu'adversaires, apprennent à minimiser la perte.

L'architecture résultante se compose de deux réseaux génératifs à couches profondes, chacun dans le chemin aller et le chemin retour, et de quatre ou six réseaux discriminants, en deux groupes chacun dans le chemin aller et le chemin retour. Le schéma est illustré à la Fig. 1b, et les descriptions détaillées des conceptions de réseau sont présentées à la Fig. 17 supplémentaire et aux notes supplémentaires 3 et 4.

Le réseau générateur G dans le chemin aller est basé sur l'architecture 3D U-Net48, qui se compose du chemin de sous-échantillonnage, de la couche inférieure, du chemin de suréchantillonnage et de la couche de sortie. D'autre part, le réseau génératif F dans le chemin de retour est ajustable et remplaçable en fonction de la capacité du réseau génératif à émuler le processus de brouillage ou de sous-échantillonnage. Nous avons recherché empiriquement un choix optimal entre l'architecture 3D U-net et le générateur linéaire profond49 sans l'étape de sous-échantillonnage (voir la Fig. 17b supplémentaire). Nous avons choisi le générateur linéaire profond comme F pour les simulations, les images cérébrales CFM et les images de perles fluorescentes OT-LSM, et nous avons choisi le 3D U-Net comme F pour les images cérébrales OT-LSM. Les tailles de noyau dans le générateur linéaire profond varient en fonction de la profondeur des couches de convolution (voir la Fig. 17b supplémentaire).

Avant la phase de formation pour les images OT-LSM, nous avons découpé le volume entier en sous-régions de 2003 à 2503 voxels avec des régions adjacentes superposées de 20 à 50 voxels de profondeur. Le nombre de sous-régions est d'environ 3000 pour les données d'image cérébrale et d'environ 580 pour les données d'image de perles fluorescentes. Ensuite, nous avons recadré au hasard une région pour l'entraînement par lots par itération et l'avons retournée sur un axe choisi au hasard comme technique d'augmentation des données. La taille du recadrage était de 132 × 132 × 132 voxels pour les images cérébrales et de 100 × 100 × 100 voxels pour les images de billes fluorescentes.

Alors que la résolution axiale dans OT-LSM diffère entre les plans XZ et YZ en raison du chemin d'éclairage aligné avec l'axe YZ, la résolution axiale dans l'imagerie CFM est cohérente sur le plan XY. Pour cette raison, pour les images CFM, nous avons chargé tout le volume d'image (1-2 gigaoctets) en mémoire et avons fait pivoter de manière aléatoire le long de l'axe Z en tant que technique d'augmentation des données. Ensuite, nous avons recadré au hasard une région et basculé sur un axe choisi au hasard par itération. Pour cette raison, les réseaux ont été formés avec un volume d'image entier avec sa progression de formation marquée en itérations au lieu d'époques. La taille de recadrage est définie sur 144 × 144 × 144 voxels. Au cours de la phase d'inférence dans toutes les expériences, la taille du recadrage est définie sur 120 × 120 × 120 voxels avec des régions superposées de 30 voxels de profondeur, et nous avons recadré les bordures d'une profondeur de 20 voxels de chaque sous-région de sortie pour supprimer les signaux faibles près des bordures avant de les assembler à l'espace image d'origine. Dans toutes les expériences, la taille du lot par itération est définie sur 1.

Dans les réseaux génératifs 3D U-net, toutes les couches de convolution 3D ont la taille du noyau de 3, la foulée de 1 avec la taille de remplissage de 1, et toutes les couches de convolution transposées ont la taille de noyau de 2, la foulée de 2 et pas de rembourrage. Dans les réseaux génératifs linéaires profonds, les six couches de convolution ont les tailles de noyau de [7,5,3,1,1,1] tour à tour avec la foulée de 1 et les tailles de remplissage de [3,2,1,0,0,0]. Dans les réseaux discriminatifs, les couches de convolution ont la taille du noyau de 4, la foulée de 2 et la taille de rembourrage de 1. Pour la profondeur de projection axiale, nous l'avons définie à une profondeur aléatoire à chaque itération confinée entre 2 tranches à 15 tranches pour l'imagerie CFM du cerveau et entre 2 tranches à 10 tranches pour les études de simulation, l'imagerie par billes fluorescentes, l'imagerie CFM des astrocytes et l'imagerie OT-LSM floue synthétiquement.

Dans toutes les expériences, tous les réseaux d'apprentissage ont été initialisés à l'aide de l'initialisation de Kaiming50 et optimisés à l'aide de l'optimiseur d'estimation de moment adaptatif (Adam)51 avec un taux d'apprentissage de départ de 1 × 10−4. Pour les images CFM et les images cérébrales OT-LSM, la formation a été effectuée sur un ordinateur de bureau avec une carte graphique GeForce RTX 3090 (Nvidia) et un processeur Intel(R) Core(TM) i7-8700K à 3,70 GHz. Le temps d'apprentissage d'un modèle différait en fonction de la nature de l'image et d'hyper-paramètres tels que la taille du retour sur investissement par itération d'apprentissage. Par exemple, la formation pour un modèle de référence de la simulation a été sélectionnée à la 11 000e itération et a pris environ 19 heures en utilisant un volume d'image 16 bits de 1 483 voxels par itération. La consommation de mémoire GPU était d'environ 24 Go dans ce cas. L'inférence a pris 3 à 5 minutes sur un volume de test de 7003 voxels. Dans notre implémentation, le modèle U-Net comprend 7,077 millions de paramètres d'apprentissage, le générateur linéaire profond comprend 0,647 million de paramètres d'apprentissage et chaque réseau discriminant contient 2,763 millions de paramètres d'apprentissage. Les performances des réseaux entraînés ont été mesurées à l'aide de PSNR, SSIM, MS-SSIM27, BRISQUE39 et SNR. Les définitions de PSNR, SSIM et SNR dans cette étude sont décrites dans les notes supplémentaires 5, 6 et 7, respectivement.

Sauf indication contraire, tous les réseaux de neurones ont été formés une fois par ensemble d'hyper-paramètres et de données d'entrée. En termes d'inférence, toutes les expériences ont été répétées indépendamment au moins trois fois par volume d'image, obtenant des résultats similaires. Ici, le cadre proposé est sans référence et appliqué à des images à grande échelle où les caractéristiques biologiques peuvent varier dans l'espace de l'image. Dans toutes les expériences, l'ensemble de l'espace image a été évalué et a montré des résultats similaires.

De plus amples informations sur la conception de la recherche sont disponibles dans le résumé des rapports de recherche sur la nature lié à cet article.

Les données d'entraînement et de test pour la simulation, l'expérience CFM, l'expérience OT-LSM pour la déconvolution PSF et l'expérience OT-LSM avec flou artificiel et les données de test pour l'expérience OT-LSM pour la correction des artefacts ont été déposées dans la base de données Zenodo sous https://doi.org/10.5281/zenodo.635294852. Les données de formation pour l'expérience OT-LSM pour la correction des artefacts sont disponibles auprès de l'auteur correspondant sur demande raisonnable, en raison des limitations de taille. Les données sources sont fournies avec ce document.

Le code pour la formation et la prédiction du réseau (en Python/PyTorch) est accessible au public sur le référentiel Github53.

Chung, K. et al. Interrogation structurale et moléculaire de systèmes biologiques intacts. Nature 497, 332–337 (2013).

Article ADS CAS Google Scholar

Chung, K. & Deisseroth, K. Clarity pour la cartographie du système nerveux. Nat. Méthodes 10, 508–513 (2013).

Article CAS Google Scholar

Yang, B. et al. Phénotypage d'une seule cellule dans un tissu intact transparent par compensation de tout le corps. Cellule 158, 945–958 (2014).

Article CAS Google Scholar

Richardson, DS & Lichtman, JW Clarification du nettoyage des tissus. Cellule 162, 246-257 (2015).

Article CAS Google Scholar

Hama, H. et al. Échelles : une palette de compensation optique pour l'imagerie biologique. Nat. Neurosci. 18, 1518-1529 (2015).

Article CAS Google Scholar

Santi, PA Microscopie à fluorescence à feuillet lumineux : Une revue. J. Histochimie Cytochimie 59, 129–138 (2011).

Article CAS Google Scholar

Huisken, J., Swoger, J., Bene, FD, Wittbrodt, J. & Stelzer, EH Sectionnement optique profondément à l'intérieur des embryons vivants par microscopie à éclairage plan sélectif. Sciences 305, 1007-1009 (2004).

Article ADS CAS Google Scholar

Keller, PJ, Schmidt, AD, Wittbrodt, J. & Stelzer, EH Reconstruction du développement embryonnaire précoce du poisson zèbre par microscopie à feuille de lumière numérisée. Sciences 322, 1065-1069 (2008).

Article ADS CAS Google Scholar

Verveer, PJ et al. Imagerie tridimensionnelle haute résolution de grands spécimens avec microscopie à feuille de lumière. Nat. Méthodes 4, 311–313 (2007).

Article CAS Google Scholar

Hell, SW Nanoscopie optique en champ lointain. Sciences 316, 1153–1158 (2007).

Article ADS CAS Google Scholar

Gustafsson, MG Dépassement de la limite de résolution latérale par un facteur de deux en utilisant la microscopie à éclairage structuré. J. Microsc. 198, 82–87 (2000).

Article CAS Google Scholar

Schermeleh, L. et al. Imagerie multicolore en sous-diffraction de la périphérie nucléaire avec microscopie à illumination structurée 3d. Sciences 320, 1332-1336 (2008).

Article ADS CAS Google Scholar

Hell, SW & Wichmann, J. Briser la limite de résolution de diffraction par émission stimulée : microscopie à fluorescence à émission stimulée. Opter. Lett. 19, 780 (1994).

Article ADS CAS Google Scholar

Schermelleh, L., Heintzmann, R. & Leonhardt, H. Un guide pour la microscopie à fluorescence à super-résolution. J. Cell Biol. 190, 165–175 (2010).

Article CAS Google Scholar

Power, RM & Huisken, J. Un guide pour la microscopie à fluorescence à feuille de lumière pour l'imagerie à plusieurs échelles. Nat. Méthodes 14, 360–373 (2017).

Article CAS Google Scholar

Ahrens, MB, Orger, MB, Robson, DN, Li, JM & Keller, PJ Imagerie fonctionnelle du cerveau entier à résolution cellulaire à l'aide de la microscopie à feuille de lumière. Nat. Méthodes 10, 413–420 (2013).

Article CAS Google Scholar

Glaser, AK et al. Microscopie à feuille de lumière pour la pathologie non destructive sans lame de grands échantillons cliniques. Nat. Biomédical. Ing. 1, 1–10 (2017).

Article Google Scholar

Wang, H. et al. L'apprentissage en profondeur permet une super-résolution intermodalité en microscopie à fluorescence. Nat. Méthodes 16, 103–110 (2019).

Article CAS Google Scholar

Weigert, M. et al. Restauration d'image sensible au contenu : repousser les limites de la microscopie à fluorescence. Nat. Méthodes 15, 1090–1097 (2018).

Article CAS Google Scholar

Weigert, M., Royer, L., Jug, F. & Myers, G. Reconstruction isotrope d'images de microscopie à fluorescence 3D à l'aide de réseaux de neurones convolutifs. In Medical Image Computing and Computer Assisted Intervention—MICCAI 2017 (eds Descoteaux, M. et al.) 126–134 (Springer, Cham, 2017).

Zhang, H. et al. Microscopie d'apprentissage en profondeur à haut débit et haute résolution basée sur un réseau contradictoire génératif sans inscription. Biomédical. Opter. Express 10, 1044 (2019).

Article Google Scholar

Zhu, J.-Y., Park, T., Isola, P. & Efros, AA Traduction d'image à image non appariée à l'aide de réseaux contradictoires à cycle cohérent (2017). Document présenté à la Conférence internationale sur la vision par ordinateur (ICCV), 22-29 2017.

Sim, B., Oh, G., Kim, J., Jung, C. & Ye, JC CycleGAN piloté par le transport optimal pour l'apprentissage non supervisé dans les problèmes inverses. SIAM J. Imaging Sci. 13, 2281-2306 (2020).

Article MathSciNet Google Scholar

Lim, S. et al. CycleGAN avec un noyau de flou pour la microscopie à déconvolution : géométrie de transport optimale. IEEE Trans. Imagerie computationnelle 6, 1127–1138 (2020).

Article MathSciNet Google Scholar

Villani, C. Transport optimal : anciens et nouveaux Vol. 338 (Springer Science & Business Media, 2008).

Goodfellow, I. et al. Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. et Weinberger, KQ (eds) Réseaux antagonistes génératifs. (eds Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. & Weinberger, KQ) Advances in Neural Information Processing Systems, Vol. 27 (Curran Associates, Inc., 2014).

Wang, Z., Simoncelli, E. & Bovik, A. Similitude structurelle multi-échelles pour l'évaluation de la qualité d'image (2003). Document présenté à la Thrity-Seventh Asilomar Conference on Signals, Systems and Computers, 9-12 2003.

Otsu, N. Une méthode de sélection de seuil à partir d'histogrammes en niveaux de gris. IEEE Trans. Syst., Homme, Cybern. 9, 62–66 (1979).

Article Google Scholar

Ridler, TW & Calvard S. Seuil d'image à l'aide d'une méthode de sélection itérative. IEEE Trans. Syst., Homme, Cybern. 8, 630–632 (1978).

Article Google Scholar

Glasbey, C. Une analyse des algorithmes de seuillage basés sur l'histogramme. CVGIP : Graphique. Processus d'image des modèles. 55, 532–537 (1993).

Google Scholar

Bogovic, JA, Hanslovsky, P., Wong, A. et Saalfeld, S. Enregistrement robuste d'images de calcium par synthèse de contraste apprise (2016). Document présenté au Symposium international sur l'imagerie biomédicale (ISBI), 13-16 2016.

Quan, T. et al. Neurogps-tree : reconstruction automatique de populations neuronales à grande échelle avec des neurites denses. Nat. Méthodes 13, 51–54 (2016).

Article CAS Google Scholar

Kim, B. et al. Microscopie à feuille de lumière à balayage axial à ciel ouvert. Optique biomédicale Express 12, 2328–2338 (2021).

McGorty, R. et al. Microscope à éclairage plan sélectif ouvert pour les échantillons montés de manière conventionnelle. Optique Express 23, 16142–16153 (2015).

Mcgorty, R., Xie, D. & Huang, B. Microscopie d'éclairage à plan sélectif à ciel ouvert et haut-na pour l'imagerie biologique. Optique Express 25, 17798–17810 (2017).

Richardson, WH Méthode itérative bayésienne de restauration d'image. J. Optical Soc. Suis. 62, 55 (1972).

Annonces d'article Google Scholar

Lucy, LB Une technique itérative pour la rectification des distributions observées. The Astronomical J. 79, 745–754 (1974).

Sage, D. et al. Deconvolutionlab2 : Un logiciel open-source pour la microscopie de déconvolution. Méthodes 115, 28–41 (2017).

Article CAS Google Scholar

Mittal, A., Moorthy, AK & Bovik, AC Évaluation de la qualité d'image sans référence dans le domaine spatial. IEEE Trans. Processus d'image. 21, 4695–4708 (2012).

Article ADS MathSciNet Google Scholar

Isola, P., Zhu, J.-Y., Zhou, T. & Efros, AA Traduction d'image à image avec des réseaux contradictoires conditionnels (2017). Document présenté à la Conference on Computer Vision and Pattern Recognition (CVPR), 21–26 2017.

Karras, T., Laine, S. & Aila, T. Une architecture de générateur basée sur le style pour les réseaux antagonistes génératifs (2019). Document présenté à la Conference on Computer Vision and Pattern Recognition (CVPR), 16–20 2019.

Gonzalez, RC & Woods, RE Traitement d'image numérique (Pearson, 2018).

Belthangady, C. & Royer, LA Applications, promesses et pièges de l'apprentissage en profondeur pour la reconstruction d'images de fluorescence. Nat. Méthodes 16, 1215-1225 (2019).

Article CAS Google Scholar

Schindelin, J. et al. Fidji : une plate-forme open source pour l'analyse d'images biologiques. Nat. Méthodes 9, 676–682 (2012).

Article CAS Google Scholar

Ayachit, U. Le guide ParaView : une application de visualisation parallèle (Kitware, Inc., Clifton Park, NY, États-Unis, 2015).

Peng, H., Ruan, Z., Long, F., Simpson, J. & Myers, E. V3d permet la visualisation 3D en temps réel et l'analyse quantitative d'ensembles de données d'images biologiques à grande échelle. Nat. Biotechnol. 28, 348-353 (2010).

Article CAS Google Scholar

Mao, X. et al. Réseaux antagonistes génératifs des moindres carrés (2017). Document présenté à la Conférence internationale sur la vision par ordinateur (ICCV), 22-29 2017.

Ronneberger, O., Fischer, P. & Brox, T. U-net : Réseaux convolutifs pour la segmentation d'images biomédicales (2015). Document présenté à la Conférence internationale sur l'informatique médicale et l'intervention assistée par ordinateur (MICCAI), 5–9 2015.

Bell-Kligler, S., Shocher, A. & Irani, M. Estimation du noyau de super-résolution aveugle à l'aide d'un GAN interne (2019). Document présenté à la conférence et à l'atelier sur les systèmes de traitement de l'information neuronale (NeurIPS), 8-14 2019.

He, K., Zhang, X., Ren, S. & Sun, J. Plonger profondément dans les redresseurs : surpasser les performances au niveau humain sur la classification imagenet (2015). Document présenté à la Conférence internationale sur la vision par ordinateur (ICCV), 11–18 2015.

Kingma, DP & Ba, J. Adam : Une méthode d'optimisation stochastique (2014). Préimpression sur https://arxiv.org/abs/1412.6980.

Park, H. et al. Ensemble de données pour la super-résolution isotrope sans référence pour la microscopie à fluorescence volumétrique (2022). Zenodo https://doi.org/10.5281/zenodo.6352948.

Park, H. Neuroclear : super-résolution isotrope sans référence pour la microscopie à fluorescence volumétrique (2022). Zenodo https://doi.org/10.5281/zenodo.6371391.

Télécharger les références

HP et JCY ont été soutenus par la National Research Foundation of Korea (Grant NRF-2020R1A2B5B03001980 et NRF-2017M3C7A1047904). Les échantillons de cerveau de souris transgéniques ont été fournis par le Dr Chang Man Ha du Korea Brain Research Institute.

Département de génie biologique et cérébral, Korea Advanced Institute of Science and Technology, Daejeon, Corée du Sud

Parc Hyoungjun et Jong Chul Ye

Département de physiologie et sciences biomédicales, Collège de médecine de l'Université nationale de Séoul, Séoul, Corée du Sud

Myeongsu Na et Sunghoe Chang

Division des biosciences intégratives et de la biotechnologie, Université des sciences et technologies de Pohang, Pohang, Corée du Sud

Bumju Kim et Ki Hean Kim

Département de génie mécanique, Université des sciences et technologies de Pohang, Pohang, Corée du Sud

Soohyun Park et Ki Hean Kim

Institut de recherche en neurosciences, Collège de médecine de l'Université nationale de Séoul, Séoul, Corée du Sud

Sunghoe Chang

Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology, Daejeon, Corée du Sud

Jong Chul Ye

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

HP a conçu et mis en œuvre la recherche. JCY a supervisé le projet dans sa conception et sa discussion. MN a généré les données d'imagerie CFM. SC a supervisé l'imagerie CFM. BK et SP ont généré les données d'imagerie OT-LSM. KK a supervisé l'imagerie OT-LSM. HP et JCY ont rédigé le manuscrit.

Correspondance avec Jong Chul Ye.

Les auteurs ne déclarent aucun intérêt concurrent.

Nature Communications remercie les évaluateurs anonymes pour leur contribution à l'évaluation par les pairs de ce travail. Les rapports des pairs examinateurs sont disponibles.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Park, H., Na, M., Kim, B. et al. L'apprentissage en profondeur permet une super-résolution isotrope sans référence pour la microscopie à fluorescence volumétrique. Nat Commun 13, 3297 (2022). https://doi.org/10.1038/s41467-022-30949-6

Télécharger la citation

Reçu : 18 mai 2021

Accepté : 10 mai 2022

Publié: 08 juin 2022

DOI : https://doi.org/10.1038/s41467-022-30949-6

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.