Ordinateurs

L’holographie neurale peut stimuler la RV et la RA en temps réel

Ce site peut gagner des commissions d’affiliation à partir des liens sur cette page. Conditions d’utilisation.

Crédit : Dong Wenjie/Getty Images

L’histoire des écrans VR/AR est faite de compromis. La majeure partie du marché est dominée par des modèles à un seul plan, qui obligent le spectateur à se concentrer de manière non naturelle sur une seule distance, quelle que soit la distance à laquelle les objets de la scène doivent se trouver. Les écrans multifocaux basés sur des guides d’ondes, comme ceux de Magic Leap, sont coûteux et ont un champ de vision limité. Il y a donc eu un intérêt croissant pour diverses alternatives. L’un des domaines de recherche les plus prometteurs est celui des affichages holographiques, qui promettent une expérience visuelle agréable avec des résultats réalistes.

Malheureusement, la génération d’images pour les écrans holographiques est un processus compliqué et chronophage. C’est là qu’intervient une nouvelle recherche publiée par le laboratoire du professeur adjoint Gordon Wetzstein de l’Université de Stanford et présentée au SIGGRAPH ce mois-ci. La technique, appelée holographie neuronale, utilise un réseau neuronal spécialisé formé avec un simulateur de caméra dans la boucle pour générer des images de haute qualité. résultats, et qui peuvent fonctionner essentiellement en temps réel – environ 30 images par seconde actuellement.

Holographie neurale

Comment fonctionnent les écrans holographiques, simplifiés

Pour beaucoup d’entre nous, notre premier souvenir d’un hologramme était une image sombre et monochrome d’un objet domestique commun caché derrière une vitre dans une vitrine de musée. Il est donc presque magique qu’ils puissent être projetés en couleur via un système de visualisation personnel. Mais les principes de base n’ont pas changé : une source de lumière laser est utilisée et collimatée (pour que toutes les ondes lumineuses se propagent en parallèle). Ensuite, il est transmis via un modulateur spatial de lumière (SLM), qui fait varier la phase pixel par pixel.

Le résultat est un champ lumineux avec des motifs d’interférence qui créent une image 3D de la scène. L’utilisateur visualise l’image à travers une lentille qui se traduit par une projection 2D sur sa rétine. Dans son application la plus simple, SLM utilise une transformation fixe, mais pour de meilleurs résultats, la transformation doit être plus sophistiquée. L’effort de Stanford, par exemple, traite chaque pixel individuellement.

Comment l’holographie neurale améliore le pipeline d’affichage holographique

CGH (Computer-Generated Holography) est le processus consistant à essayer de recréer une scène sous la forme d’un holographe projeté par un écran – dans ce cas, un écran proche de l’œil, généralement monté sur la tête. Mis à part le matériel, le plus grand défi dans la création d’une image réaliste est la transformation appliquée par le SLM. Il doit créer une projection holographique crédible en utilisant uniquement les changements de phase de la lumière qui la traverse.

Les algorithmes existants pour calculer cette transformée sont généralement soit directs, rapides et de qualité médiocre, soit itératifs et trop lents pour une utilisation en temps réel. Dans l’article de l’équipe de Stanford, ils fournissent de nombreux exemples de méthodes existantes et de leurs lacunes. Pour y répondre, l’équipe s’est concentrée sur deux innovations complémentaires.

La configuration du laboratoire d'holographie neurale de Stanford comprend une simulation de caméra dans la boucle

La configuration du laboratoire d’holographie neurale de Stanford utilise un laser RVB, une optique de collimation, un SLM LCoS (cristal liquide sur silicium) et dispose d’une simulation de caméra dans la boucle à l’aide d’une caméra de vision industrielle.

Tout d’abord, ils ont ajouté une caméra réelle à la plate-forme de simulation holographique typique pour améliorer leur capacité à calibrer et former le système. En incluant l’optique, la plate-forme est un meilleur analogue pour un affichage réel et l’œil humain que les systèmes traditionnels qui ne regardent que l’image de sortie du SLM. En entraînant le système à l’aide d’optimisations telles que la descente de gradient structurée (SGD) pour « apprendre » comment créer des transformations de haute qualité pour le SLM d’un écran, ils ont créé des algorithmes itératifs qui ont amélioré d’autres résultats publiés. La caméra n’est nécessaire que pour l’étalonnage et la formation. Une fois cette étape terminée, les résultats peuvent être utilisés avec un système d’affichage plus simple.

Deuxièmement, l’équipe a construit un réseau neuronal efficace, Holonet, qu’elle a formé pour créer un modèle du système lui-même, comprenant à la fois la transformation SLM et les aberrations optiques. Ce modèle est utilisé pour afficher des images, y compris celles qui ne figurent pas dans l’ensemble d’apprentissage initial. L’approche d’inférence haute performance lui permet de calculer les transformations nécessaires en temps réel, même pour des images aussi grandes que 1080p. En conséquence, l’équipe est en mesure d’obtenir des résultats directs qui sont aussi bons ou meilleurs que les algorithmes itératifs précédents, et presque aussi bons que leurs propres résultats itératifs CITL.

En ajoutant une caméra, le simulateur CITL (camera-in-the-loop) reflète plus précisément les résultats réels de l’optique d’affichage monté sur la tête.

L’holographie neurale montre une qualité impressionnante avec d’excellentes performances

Holonet comparé à DPAC

Holonet comparé à DPAC (Double-Phase Amplitude Encoding), qui était à la pointe de la technologie lors de sa présentation au SIGGRAPH 2017.

L’équipe a comparé les résultats d’Holonet à un certain nombre des principaux algorithmes publiés précédemment, notamment Wirtinger Holography, DPAC, GS (Gerchberg-Saxton), ainsi qu’à leur effort initial CITL (camera-in-the-loop). Il a produit des résultats supérieurs à tous tout en offrant des performances impressionnantes. Ci-dessus, une image de leur vidéo de comparaison, mais vous pouvez voir les comparaisons complètes et le discours SIGGRAPH de Wetzstein en ligne sur le site d’imagerie computationnelle de Stanford.

Holonet n’est pas limité aux écrans holographiques

Wetzstein considère les écrans holographiques comme l’un des domaines de recherche les plus intéressants sur les écrans AR / VR, car ils n’ont pas été développés autant que les options plus traditionnelles. Cependant, il ne considère pas que l’effort Holonet de son équipe n’est utile que pour les affichages holographiques existants, car le rendu d’affichage varifocal et multifocal est confronté à des défis similaires. L’équipe explore les moyens de combiner les résultats avec des solutions varifocales et multifocales pour créer des versions holographiques de ces approches qui aideraient à résoudre à la fois le réalisme et certains problèmes courants tels que les conflits de vergence-accommodation.

Maintenant lis:

Bouton retour en haut de la page