Mobile

Comment fonctionne Night Sight de Google et pourquoi il est si bon – High-teK.ca

En lisant tous les éloges de la nouvelle fonctionnalité de photographie en basse lumière Night Sight de Google pour les téléphones Pixel, vous seriez pardonné de penser que Google venait d’inventer le film couleur. En fait, les modes de prise de vue nocturne ne sont pas nouveaux et bon nombre des technologies sous-jacentes remontent à des années. Mais Google a fait un travail incroyable en combinant ses prouesses en imagerie informatique avec sa force inégalée en apprentissage automatique pour pousser la capacité au-delà de tout ce que l’on voyait auparavant dans un appareil mobile. Nous allons jeter un coup d’œil à l’histoire de la photographie en basse lumière à capture d’images multiples, comment elle est probablement utilisée par Google, et spéculer sur ce que l’IA apporte à la fête.

Le défi de la photographie en basse lumière

Traînées d'étoiles à longue exposition dans le parc national de Joshua Tree, prises avec un Nikon D700.  Image de David Cardinal.Toutes les caméras ont du mal dans les scènes à faible luminosité. Sans suffisamment de photons par pixel de la scène, le bruit peut facilement dominer dans une image. Laisser l’obturateur ouvert plus longtemps pour recueillir suffisamment de lumière pour créer une image utilisable augmente également la quantité de bruit. Pire peut-être, il est également difficile de garder une image nette sans un trépied stable. L’augmentation de l’amplification (ISO) rendra une image plus lumineuse, mais cela augmentera également le bruit en même temps.

Les pixels plus gros, que l’on trouve généralement dans les capteurs plus grands, constituent la stratégie traditionnelle pour résoudre le problème. Malheureusement, les capteurs de l’appareil photo du téléphone sont minuscules, ce qui donne de petits photosites (pixels) qui fonctionnent bien dans un bel éclairage mais échouent rapidement à mesure que les niveaux de lumière diminuent.

Cela laisse aux concepteurs d’appareils photo de téléphone deux options pour améliorer les images en basse lumière. La première consiste à utiliser plusieurs images qui sont ensuite combinées en une seule version à faible bruit. Une des premières implémentations de ceci dans un accessoire d’appareil mobile était le mode SRAW de l’add-on DxO ONE pour l’iPhone. Il a fusionné quatre images RAW pour créer une version améliorée. La seconde consiste à utiliser un post-traitement intelligent (avec des versions récentes souvent alimentées par l’apprentissage automatique) pour réduire le bruit et améliorer le sujet. Night Sight de Google utilise les deux.

Multi-image, capture unique

À présent, nous sommes tous habitués à ce que nos téléphones et appareils photo combinent plusieurs images en une seule, principalement pour améliorer la plage dynamique. Qu’il s’agisse d’un ensemble traditionnel d’expositions entre crochets comme celui utilisé par la plupart des entreprises, ou du HDR+ de Google, qui utilise plusieurs images de courte durée, le résultat peut être une image finale supérieure – si les artefacts causés par la fusion de plusieurs images d’une scène en mouvement peuvent être minimisé. Généralement, cela se fait en choisissant une image de base qui représente le mieux la scène, puis en y fusionnant des parties utiles des autres images pour améliorer l’image. Huawei, Google et d’autres ont également utilisé cette même approche pour créer captures au téléobjectif de meilleure résolution. Nous avons récemment vu à quel point il est important de choisir le bon cadre de base, car Apple a expliqué son snafu « BeautyGate » comme un bogue où le mauvais cadre de base était choisi dans la séquence capturée.

Psssssst :  Samsung devrait dévoiler la Galaxy Tab S3 au Mobile World Congress

Il est donc logique que Google, en substance, ait combiné ces utilisations de la capture multi-images pour créer de meilleures images en basse lumière. Ce faisant, il s’appuie sur une série d’innovations astucieuses en matière d’imagerie. Il est probable que l’application Android de Marc Levoy VoirDansLeNoir et son article de 2015 sur « l’imagerie extrême à l’aide de téléphones portables » ont été à l’origine de cet effort. Levoy a été un pionnier de l’imagerie informatique à Stanford et est maintenant un ingénieur distingué travaillant sur la technologie des caméras pour Google. SeeInTheDark (une suite à son application iOS SynthCam précédente) a utilisé un téléphone standard pour accumuler des images, déformant chaque image pour correspondre à l’image accumulée, puis effectuant une variété d’étapes de réduction du bruit et d’amélioration de l’image pour produire une remarquable faible luminosité finale. image. En 2017, un ingénieur Google, Florian Kanz, s’est appuyé sur certains de ces concepts pour montrer comment un téléphone pourrait être utilisé pour créer des images de qualité professionnelle même en très faible luminosité.

L’empilement de plusieurs images à faible luminosité est une technique bien connue

Depuis le début de la photographie numérique, les photographes empilent plusieurs cadres pour améliorer les performances en basse lumière (et je soupçonne que certains l’ont même fait avec un film). Dans mon cas, j’ai commencé par le faire à la main, puis j’ai utilisé un outil astucieux appelé Image Stacker. Étant donné que les premiers reflex numériques étaient inutiles à des ISO élevés, la seule façon d’obtenir de superbes photos de nuit était de prendre plusieurs images et de les empiler. Certains clichés classiques, comme les traînées d’étoiles, étaient initialement mieux capturés de cette façon. De nos jours, la pratique n’est pas très courante avec les appareils photo reflex numériques et sans miroir, car les modèles actuels ont d’excellentes performances de bruit natives élevées en ISO et à longue exposition. Je peux laisser l’obturateur ouvert sur mon Nikon D850 pendant 10 ou 20 minutes et obtenir encore des photos très utilisables.

Il est donc logique que les fabricants de téléphones emboîtent le pas, en utilisant une technologie similaire. Cependant, contrairement aux photographes patients qui photographient des traînées d’étoiles à l’aide d’un trépied, l’utilisateur moyen de téléphone veut une gratification instantanée et n’utilisera presque jamais de trépied. Ainsi, le téléphone a les défis supplémentaires de faire en sorte que la capture en basse lumière se produise assez rapidement, et également de minimiser le flou dû au bougé de l’appareil photo – et idéalement même du mouvement du sujet. Même la stabilisation optique de l’image que l’on trouve sur de nombreux téléphones haut de gamme a ses limites.

Je ne sais pas quel fabricant de téléphones a utilisé pour la première fois la capture d’images multiples pour améliorer la faible luminosité, mais le premier que j’ai utilisé est le Huawei Mate 10 Pro. Son mode Night Shot prend une série d’images sur 4-5 secondes, puis les fusionne en une seule photo finale. Étant donné que Huawei laisse l’aperçu en temps réel actif, nous pouvons voir qu’il utilise plusieurs expositions différentes pendant ce temps, créant essentiellement plusieurs images entre crochets.

Psssssst :  RED annule ses plans pour un deuxième téléphone à hydrogène alors que le fondateur démissionne

Dans son article sur le HDR+ original, Levoy fait valoir que les expositions multiples sont plus difficiles à aligner (c’est pourquoi le HDR+ utilise de nombreux cadres exposés de manière identique), il est donc probable que Night Sight de Google, comme SeeInTheDark, utilise également une série de cadres avec des expositions identiques. Cependant, Google (du moins dans la version préliminaire de l’application) ne laisse pas l’image en temps réel sur l’écran du téléphone, ce n’est donc qu’une spéculation de ma part. Samsung a utilisé une tactique différente dans les Galaxy S9 et S9+, avec un objectif principal à double ouverture. Il peut passer à un impressionnant f/1.5 en basse lumière pour améliorer la qualité d’image.

Comparaison des capacités de caméra à faible luminosité de Huawei et de Google

Je n’ai pas encore de Pixel 3 ou de Mate 20, mais j’ai accès à un Mate 10 Pro avec Night Shot et à un Pixel 2 avec une version préliminaire de Night Sight. J’ai donc décidé de comparer par moi-même. Au cours d’une série de tests, Google a clairement surpassé Huawei, avec moins de bruit et des images plus nettes. Voici une séquence de test pour illustrer :

Peindre à la lumière du jour avec Huawei Mate 10 Pro

Peindre à la lumière du jour avec Huawei Mate 10 Pro

Peindre à la lumière du jour avec Google Pixel 2

Peindre à la lumière du jour avec Google Pixel 2

Sans mode de prise de vue nocturne, voici ce que vous obtenez en photographiant la même scène dans le noir proche avec le Mate 10 Pro.  Il choisit un temps d'obturation de 6 secondes, ce qui se voit dans le flou.

Sans mode Night Shot, voici ce que vous obtenez en photographiant la même scène dans le noir avec le Mate 10 Pro. Il a choisi un temps d’obturation de 6 secondes, ce qui se voit dans le flou.

Une version tournée dans le noir proche avec Night Shot sur le Huawei Mate 10 Pro.  Les données EXIF ​​indiquent ISO3200 et 3 secondes de temps d'exposition total.

Une version tournée dans le noir proche avec Night Shot sur le Huawei Mate 10 Pro. Les données EXIF ​​indiquent ISO3200 et 3 secondes de temps d’exposition total.

La même scène utilisant (pré-version) Night Sight sur un Pixel 2. Couleur plus précise et légèrement plus nette.  Les données EXIF ​​​​montrent ISO5962 et 1/4s pour le temps d'obturation (vraisemblablement pour chacune des nombreuses images)

La même scène utilisant (pré-version) Night Sight sur un Pixel 2. Couleur plus précise et légèrement plus nette. Les données EXIF ​​​​montrent ISO5962 et 1/4s pour le temps d’obturation (vraisemblablement pour chacune des nombreuses images). Les deux images ont été recompressées à une taille globale plus petite pour une utilisation sur le Web.

L’apprentissage automatique fait-il partie de la sauce secrète de Night Sight ?

Étant donné depuis combien de temps l’empilement d’images existe et combien de fabricants d’appareils photo et de téléphones en ont utilisé une version, il est juste de se demander pourquoi Night Sight de Google semble être tellement meilleur que n’importe quoi d’autre. Premièrement, même la technologie dans l’article original de Levoy est très complexe, donc les années que Google a dû continuer à améliorer devraient leur donner une longueur d’avance décente sur n’importe qui d’autre. Mais Google a également déclaré que Night Sight utilise l’apprentissage automatique pour décider des couleurs appropriées pour une scène en fonction du contenu.

Psssssst :  Google est déterminé à chasser l'iPhone avec les prochaines mises à niveau de pixels

C’est assez cool, mais aussi assez vague. Il n’est pas clair s’il segmente des objets individuels afin qu’il sache qu’ils doivent être d’une couleur cohérente, ou colorie des objets bien connus de manière appropriée, ou reconnaît globalement un type de scène comme le font les algorithmes d’exposition automatique intelligents et décide comment des scènes comme celle-ci devraient généralement (feuillage vert, neige blanche et ciel bleu par exemple). Je suis sûr qu’une fois la version finale déployée et que les photographes auront plus d’expérience avec cette fonctionnalité, nous en apprendrons davantage sur cette utilisation de l’apprentissage automatique.

Un autre endroit où l’apprentissage automatique aurait pu être utile est le calcul initial de l’exposition. La technologie HDR+ de base sous-jacente à Night Sight, telle que documentée dans l’article SIGGRAPH de Google, s’appuie sur un ensemble de données étiqueté à la main de milliers d’échantillons de scènes pour l’aider à déterminer l’exposition correcte à utiliser. Cela semblerait être un domaine où l’apprentissage automatique pourrait entraîner certaines améliorations, en particulier en étendant le calcul de l’exposition à des conditions de très faible luminosité où les objets de la scène sont bruyants et difficiles à discerner. Google a également été expérimenter l’utilisation de réseaux de neurones pour améliorer la qualité de l’image du téléphoneil ne serait donc pas surprenant de commencer à voir certaines de ces techniques déployées.

Quelle que soit la combinaison de ces techniques utilisée par Google, le résultat est certainement le meilleur mode de caméra en basse lumière sur le marché aujourd’hui. Il sera intéressant au fur et à mesure que la famille Huawei P20 se déploiera de savoir si elle a pu rapprocher sa propre capacité Night Shot de ce que Google a fait.

Maintenant lis: Meilleurs téléphones Android pour les photographes en 2018, Workflow de photographie mobile : repousser les limites avec Lightroom et Pixel, et LG V40 ThinQ : comment 5 appareils photo repoussent les limites de la photographie par téléphone

Bouton retour en haut de la page