Comment la mise à l'échelle de l'IA pourrait faire de meilleures photos

Table des matières:

Comment la mise à l'échelle de l'IA pourrait faire de meilleures photos
Comment la mise à l'échelle de l'IA pourrait faire de meilleures photos
Anonim

Clé à emporter

  • De nouvelles avancées pour agrandir les images pourraient aider avec tout, des photos de famille à l'imagerie médicale.
  • Les chercheurs de Google ont annoncé qu'ils avaient fait des percées dans l'utilisation de l'IA pour augmenter la résolution des photos.
  • Mais un expert dit que le logiciel de mise à l'échelle n'est peut-être pas nécessaire pour les photographes fixes.
Image
Image

Les nouvelles techniques qui agrandissent les images à l'aide de l'IA pourraient tout améliorer, des photos aux graphismes de jeux vidéo, selon les experts.

Les chercheurs de Google ont récemment évoqué les percées qu'ils ont réalisées dans l'augmentation de la résolution des images. Les scientifiques ont utilisé un modèle d'apprentissage automatique pour transformer une photo basse résolution en une image haute résolution détaillée. Cela fait partie d'une tendance croissante à utiliser l'IA pour améliorer les images.

"Nous assistons à une augmentation de la mise à l'échelle alimentée par l'IA, en particulier dans les jeux, où des technologies telles que NVIDIA DLSS utilisent l'apprentissage automatique pour recréer une image de résolution beaucoup plus élevée, qui rivalise et dépasse parfois la qualité des images natives, " l'expert en imagerie Ionut-Alexandru Popa a déclaré à Lifewire dans une interview par e-mail.

"Ce type de mise à l'échelle fonctionne très bien dans les jeux informatiques, où il parvient à utiliser moins de ressources que le rendu direct d'une image de meilleure qualité."

Créer un pixel

Google a exploré un moyen de mettre à l'échelle les photos à l'aide d'une méthode appelée modèles de diffusion.

La société affirme que cette technique améliore les technologies existantes lorsque les humains sont invités à juger des résultats. L'une des approches utilisées par Google s'appelle SR3, ou Super-Resolution via Repeated Refinement.

"SR3 est un modèle de diffusion à super-résolution qui prend en entrée une image basse résolution et construit une image haute résolution correspondante à partir du bruit pur", ont écrit les chercheurs de Google dans le billet de blog."Le modèle est formé sur un processus de corruption d'image dans lequel du bruit est progressivement ajouté à une image haute résolution jusqu'à ce qu'il ne reste que du bruit pur."

Les techniques de mise à l'échelle ne sont pas nouvelles et sont couramment utilisées dans les applications de retouche photo, a déclaré Popa.

"Il existe de nombreuses situations dans lesquelles vous avez besoin d'une image à plus haute résolution, donc la mise à l'échelle est utilisée pour créer des pixels entre ceux qui existent déjà", a-t-il ajouté. "La plupart des gens ne s'en rendent pas compte, mais lorsqu'ils regardent la télévision sur leur écran 4K, le signal vidéo 1080p est automatiquement mis à l'échelle pour couvrir tout l'écran. Cela est fait automatiquement par votre téléviseur."

De nombreuses techniques actuelles sont utilisées pour "deviner" le contenu des nouveaux pixels afin que l'image résultante soit belle, a déclaré Popa.

"Actuellement, les algorithmes les plus utilisés pour la mise à l'échelle des images sont les méthodes bilinéaire et bicubique, qui assurent une transition continue entre les pixels adjacents, avec un changement de couleur progressif, mais cette méthode entraîne souvent une perte de netteté", a-t-il ajouté."Ceci est partiellement compensé en appliquant une passe de netteté sur l'image agrandie."

Il existe de nombreuses situations où vous avez besoin d'une image de résolution plus élevée, donc la mise à l'échelle est utilisée pour créer des pixels entre les pixels existants.

La mise à l'échelle des images est cruciale pour le fonctionnement du divertissement, des médias et d'Internet, a déclaré le photographe Sébastien Coell à Lifewire dans une interview par e-mail.

"Par exemple, plutôt que d'avoir plusieurs tailles d'image pour une page Web, comme dans, une pour un téléphone, une pour une tablette", a-t-il dit, "si vous pouvez mettre à l'échelle cette image 1080p à 2k ou 4k et cette image de téléphone sur une tablette et 1080p, vous avez soudainement réduit le nombre d'images nécessaires de 6 à 2."

"Vous économiserez également l'espace de fichier nécessaire à partir des gros fichiers 2k et 4k, ce qui réduira la taille globale de stockage de fichiers nécessaire d'environ 70 à 90 %."

Pas seulement pour la télévision

La mise à l'échelle des photos peut également améliorer la qualité des photos et pourrait même aider à l'imagerie médicale. Les développeurs de logiciels affirment que la mise à l'échelle peut augmenter la résolution des images sans aucune dégradation de la qualité.

Mais, Matic Broz, le fondateur du site Web de photographie Photutorial, a déclaré à Lifewire dans une interview par e-mail que les résultats réels dépendent du logiciel utilisé.

"Récemment, l'IA a trouvé sa place dans la mise à l'échelle des images, bien que je n'en sois pas impressionné jusqu'à présent", a-t-il ajouté.

Broz a déclaré que le meilleur logiciel de mise à l'échelle qu'il a utilisé est AI Image Enlarger de Vance AI.

Image
Image

"Même leur convertisseur ascendant d'image 8x n'introduit aucun bruit significatif (c'est une augmentation de 64x de la résolution)", a-t-il déclaré. "Je m'attends à ce que les algorithmes ne s'améliorent que dans les années à venir, permettant une mise à l'échelle encore plus importante."

Pour les photographes fixes, Broz a déclaré que la question de savoir si les convertisseurs ascendants d'image étaient nécessaires est une question ouverte.

"Les développeurs de caméras améliorent constamment la résolution des capteurs de caméra, maintenant même avec une résolution de 100 MP+", a-t-il ajouté. "Personnellement, j'ai utilisé 24MP et environ 50MP, et je n'ai jamais ressenti le besoin d'images plus grandes, pas même pour les gros tirages."

Conseillé: