Nintendo 3DS Video en 3D – Explication du fonctionnement

Effet expliqué plus bas (ce n’est pas de la vraie 3D relief)

Sa date de sortie est prévue pour le premier trimestre 2011 pour un prix non annoncé (mais plus cher que l’actuelle). Prix justifié par le patron de Nintendo par les nouvelles capacités 3D de la console et la possibilité de faire du chat en 3D grâce à la console Nintendo 3DS.

En plus de la capacité de visualisation 3D relief (expliqué plus bas) il semble y avoir une capacité de simulation de profondeur, soit grâce à un accéléromètre/gyroscope (comme sur l’iPhone) soit grâce à une caméra qui retranscrit les mouvements du gamer perçus (illustration sur la vidéo ci-dessus). A noter qu’il est impossible par définition de filmer de la 3D avec une caméra normale et de la restituer sans terminal prévu à cet effet.

La Nintendo 3DS pour une visualisation en 3D, quelques indices donnés par Satoru Iwata, président de Nintendo.

Traduction par Nintendo Difference

VentureBeat : Dites-nous comment a été développée la 3DS.

Satoru Iwata : La 3D n’a rien de nouveau chez Nintendo, on tente de relever le défi depuis bien longtemps. Comme vous le savez, notre première essai fut la console portable Virtual Boy, voici maintenant une quinzaine d’années. Mais, ça ne marchait pas très bien.

Lorsque nous avons lancé le GameCube en 2001, la technologie d’auto-stéréoscopie à barrière de parallaxe était déjà disponible. On a d’ailleurs fait quelques essais sur un écran LCD pour voir comment se débrouillait le processeur du GameCube qui pouvait produire des images pour l’œil gauche et l’œil droit en les décalant afin de créer un effet 3D. Le circuit électronique avait été conçu entre autres pour fonctionner avec des écrans LCD. C’est Luigi’s Mansion qui a servi de cobaye pour cette expérience, et le résultat était très attirant. Il donnait vraiment de la profondeur à l’univers du jeu. Ensuite, quand nous avons étudié sa commercialisation, nous avons dû considérer le fait que les joueurs n’étaient pas équiper pour tirer parti de cette technologie. Investir dans une console de jeu et une télévision LCD n’allait pas être possible pour la majeure partie des gens, c’est pourquoi nous avons alors abandonné l’idée.

Nous avons également fait quelques essais sur Game Boy Advance en l’équipant d’un écran 3D, j’en ai d’ailleurs encore un prototype dans ma commode. Lorsqu’on a vu le rendu sur GBA SP, on a de suite remarqué que la résolution de l’écran était insuffisante pour le bon fonctionnement de la barrière de parallaxe. De plus, le processeur graphique de la GBA n’était pas assez puissant. On a donc également jeter l’éponge.

Après ces péripéties a commencé le développement de la première DS. Là, nous n’avons pensé à aucun moment à ajouter la 3D, notamment à cause de nos échecs précédents. Depuis l’introduction du double écran, dont un tactile, nous nous sommes mis à penser qu’on ne pourrait rien apporter d’autre à la console. Six mois après avoir terminé son développement, nous nous sommes mis à plancher sur son successeur, qui est aujourd’hui devenu la 3DS. Là encore, la 3D n’était pas de suite au rendez-vous.

Notre premier objectif était d’augmenter les capacités de la DS. En 2008, quelqu’un nous a suggéré d’incorporer la 3D à l’engin, mais beaucoup étaient opposés à l’idée, encore une fois à cause des échecs du passé. Cependant, on a décidé de quand même faire quelques essais. Dès que les développeurs ont vu la machine à l’œuvre, leur avis a changé. C’était devenu vraiment attrayant.

Trois domaines majeures ont connu des améliorations. Avant, les écrans LCD avaient une résolution insuffisante, ce qui n’est plus le cas aujourd’hui. Ensuite, la barrière de parallaxe n’avait pas suffisamment de fonctionnalités à l’époque, contrairement à maintenant. Enfin, il existe actuellement beaucoup plus de processeurs qui peuvent offrir des images photoréalistes. La qualité d’affichage qui résulte de ces améliorations est drastiquement accrue et, à ce moment, Shigeru Miyamoto, et il n’était pas le seul, a pensé de suite que le temps de la 3D était venu pour Nintendo.

Nous avons eu de la chance que le film Avatar ait rencontré un grand succès peu après le début de nos travaux sur la 3DS. Mêmes les fabricants de télé ont décidé d’investir dans la 3D pour certains nouveaux modèles, alors que nous nous préparions à l’E³. C’était une grande chance car, deux ans plus tôt, lorsque nous avons pris la décision d’inclure la 3D, il était juste impossible de prédire tout cela. En y repensant, tout notre travail a payé. Nous avons pourtant eu des essais infructueux mais nous avons été capables de prédire quand la technologie serait suffisamment mature pour qu’on l’exploite.

À propos de la 3DS

L’interview nous apprend aussi que l’angle de vision de la 3DS est suffisamment confortable et large après moult tests et expériences réalisées par Nintendo. Lorsque l’iPhone est évoqué et rapproché de la 3DS pour son éventail de fonctionnalités (notamment les photos en 3D, le sans-fil, l’accéléromètre et le gyromètre), Iwata se bidonne et explique que, même s’il possède et utilise régulièrement un iPhone, l’objectif de Nintendo reste de proposer des expériences ludiques que seul Nintendo est capable de créer. Par conséquent, Apple, Microsoft et Sony ne sont pas des concurrents pour la firme de Kyoto.

Et parce que l’argent est le nerf de la guerre mais qu’il est trop tôt pour en définir le budget, Satoru Iwata indique juste que le coût de fabrication de la 3DS est supérieur à celui d’une DS aujourd’hui, et qu’il est fort peu pensable que la console soit vendue à perte. Exprimé autrement, ça signifie que la console coûtera sans doute un peu plus cher qu’une DS(i) (XL).

À propos de la 3D sur console de salon

La Wii se faisant vieille malgré les nombreuses annonces de l’E³ qui raviront les joueurs, beaucoup s’interrogent sur la suite. Si on peut affirmer avec quasi-certitude que la haute résolution (la HD, pour les trois distraits du fond) sera de la partie, on peut aller un peu plus loin et prétendre que Nintendo ne se contentera pas de cela. Comme la 3DS proposera un bond en avant dans le domaine de l’immersion, il est probable que la prochaine console de salon de Nintendo s’aventure dans le même type d’expérience. Pourtant, lorsque VentureBeat demande à monsieur Iwata s’il pense que la technologie employée pour la 3DS, qui ne requiert pas de lunettes, peut être employée pour des téléviseurs, sa réponse ne laisse guère entrevoir grand chose :

« Avec la technologie de la barrière de parallaxe, l’écran LCD doit être à une certaine distance de l’écran (ndm’: imaginez deux écrans superposés qui n’en font qu’un, ça devrait aider). Il faut également délimiter l’angle de vision. Nous pensons que ce n’est pas un bon plan pour les télévisions. En tant qu’ingénieur (ndm’ : impliqué dans le développement de la 3DS), je peux anticiper que quelqu’un inventera une telle télévision 3D qui ne demandera pas de lunettes 3D, mais que ça ne fonctionnera pas très bien. Nous avons besoin d’abord besoin d’une invention technologique pour faire cela correctement. Si vous me demandez quand… je n’en ai aucune idée. »

______________________________

Essayons maintenant de comprendre comment tout cela fonctionne.

Perception du relief :

Le relief est une sensation produite par le cerveau, par analyse de plusieurs informations :
- la disparité entre les deux images légèrement différentes perçues par nos yeux,
- l’effort musculaire de vergence des yeux,
- la perspective et la taille relative des objets,
- les ombres portées et les réflexions,
- les effets d’occlusion et le déplacement relatif des objets les uns par rapport aux autres.

La vision binoculaire est bien sûr prépondérante pour voir en relief est résulte du fait que vos 2 yeux visualisent la même scène à environ 6 cm d’écart, cet écart correspondant à votre écart rétinien. C’est pourquoi les procédés d’affichage en relief « classiques » utilisent deux points de vue décalés d’une même scène, appelés couple stéréoscopique.

Il y a plusieurs manière de visualiser des contenus en 3D, grâce à des lunettes passives un verre est polarisé circulaire droit, l’autre gauche, des lunettes actives qui vous bouchent un œil après l’autre sans qu’on s’en aperçoive 100 fois par seconde. Je ne rentrerai pas ici dans l’explication de ces deux technologies car elles nécessitent des lunettes ce qui n’est pas le cas de la Nintendo 3DS qui permet la visualisation de jeux en 3D justement sans accessoires complémentaires comme des lunettes. Alors, justement comment ça marche sur les écrans 3D de la Nintendo 3DS ?

Technologies sans lunette :

La visualisation de contenus en 3D sans lunettes est possible sur des technologies d’écrans appelés écrans autostéréoscopiques qui se différencient principalement par trois aspects :
- La nature géométrique ou optique du procédé utilisé pour séparer des points de vue : barrière de parallaxe ou réseau lenticulaire
- La structure du contenu : image plate + Z-Map ou 8 images originales
- Les algorithmes de mixage utilisés

1. Barrière de Parallaxe (Paralax Barrier) : technologie utilisée par la Nintendo 3DS pour la vision en 3D

Avant que Nintendo 3DS n’utilise cette technologie Sharp avait lancé 2 laptops sur le marché grand public, Hitachi a également utilisé la technologie (Parallax Barrier en anglais) sur le premier mobile 3D distibué au Japon par l’opérateur KDDI et en 2009 Fujifilm a lancé son Fujifilm FinePix Real 3D W1 à 2 objectifs et à écran autostéréoscopique (489€).

La barrière de parallaxe est une structure composée d’une alternance de zones transparentes et de zones opaques. Ces dernières jouent pour chaque point de vue un rôle d’obturateur qui permet de générer 2 points de vue différents, un pour chaque œil.

Source : Alioscopy

Les partie opaques jouent pour chaque point de vue un rôle d’obturateur qui, par nature, dégrade la luminosité.
La perte de 7/8ème de la lumière (pour un écran à 8 points de vue) peut être partiellement compensée par un rétro éclairage surpuissant, qui entraîne alors une dégradation des couleurs et des nuances.

Le soucis de ce type d’écran indépendamment de la forte perte de luminosité reste qu’il faut être situé dans un cône de visualisation aoptimal pour profiter d’un effet 3D sans effet de flou ce qui peut être génant dans le cas d’un téléviseur devant lequel vous pourriez ne pas tout à fait en face. Cet inconvénien est par contre totalement levé devant un petit écran personnel puisque par définition vous êtes en général seul devant votre Nintendo 3DS et plutôt en face.

2. Réseau Lenticulaire (Lenticular Lens) :

Le principe de la technologie à base de réseau lenticulaire a été inventé par le français Pierre Allio qui a déposé un brevet en 1980 et a créer son entreprise Alioscopy qui décrit sa technologie comme suit :

Les écrans 3D Alioscopy sont dits auto-stéréoscopiques car l’effet relief est immédiat, sans qu’il faille porter de lunettes spéciales. Cela impose toutefois de jouer des films particuliers, qui ne combinent plus seulement les deux images d’un couple stéréoscopique, mais 8 images formant 7 couples stéréoscopiques successifs. Ces 8 images sont mélangées en une seule selon un algorithme breveté et elles donnent ainsi naissance à une image Alioscopy.

On constate sur cette image que certaines zones paraissent floues. Affichée sur un écran 3D Alioscopy, ce flou se convertira en effet relief et l’image deviendra nette sur tous les plans : la roue droite du premier avion semblera sur le plan de l’écran, tandis que la pointe de son aile jaillira de 40 cm (sur un écran de 42″),  l’avion du fond volant pour sa part à 60 cm en profondeur derrière l’écran.

Image Alioscopy à 8 points de vue

Afin de transformer le flou de cette image en sensation de relief et de permettre à chaque œil de voir une image différente, un composant optique constitué de microlentilles cylindriques, appelé réseau lenticulaire, est positionné en oblique sur l’écran avec une grande précision.

Réseau lenticulaire oblique à la surface d’un écran Alioscopy

Ces lentilles agissent comme de minuscules loupes, qui grossissent un point de vue différent selon l’angle sous lequel on regarde l’écran. Elles empêchent ainsi chaque œil de voir plus d’une image à la fois parmi les 8 qui sont mélangés dans l’image. Puisque les deux yeux ne regardent pas l‘écran exactement sous le même angle, ils perçoivent donc chacun une image distincte, permettant au cerveau de créer la sensation de relief.

Ces lentilles agissent comme de minuscules loupes, qui grossissent un point de vue différent selon l’angle sous lequel on regarde l’écran. Elles empêchent ainsi chaque œil de voir plus d’une image à la fois parmi les 8 qui sont mélangés dans l’image. Puisque les deux yeux ne regardent pas l‘écran exactement sous le même angle, ils perçoivent donc chacun une image distincte, permettant au cerveau de créer la sensation de relief.

Principes techniques : Les écrans Alioscopy sont des écrans LCD, spécialement choisis pour la structure de leur dalle. Chaque point de couleur à l’écran, appelé pixel, est composé de trois sub-pixels de couleurs différentes : rouge, vert et bleu.

Pixel carré sur écran un LCD

Un écran Full HD compte près de 2 millions de pixels, assemblés en matrice.

Vue d’une matrice LCD

Le composant optique est usiné par Alioscopy au 1/100ème de microns. Il est ensuite positionné en diagonale sur la dalle LCD avec la même exigence de précision.

Position en diagonale du composant optique lenticulaire

Chaque lentille couvre exactement 8 sub-pixels, soit 2 pixels 2/3.

Lentilles couvrant 8 sub-pixels

Chaque sub-pixel est désormais utilisé pour un point de vue différent. Plutôt que d’avoir trois sub-pixels côte à côte pour former un point de couleur, ce sont désormais trois sub-pixels en diagonale, sur trois lignes successives. Les numéros des points de vue sont indiqués sur la figure ci-dessous. L’information s’aligne en diagonale, dans l’axe précis des lentilles.

Permutation circulaire des sub-pixels sur un bloc de 8 lignes par 8 colonnes de pixels

La position de l’observateur détermine ce qu’il perçoit à travers les lentilles. En effet, tous les 6.5 cm, l’image grossie par les lentilles change. Les yeux étant séparés de 6.5 cm voient donc chacun une image différente.

Tous les 6.5 cm, l’œil voit à travers chaque lentille des parties d’une image différente

Ainsi, le cerveau reconstitue une sensation de relief immédiate et naturelle.

_____

Pour comprendre comment fonctionne Microsoft Xbox 360 Kinect c’est ici

3D, comment ça marche, console, Etonnant, interface, Jeux, video, visuel