Nokia 808 PureView – Les Dossiers Secrets : La capture vidéo haute vitesse


Par Fneuf,
 Le 30/04/12

Les spécifications officiellement annoncées pour le 808 PureView indiquent un support de l’enregistrement vidéo à 30 images/secondes.

Pourtant, lorsque l’on s’intéresse de plus près aux capacités de ce smartphone ont réalise vite que le futur photophone de Nokia en a encore sous le capot…

A l’affiche aujourd’hui : la capture vidéo haute vitesse.

High Speed framerate

La course du cheval (Muybridge - Wikipédia)

La course du cheval (Muybridge - Wikipédia)

Traditionnellement on parle de capture vidéo haute-vitesse lorsque la fréquence de prise de vue dépasse les valeurs « standards » de 24 ou 30 images par secondes (i/s). Pour le grand public les caméras haute-vitesse captent 60, 100 et jusqu’à plus de 1000 i/s. Pour les professionnels : cinéastes, scientifiques ou l’armée, la barre du million d’images par seconde a été dépassée. Lors de la lecture les vidéos capturées sont visualisées avec une vitesse de défilement normal. Le mouvement filmé apparaît alors ralenti.

C’est un vieux sujet dont les premières réalisations datent de la seconde moitié du 19ème siècle. Elles permirent par exemple de comprendre la cinématique de la marche du cheval ou du chat. Pour les puristes terminologiques, à cette époque cela tenait plus de la photographie haute vitesse que de la vidéo. Les séquences capturées étaient très, très courtes. Bien entendu la technique a depuis énormément évoluée.

Le point technique

Aujourd’hui, après l’arrivée du numérique, la capture d’images à haute vitesse est possible à condition de réunir plusieurs conditions :

  • Capteur :
    • Sensibilité : le capteur doit être suffisamment « efficace » pour pouvoir obtenir des images claires avec un très faible temps d’exposition (plus vous prenez d’images en 1 secondes, moins chaque image « reçoit de lumière »),
    • Transfert de données (lecture des informations du capteur) : le capteur doit pouvoir transmettre ses informations très rapidement. Supporter une fréquence de rafraichissement élevée, on parlera ici de « shuttering speed » (ou obturation en bon françois) et disposer d’un large bus mémoire,
  • Processeur d’Image : il doit pouvoir traiter (dématriçage, traitement du bruit, …) le flux rapide d’informations brutes (RAW) envoyées par le capteur aussi rapidement que possible,
  • Encodage vidéo : il peut être assuré par le processeur sus-cité ou sous-traité à un autre composant (puce d’encodage dédiée, …),
  • Support de Stockage : il doit pouvoir enregistrer le flux d’informations reçus sans ralentir.

 Capteur

Tous les détails n’ont pas encore filtrés sur le nouveau capteur du 808. Je me suis livré à une première analyse dans l’article « Le baroud d’honneur de Symbian » et nous avons donc connaissance d’au moins un élément : le sur-échantillonnage. Pour filmer une vidéo 1080p, le 808 et ses 34 MegaPixels utiles (en 16/9ème) dispose de 16 fois plus de pixels que « nécessaire ». Chaque pixel d’une vidéo est donc conçu à partir de 16 photosites physiques sur le capteur. Il y a alors 16x plus de lumière disponible, ce qui va aider à en partie compenser la diminution du temps d’exposition.

Pour ce qui concerne la lecture du signal, les données « envoyées par le capteur » la limite sera donnée par la technologie de construction du capteur. Un exemple de l’incertitude qui règne ici : le « shuttering« . Sur le papier le 808 dispose d’un avantage favorisant une augmentation de la vitesse de capture, son capteur CMOS. C’est une technologie traditionnellement plus rapide que son homologue le CCD. Pour autant la façon dont l’exposition des photosites du capteur est contrôlée et la façon dont leurs informations sont lus est déterminante pour pouvoir prétendre à la haute vitesse :

Le N8, père du 808, dispose lui aussi d’un capteur CMOS et d’un obturateur mécanique pour les photos. En mode vidéo, l’obturateur mécanique est désactivé et se met alors en place une obturation électronique, qui suit le principe du « rolling shutter« . C’est à dire que les informations du capteur sont lues de façon séquentielles, par lignes ou groupes de pixels. La conséquence ? Les sujets en mouvement peuvent dans certains cas apparaitre déformés, puisque entre le moment où vous lisez la ligne 1 et la ligne 2, les sujets que vous filmez peuvent s’être déplacés. Là où cela devient sympa, c’est qu’en augmentant la vitesse de lecture du contenu du capteur vous allez atténuer l’effet négatif du rolling shutter sur les mouvements filmés. Car plus vous allez lire rapidement les lignes, moins de temps ce sera écoulé entre la lecture d’une ligne et la suivante. Et moins votre sujet aura bougé. L’alternative principale en terme d’obturation électronique est le global shutter, où tous les photosites sont lus en même temps. Cette technique garanti l’absence de déformations des sujets en mouvements pour toute les vitesses de capture. Par contre avec cette technique il faut que la largeur de la bande passante du bus mémoire du capteur permette d’envoyer les 34 MegaPixels en « un cycle ». C’est là où l’on peut trouver un intérêt au rolling shutter qui permet justement d’accélérer la vitesse de lecture des du contenu du capteur, puisque cette lecture se fait au « fil de l’eau ». La question est donc posée : le capteur du 808 est-il un rolling shutter ou un plus couteux global shutter ?

Des informations aujourd’hui inconnues. Seule certitude, avec une fréquence importante un problème de taille peut se poser : le dégagement thermique. Plus vous allez monter en fréquence de capture, plus le capteur et ses circuits dédiés vont monter en température :

  • le capteur n’a probablement pas été conçu pour supporter ce type de traitement de façon prolongée,
  • la température fait partie des ennemis directs de la qualité d’image des capteurs. Elle provoque l’apparition du bruit numérique, ces pixels colorés qui surgissent de façon anarchique sur les images.

Processeur d’Image

Le 808 est équipé d’un pré-processeur d’image dédié. Le flux de données généré par le capteur CMOS de 41 MegaPixels a rendu indispensable cette aide au processeur principal et aux circuits intégrés au capteur. Bien que nous ne disposions pas aujourd’hui de tous les détails sur ce processeur créé spécifiquement pour les besoins du nouveau Nokia, un chiffre clé à été donné : il peut traiter plus d’1 milliards de pixels/s. En nous livrant à un rapide calcul nous pouvons préciser un peu plus ce chiffre :

  • Nombre de pixels maximal géré en entrée (ou « input fillrate ») : (7728 x 4354) x 30 = 1 009 431 360 pixels/s

De même un second chiffre est calculable facilement, ce processeur d’image crée en sortie un flux d’image 1080p à 30 i/s soit :

  • Nombre de pixels maximal géré en sortie (ou « output fillrate ») : (1920 x 1080) x 30 = 62 208 000 pixels/s

Nous pouvons alors construire un tableau qui nous donne, pour chaque résolution vidéo supportée, la fréquence maximale d’image que pourrait théoriquement supporter ce processeur compagnon. Deux cas sont considérés, d’après l’input fillrate et d’après l’output fillrate :

maximum video framerate imaging cpu limit pureview
Vitesse de capture vidéo maximale supportée par le processeur d’image dédié du Nokia 808 PureView

Le calcul est le suivant :

  • Fréquence maximale théorique supportée en 1080p : 1 009 431 360/(1920 x 1080) = 487  i/s

Si l’hypothèse de calcul retenue est valide, ce pré-processeur d’images est capable de gérer un flux vidéo proche de 500 i/s en Full HD… Ceci permettrait par exemple de ralentir un mouvement plus de 16x sa vitesse réelle. Autrement dit en 1s vous en filmerez 16. Maintenant l’enjeu est de savoir si ce pré-processeur est suffisamment flexible pour accepter cette manière de travailler.

Encodage vidéo

Normalement, toutes les tâches d’encodage vidéo seront assurées par le « multimedia co-processor » Broadcom BCM2763 (c’est aussi lui le second processeur d’image). Malheureusement  peu d’informations sont disponibles à son sujet. Les détails techniques des produits Broadcom semblent souffrir d’un Non Disclosure Agreement

A défaut de pouvoir disséquer sa puissance, nous pouvons identifier comment il serait possible de l’aider : si l’on baisse la définition vidéo, ou diminue la qualité d’encodage du codec, ou augmente son efficacité, ou affecte une partie du traitement au processeur ou pré-processeur compagnon, on peux certainement augmenter les possibilités natives de la puce Broadcom.

Support de stockage

Ici beaucoup va dépendre de l’encodage du flux vidéo. En haute qualité et en nous basant sur l’exemple du Nokia N8, le flux vidéo 720p25 (pour 25 i/s) enregistré possède un débit binaire d’environ 10 Mb/s (Megabit par seconde).

En considérant une évolution linéaire, si vous doublez la fréquence de la vidéo (50 i/s) vous doublez son débit binaire, il faut alors sauvegarder 20 Mb/s. Et ainsi de suite. Ce principe nous permet d’obtenir le tableau suivant :

Maximum supported Video Framerate by media
Vitesse de capture vidéo maximale en fonction du média utilisé

 Ici deux, voir trois solutions sont possibles :

  1. mémoire de masse (le « E » sous Symbian) : généralement basée sur de la eMMC (NAND MLC), les produits Nokia (Symbian ou Meego) actuels y atteignent les 136Mb/s (le fournisseur, Toshiba annonce 176 Mb/s), => le 808 PureView pourrait alors supporter une capture à 150 i/s en 1080p,
  2. carte microSD : les versions les plus rapides de cette technologie (cartes UHS104) supportent en théorie des pointes à 832Mb/s (à condition que l’appareil utilisé supporte ce standard), => ici nous pourrions approcher 1000 i/s en 1080p,
  3. RAM : pour aller encore plus loin il serait envisageable d’utiliser la RAM comme un buffer (pour « mémoire tampon ») afin de désengorger l’enregistrement sur un des supports précédemment cités.

En résumé

Sur le papier, il existe des possibilités que la capture vidéo haute vitesse soit possible. Maintenant il faut rester réaliste, les calculs présentés ici sont simplistes. Je ne compte pas sérieusement voir arriver un mode 1000 i/s sur le 808 PureView. Voir arriver un « simple » 60 i/s serait déjà un très, très grand pas.

Cette partie « technique » nous montre simplement que les conditions principales pour dépasser les 30 i/s semblent réunies. Pour aller plus loin il faudrait étudier tout ceci dans le détail, et justement nous en manquons de détails ! La montée en température du capteur, la largeur de la bande passante de son bus mémoire, la flexibilité du pré-processeur d’image et les capacités réelles en encodage vidéo sont quelques exemples de sujets à ne pas négliger.

 

L’essence du 808 PureView

Je discutais récemment de ce sujet avec James Burland et il me confiait en retour que l’équipe imaging de Nokia voyait cette fonctionnalité comme un gadget.

Useless Gadgets

Fonctionnalités gadgets (gedgetsworld.in)

Au premier abord je regrette que l’équipe image de Nokia ne soit pas « très chaude » sur cette fonction. Mais je peux comprendre qu’il la perçoive comme un « gadget » :

  • L’acheteur standard d’un smartphone : veut simplement capturer des scènes de vie : les enfants qui jouent, du théâtre, un concert, quelques évènements sportifs. Des moments de tous les jours. Il veut simplement se créer des souvenirs, qu’il pourra partager. Ici, 60 i/s ou plus ne semblent pas être indispensable,
  • L’acheteur photographe enthousiaste : va rechercher la créativité. Il veut que son produit lui donne des possibilités, lui permette de repousser les limites : de nouvelles façons de filmer, de nouvelles façon de représenter les idées qu’il a en tête. 60 i/s sont ici un catalyseur,

La seule question qu’il faut se poser pour évaluer la pertinence de cette fonction c’est donc « quel est le Use Case ?« 

Il se trouve que d’après les indices que nous a donné Nokia, le 808 PureView est un produit de niche. Il ne recevra pas un gigantesque support publicitaire. Il ne sera pas en affiche 4x3m dans toutes les rues et ne sera même pas distribué par toutes les boutiques de téléphonie. C’est une vitrine technologique orientée sur 2 cibles : les photographes enthousiastes et les clients satisfaits par Symbian qui ne trouvent pas encore leur compte dans la gamme Lumia.

En tant que produit de niche, c’est son rôle de proposer des utilisations qui paraissent à première vue « particulières », « conceptuelles ». Mais qui seront standard dans 5 ou 10 ans.

 

Pourquoi c’est une fonction indispensable

Je suis présent sur la scène des sports d’action, les sports « alternatifs ». Pour ces pratiques l’utilisation d’enregistrements haute vitesse permet d’atteindre le niveau supérieur :

  • pour le public : cela permet d’apporter des images encore jamais vues, qui expliquent les gestes, révèlent des situations, détaillent la cinématique de l’action,
  • pour le sportif : cela vous donne un formidable outil pour vous perfectionner, apprendre.

Il est facile de créer un parallèle avec les outils ou l’observation scientifique. Nous savons que nous ne pouvons uniquement compter sur nos yeux pour comprendre notre monde, nous avons besoin d’instruments spécifiques pour l’embrasser dans son ensemble. Nous ne pouvons pas nous contenter de nos seules mains, nous avons besoin d’outils pour nous permettre de construire, d’agir. Nous avons besoin d’outils pour apprendre et faire avancer les choses. La capture de vidéo haute vitesse nous permet de comprendre l’intimité d’une action, elle nous révèle des détails que nous ne pouvons percevoir en temps réel. C’est l’essence de l’appareillage scientifique, tel un capteur de contrainte va vous indiquer comment un matériau vit.

Je vous le disais dans la première partie, la vidéo haute vitesse nous a permis de comprendre il y a plus de 130 ans la cinématique de marche des animaux. Aujourd’hui elle aide à l’analyse des crash-tests. La vidéo cliché de la goutte d’eau qui s’écrase fait peut-être gadget (et encore, cela dépend pour qui), une figure en VTT filmée à haute vitesse est un puissant outil didactique.

Ces dernières années, je me souviens de 2 films particulièrement marquants :

LifeCycles du collectif Stance Film :

 

All.I.Can du collectif Sherpas :

 

Je ne sais pas si vous avez eu vent de ces productions, si ce n’est pas le cas je vous suggère d’instamment de les voir en intégralité. Même si vous n’êtes pas fans des « sports extrêmes » les images sont superbes. Elles sont un époustouflant cri en faveur de la capture haute vitesse.

Un dernier exemple qui parlera à Nokia : avec le N8 Nokia a débuté un partenariat avec Burton, célèbre marque de Snowboards. Leurs équipes nous ramènent régulièrement des vidéos de leurs athlètes. Il y eut notamment les projets Push Snowboarding ou le Burton Bullet Time. Demandez-leur si ils sont intéressés par un mobile qui dispose d’une fonction caméra haute vitesse… !

La capture de vidéo haute vitesse n’est pas un gadget, c’est d’un intérêt narratif direct pour nos vidéos et les films !

Camarades lecteurs, il est temps de lancer une pétition ! Motivons Damian Dinning et Nokia !

@fneuf

Si vous souhaitez plus de détails sur le Nokia 808 PureView, je vous recommende la lecture de cet article.

UHS104))
1 151 758 080,00
http://www.test-mobile.fr/actualites/nokia-808-pureview-le-baroud-dhonneur-de-symbian-030297/

Accès directs

Mobiles :

808 PureView

Marques :

Nokia

Tags :

Editofneuf