[Lyon-hackerspace] Supercalculateur : encodage vidéo

mirsal mirsal at mirsal.fr
Mer 15 Mai 15:29:08 CEST 2013


Ahoy :)

On Wed, 2013-05-15 at 14:05 +0200, Baptiste Jonglez wrote:
> Je viens de penser à une autre utilisation possible du
> super-calculateur : l'encodage vidéo.
> 
> Dès qu'on veut se passer de Youtube & consorts, on se heurte à un
> problème : il faut proposer ses vidéos en plusieurs formats (mp4,
> webm) et éventuellement en plusieurs qualités (1080p, 720p, etc). Il
> faut donc les ré-encoder.
> 
> C'est vraiment gourmand en calcul, mais ça ne demande pas une quantité
> de RAM incroyable. Après, ça ne se parallélise pas plus que ça :
> ffmpeg sait paralléliser sur plusieurs cœurs avec certains encodeurs,
> mais ça me paraît chaud de distribuer sur plusieurs machines.

En fait l'encodage est la partie d'un pipeline de réencodage vidéo (par
exemple accès -> demux -> décodage -> encodage -> remux -> sortie) la
plus facile à parralléliser.

Une méthode simple est de définir plusieurs pipelines du style:

 * accès -> demux -> split -> sortie
   (un pipe par flux vidéo, I/O bound)

 * accès -> décodage -> sortie
   (plusieurs pipes en parallèle, CPU bound)

 * accès -> encodage -> sortie
   (plusieurs pipes en parallèle, CPU bound)

 * accès -> remux -> sortie
   (un pipe par flux vidéo, I/O bound)

Le procédé au complet devient alors I/O bound.

> Ceci dit, vu que chaque job prend du temps, c'est quand même cool de
> pouvoir distribuer les différents jobs sur les nœuds du cluster.

Dans la pluspart des cas, utiliser un seul pipeline par flux vidéo reste
le plus intéressant, mais pourquoi pas pousser le vice, ne serait-ce que
pour la science ^^

> Le seul point négatif que je vois, si on veut mettre ça à disposition,
> c'est la ligne ADSL du LOL, qui ne suffit clairement pas à transvaser
> de gros fichiers vidéos. Dans un premier temps, ça peut déjà être
> intéressant de le faire en local.

sneakernet ftw :p

> Qu'en pensez-vous ? Au niveau mise en place, il n'y a pas tout à
> réinventer, on peut probablement se baser sur des bouts du Mediakit de
> la Quadrature [1].

Note, on a un bon candidat: l'instance de mediagoblin qui tourne à
http://media.lyonopenlab.org/ (l'upload de vidéos est désactivé)


> [1] https://mediakit.laquadrature.net/


-- 
mirsal 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 490 bytes
Desc: This is a digitally signed message part
URL: <http://lists.hackerspaces.org/pipermail/lyon-hackerspace/attachments/20130515/928ad4fa/attachment.pgp>


Plus d'informations sur la liste de diffusion Lyon-hackerspace