Mais il reste toujours certaines interactions qu’on n’arrive pas à automatiser : celles qui touchent aux interfaces graphiques (lorsqu’aucune API n’est présente/utile). Je vous présente donc Sikuli, le moyen d’automatiser simplement ce qu’on voit à l’écran à partir de screenshots.

Installation

Sikuli est un programme open-source en Jython (un interpréteur Python en Java, silence dans le fond de la salle~) et dispose de versions compatibles avec Windows, MacOS et évidemment Linux (32 ou 64bits). Je vous renvoie donc sur la page de téléchargements du projet pour télécharger la dernière version.

Assurez-vous d’avoir toutes les dépendances:
sudo apt-get install sun-java6-jre libcv4 libcvaux4 libhighgui4

Rien à compiler, décompressez le tout et lancez sikuli-ide.sh

Scripts simples

Je ne pense pas que tout vous expliquer soit réellement utile ici, l’application est très intuitive. Les instructions principales sont évidemment click(…), rightClick(…) ou type(“…”). Tout est renseigné dans la colonne de gauche.

Pour insérer un screenshot je vous recommande le raccourci clavier Ctrl+Maj+2 ou, s’il ne fonctionne pas à l’endroit où vous souhaitez le faire, utilisez le bouton de screenshot de Sikuli qui a un délai configurable dans les préférences.

Voici par exemple un script qui change la résolution de mon écran (oui, je sais, je pourrais le faire avec xrandr mais ici c’est vraiment à la portée de n’importe qui) :

Remarquez que sur certains des screenshots il y a un point rouge. Il correspond à l'endroit précis qui sera cliqué, appelé Target Offset dans Sikuli et programmable en cliquant sur le bouton représentant le screenshot.

Scripts un peu plus intelligents

Bien sûr Sikuli est proche d’un vrai langage de programmation et permet donc des scripts plus puissants, plus intelligents. On peut faire des boucles, des conditions, des wait, etc.

Voici quelques exemples simples qui parlent d’eux-même.

value = input("Entre la bonne valeur : ")
type(value + "\n")

Beaucoup d’autres exemples sont consultables dans la documentation de Sikuli.

C’est bien beau pour les n00bs, mais pour les geeks comme moi?

Bon j’ai du me détruire le cerveau à trouver une utilité à Sikuli pour les geeks durs de dur qui savent tout faire en bash… Et j’ai trouvé!

Si vous développez des interfaces graphiques, Sikuli peut faire des unitTests sur celles-ci ! On peut aussi utiliser les possibilités de Sikuli dans ses propres logiciels Java.

On peut aussi interagir avec des grosses méchantes applications web en AJAX… Si vous trouvez d’autres utilités, laissez-les en commentaire

Lancer un script

On peut évidemment lancer un script depuis l’interface graphique de Sikuli mais le plus intéressant est de le faire depuis un terminal ou un raccourci. Rien de plus simple, il suffit d’appeler Sikuli avec le paramètre –run :
/chemin/vers/sikuli/sikuli-ide.sh --run /chemin/vers/script.sikuli

J’en ai même un assigné à un raccourcis clavier (Google est votre ami, les raccourcis clavier dépendent de votre environnement graphique)

En savoir plus

• Le site du projet
• Documentation par l’exemple

Si vous avez aimé ce post...

1. Mise en place d’un système de backup avec Rsnapshot
2. Libérez votre esprit avec Freemind
3. S’authentifier avec une clé USB

Nous sommes donc fiers de vous présenter la version entièrement réécrite de ce script pour télécharger les Guignols de l’Info en cette rentrée 2009!

La technique

Vous vous souviendrez peut-être que notre précédente technique profitait d’une faille de sécurité sur le site de Canal+ : bien que le player exploitait le RTMP, les fichiers étaient toujours accessibles en HTTP. Nous en profitions donc pour simplement wget les différentes vidéos. Évidemment cette année le HTTP est entièrement bloqué et il faut donc passer par le RTMP.

Le hic, c’est que récupérer une URL RTMP relève du parcours du combattant. Mais il y a quelques jours jeantube est passé nous signaler une URL très, très intéressante : http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/search/guignols. Celle-ci correspond, je pense, au résultat AJAX des recherches de vidéo sur le site de Canal+.

Ce qui est génial avec ce fichier, c’est qu’il comporte en clair les URL rtmp://. Il ne nous reste plus qu’à utiliser un petit logiciel nommé rtmpdump pour enregistrer localement le fichier.

Le script

Pour automatiser la tâche, je vous ai rédigé un petit script bash très simple qui à coups de sed et grep récupère l’URL d’un épisode et lance le rtmpdump dessus. Il essaye toujours de prendre la plus haute qualité disponible et s’utilise comme le précédent:
./getGuignols.sh #Télécharge l'épisode de la veille
./getGuignols.sh 0 #Télécharge l'épisode d'aujourd'hui
./getGuignols.sh 3 #Télécharge l'épisode d'il y a trois jours

Le script est publié sous GPLv3 et j’ai inclu dans l’archive le binaire rtmpdump distribué sous GPLv2. Le tout se télécharge ici

A noter que le code est très facile à comprendre et devrait être aisément adapté à d’autres émissions publiées sur le site de Canal+.

Remerciements

Je remercie jeantube sans qui nous ne serions nulle part et les quelques acharnés de Chrogeek.com qui ont permis de démêler le schmilblik.

Si vous avez aimé ce post...

1. Télécharger les Guignols de l’Info
2. Ifconfig.me, connaitre son IP publique en un rien de temps

Le nouveau player, en plus d’un détecteur d’Ad Block, exploite désormais le protocol RTMP pour récupérer la vidéo. Le RTMP, c’est le streaming façon Flash Player. Presque impossible à dumper, je n’ai trouvé que quelques logiciels payants sous Windaube qui en soient capables.

Mais apparemment Canal n’a pas revu son système de publication vidéo dans son entièreté, et on peut encore trouver des traces de l’ancien système : les vidéos sont toujours accessibles à leur adresse HTTP ! Voici comment l’exploiter.

Ca faisait presque deux semaines que je notais les adresses de téléchargement des épisodes des Guignols de l’Info, ce qui m’a permis d’en extraire le schéma :
23/03/09 : http://vod-flash.canalplus.fr/WWWPLUS/STREAMING/0903/LES_GUIGNOLS_QUOTIDIEN_090323_AUTO_2389_169_video_H.flv
24/03/09 : http://vod-flash.canalplus.fr/WWWPLUS/STREAMING/0903/LES_GUIGNOLS_QUOTIDIEN_090324_AUTO_2405_169_video_H.flv
25/03/09 : http://vod-flash.canalplus.fr/WWWPLUS/STREAMING/0903/LES_GUIGNOLS_QUOTIDIEN_090325_AUTO_2418_169_video_H.flv

JJ/MM/YY : http://vod-flash.canalplus.fr/WWWPLUS/STREAMING/YYMM/LES_GUIGNOLS_QUOTIDIEN_YYMMJJ_AUTO_XXXX_169_video_H.flv
La date du jour, c’est facile. J’avais juste un problème pour le code à 4 chiffres, qui ne peut pas être calculé simplement. Le seul truc qu’on peut remarquer c’est qu’il augmente d’émission en émission.

J’ai donc écrit un petit script bash qui essaye toutes les possibilités, jusqu’à ce qu’il trouve, après 15 essais généralement. Il stocke le dernier code utilisé dans le fichier LastCode de manière à ne pas repartir à zéro le jour suivant.

Sans argument, il récupère l’épisode de la veille. En lui donnant des arguments il est possible de récupèrer virtuellement n’importe quel épisode. Exemples :
$ ./GetGuignols.sh #Récupère l'épisode de la veille, en se basant sur le fichier LastCode
$ ./GetGuignols.sh 0 #Récupère l'épisode d'aujourd'hui, en se basant sur le fichier LatCode
$ ./GetGuignols.sh 3 2580 #Récupère l'épisode d'il y a 3 jours, en cherchant à partir du code 2580

Et ça donne ça :
Télécharger le script Bash. Comme d’habitude c’est distribué sous license GPL et j’ai très bien commenté le code. Je partage avec vous ce script parce que le savoir appartient à tout le monde ^_^, au risque que Canal+ bloque finalement le protocole HTTP.

Bon visionnage

Si vous avez aimé ce post...

1. Télécharger les Guignols de l’Info v2