GreenButton Cloud Fabric et Azure (Cloud Cover Show épisode 134)

Voici un résumé en français de l’épisode 134 du cloud cover Show épisode 134 que je vous engage à regarder en vous rendant sur la page correspondante dans Channel 9.

Dave Fellows, l’invité, est le CTO de GreenButton, une société Néo-Zélandaise.

GreenButton édite Cloud Fabric qui permet à des ISV et entreprises d’utiliser des frameworks de calcul distribué sur divers types de Cloud, de façon simple et en apportant de la valeur comme prédire combien de temps le job va durer, en fonction du prix que l’on est prêt à mettre. Ce dernier exemple se présente dans Excel, où l’on dispose de données de précédentes exécutions qui permettent cette estimation.

Dave Fellows montre un exemple de transcodage de vidéo dans un autre format, et comment cela peut se faire depuis son SDK. Bien sûr cete exemple précis pourrait être fait avec Azure Media Services, mais c’est un cas d’école intéressant car c’est un exemple de job de type embarassingly parallel (un terme en grid computing qui signifie que les différentes parties du job peuvent travailler de façon indépendantes les unes des autres).

Le SDK expose une API (REST API) dont le principe est qu’on charge de la donnée, on soumet le job, et on télécharge le résultat. Le job splitter sait comment découper le travail. Dans l’exemple cité où l’on a deux vidéos, c’est très simple, une tâche s’occupe de la première vidéo, une tâche s’occupe de la seconde. Ensuite se pose la question de qui va effectivement faire le travail. Ici c’est ffmpeg.exe. Il va être packagé ainsi que toutes les dépendances dans un VHD ( ce n’est pas toute la VM, juste le moteur à utiliser et ses dépendances). On définit aussi la ligne de commande qui permettra d’effectuer la tâche. Par exemple ffmpeg.exe –i vid1.mp4 vid1.avi pour transcoder la première vidéo. Le Framework GreenButton va s’occuper de gérer le transfert des données (vid1.mp4 doit aller vers Compute instance dans le schéma) de façon sécurisée, la reprise sur erreurs, la facturation (pour une refacturation fine au sein de l’entreprise utilisatrice par exemple), la gestion des ressources et leur approvisionnement de façon dynamique.

Le SDK est disponible à http://developer.greenbutton.com. Cela pointe entre autres sur l’extension pour Visual Studio. On peut aussi le trouver directement depuis Visual Studio. Tools –> Extensions and Updates, puis Online et chercher GreenButton. Il ya également des exemples sur GitHub.

Une fois l’extension Visual Studio installée, on peut créer un nouveau projet de type Cloud et choisir un des deux modèles GreenButton (Embarassingly Parallel ou MPI – MPI = Message Passing Interface, terme de Grid computing pour des jobs qui impliquent que les tâches se coordonnent via des échanges de message). MPI implique d’utiliser de l’Infiniband typiquement et les 2,5 ms de latences annoncées par Azure (avec A8 et A9) positionne extrêmement bien ce cloud.

Pour reprendre l’exemple de transcodage en mode embarassingly parallel, on crée le projet TranscodingApp. ApplicationName correspondra au nom du fichier VHD. Même si souvent il y a une relation 1:1 entre le type de job et le VHD, on a un peu de flexibilité à cette étape. Dave présente ensuite le projet ainsi créé, qui contient une implémentation par défaut du job splitter. Il modifie ensuite le code (voir les copies d’écrans plus bas). Le Task Processor est ce qui tourne pour chaque tâche.

Après avoir écrit le code, on peut tester dans un environnement local. Une fenêtre de dialogue permet de fournir les fichiers et paramètres nécessaires à la simulation, puis on récupère les logs d’exécution, l’output de ffmpeg.exe, et les fichiers résultats.

Une fois testée dans l’émulateur, on peut passer en mode release. On déploie sur Azure en fournissant les coordonnées d’un compte de stockage.

Il y a également des API pour la partie cliente pour savoir où en sont les jobs, manipuler les fichiers, … Cette API est disponible en REST, mais il y a des SDKs en .NET, Python, Java. Un exemple de code client est montré rapidement. Il s’agit ici d’une application console.

On voit également Mission Control, qui permet d’avoir sur un portail Web une vue de ce qui est en train de s’exécuter. Voir les copies d’écrans ci-dessous, elles parlent d’elles-mêmes. GreenButton permet aussi d’avoir une gestion commune des ressources de différents clouds (privés et publics), en particulier au niveau des coûts, avec de la refacturation au sein de l’organisation. GreenButon peut aussi gérer des clusters Hadoop.

Au niveau licences, GreenButton a deux modèles: commun, ou dédié.

Ils viennent d’annoncer un nouveau produit appelé WarpDrive, qui permet d’uploader plus rapidement, en utilisant UDP, et il existe sous forme de produit standalone également. Ils ont fait des benchmarks vs Aspera qui utilise aussi UDP et cela donne de bons résultats pour GreenButton (voir copie d’écran) car ils copient vers plusieurs serveurs. C’est évidemment également beaucoup plus efficace que TCP (Cerebrata dans le benchmark). Cela devrait arriver dans l’Azure store mi-mars.

Si vous voulez tester par vous-même Azure, je vous engage à vous rendre sur le site et accéder à une offre d’essai (en haut à droite) qui vous propose 150 € de ressources gratuites à utiliser pendant 1 mois.

vous trouverez ci-après les copies d’écran les plus significatives de l’épisode, incluant le time code pour un repérage plus facile.

Benjamin (@benjguin)