Deployer des clusters Hadoop et Spark sur Google Cloud

Nous avons eu la chance de faire partie des testeurs de l'outillage de Google pour mettre en oeuvre des cluster Hadoop dans l'environnement Google Cloud. Cet outillage a vocation à permettre le déployement très rapide de clusters nécessaires au traitement de données résidant dans le Cloud Storage. Dans les premières versions de cet outil on était limité à des cluster Hadoop, mais aujourd'hui on peut ajouter facilement des extensions pour installer des compléments tels que Pig, HBase, mais aussi Spark et ses dérivés.

Bdutil est maintenant disponible, et peut être téléchargé ici.

Le code pour déployer, arrêter, et configurer votre cluster