[spoiler]Вот и дошла «облачная» очередь и до системы распределённой обработки Hadoop. Технология, которая предназначена для поддержки облачных вычислений, теперь сама предоставляется как облачный сервис.
Решение Genie, разработанное в Netflix (фактически PaaS для Hadoop) абстрагирует аппаратно-программно-технические нюансы реализации конкретного дистрибутива Hadoop, и предоставляет стандартизованный RESTful API для управления Hadoop, СУБД Hive и фреймворком Pig -- без инсталляции Hadoop-клиента! С помощью Genie в Netflix ежесуточно обрабатываются сотни терабайтов, сотни аналитических запросов и тысячи ETL-операций. Иных опенсорсных и общедоступных систем подобной мощности сегодня нет и пока не предвидится.
Слайды:
http://www.slideshare.net/krishflix/genie-hadoop-platform-as-a-service-at-netflix
Скачать: https://github.com/Netflix/genie
Из других крайне полезных «тяжелых» опенсорсных продуктов Netflix необходимо отметить:
Karyon -- облачный стек, включающий готовые паттерны для построения облачных платформ и SOA;
Eureka -- балансировщик многоуровневых облачных систем;
Ribbon -- клиент для Eureka и ей подобных;
Netflix Internal Web Service Framework -- REST API для коммуникаций и (де)сериализации.
