НовостиОбзорыСобытияIT@WorkРеклама
Идеи и практики автоматизации:

Блог

SQL-движок Hadoop и NoSQL MongoDb для триллионов документов

Новости мира Больших данных.

[spoiler]Канадская Avigilon приобрела стартап VideoIQ за 32 млн. долл. Отпочковавшись от General Electric в 2006-м, инженеры VideoIQ шлифовали систему видеоаналитики, которая умеет автоматически распознавать весьма непримечательные события в видеопотоке невысокого качества. Они получили 23 патента в сфере искусственного интеллекта и Big Data, а среди их пользователей AT&T и ВВС США.

Resolution Analytics выпустила Revolution R Enterprise 7 -- среду разработки на языке математической статистики R, адаптированную к задачам Больших данных. Добавлена оптимизация для разных платформ и поддержка гетерогенного окружения.

Продолжается бизнес на недоработках Hadoop. Фирма RainStor представила систему авторизации и аутентификации, работающую поверх HDFS (шифрование диска, маскировка данных, Kerberos итд). Но и Cloudera, понятно, не дремлет. Она протестировала версии своей опенсорсной Impala (SQL-on-Hadoop): Impala 1.1.1 на базе 3 Тб в кластере из пяти узлов (в каждом 8-ядерный процессор и 96 Гб ОЗУ) обогнала хранилище Apache Hive (надстройка над Hadoop) на задачах интерактивных запросов, генерации отчетов и детальной аналитики от 6 до 69 раз! А более мощная параллельная версия Impala 1.2.2 на базе 30 Тб в кластере из 20 узлов побила конкурента в среднем в два раза, хотя в отдельных тестах выигрыш составлял до 20 раз.

MongoDB сообщила, что фирма RMS, занимающаяся страховочной аналитикой, выбрала одноименную опенсорсную NoSQL СУБД для расширения облачной системы управления рисками в реальном времени. Сейчас она насчитывает 100 млрд. документов, а на базе MongoDB расширится до триллионов объектов с сильно разнящимися атрибутами, суммарным объемом сотни терабайтов данных.