РЕШЕНИЯ

К своей ежегодной европейской конференции Technology@Work отделение серверов и систем хранения (TSG) компании HP традиционно приурочивает серию важных анонсов продуктов и решений. Главной новостью последней конференции, прошедшей в конце апреля в Берлине, стала официальная презентация программно-аппаратного комплекса Neoview, с которым HP выходит на новый для себя рынок решений Business Intelligence (BI). По оценкам IDC, сейчас мировой рынок BI ежегодно увеличивается на 18%. Причина такого бурного роста - расширение сферы применения BI. Если раньше пользователями BI были в основном руководители компаний, которым эти продукты помогали при анализе бизнеса и выработке долговременной стратегии, то теперь инструменты BI используют и многие сотрудники среднего звена (им эти данные нужны для оперативного принятия решений, например о предоставлении кредита клиенту банка или пополнении запаса товаров в магазине).

Основные компоненты Neoview

Впрочем, берлинский анонс HP не стал большим сюрпризом, поскольку первые сообщения о Neoview появились еще в конце прошлого года (см. PC Week/RE, N 1/2007, с. 1).

История проекта Neoview

Инициатором разработки Neoview стал нынешний исполнительный директор HP Марк Херд, два года назад пришедший в компанию с аналогичного поста в корпорации NCR. При выработке стратегии реформирования корпорации и сокращения расходов Херд столкнулся с проблемой извлечения информации о глобальных операциях, которая была распределена по более чем 750 БД, причем во многих случаях данные оказывались устаревшими или неверными. Решение этой проблемы хорошо известно - требуется построение корпоративного хранилища данных (Enterprise Data Warehouse, EDW), которое "под одним зонтиком" объединяет разные СУБД. Сам Херд не понаслышке был знаком с технологией EDW - до того как возглавить NCR, он несколько лет руководил работой входящего в состав этой корпорации подразделения Teradata, считающегося лидером рынка хранилищ данных (сейчас Teradata выделяется в независимую компанию).

Самым простым решением было бы поручить создание EDW той же Teradata, однако приглашенный в HP новый ИТ-директор Ренди Мотт, в конце прошлого десятилетия отвечавший за самую крупную инсталляцию Teradata в сети магазинов Wal-Mart, решил использовать собственные разработки инженеров HP. Корпоративная EDW должна была делать "мгновенные снимки" транзакционных данных, чтобы по ним можно было отслеживать историю транзакций, обеспечивать параллельную загрузку данных и составление отчетов в круглосуточном режиме, а кроме того, эта технология призвана заменить сотни систем класса BI, установленных в разных отделениях HP.

Платформой для хранилища данных компании стали ее серверы NonStop, ведущие свою родословную от фирмы Tandem Computers (она в 1997 г. была приобретена корпорацией Compaq, в свою очередь поглощенной HP пять лет спустя). Серверы NonStop, которые HP постепенно переводит с RISC-процессоров MIPS на платформу Integrity на базе Intel Itanium, построены по массивно-параллельной архитектуре (MPP), обеспечивающей высокую масштабируемость и отказоустойчивость за счет дублирования основных компонентов. Они используют собственную ОС Kernel и базу данных SQL/MX и применяются в системах обработки транзакций многих крупных финансовых организаций, например нью-йоркской, лондонской и гонконгской бирж, банков Bank of America и Barclay, и ведущих операторов связи, в том числе AT&T, British Telecom и NTT. Однако в NonStop SQL/MX отсутствовали средства сортировки и объединения больших таблиц, необходимые для построения хранилищ данных.

Группа разработчиков Neoview (в ней сейчас более 100 специалистов по СУБД и других программистов) внесла соответствующие изменения в компилятор базы данных, оптимизировала ее для параллельного выполнения нескольких задач, в частности просмотра таблиц для аналитических приложений BI и одновременной обработки новых данных ETL (Extract, Transform, Load), а также снабдила эту БД функциями управления хранилищем и средствами мониторинга системных ресурсов. Помимо этого совместно с китайским отделением HP Labs был создан алгоритм для более равномерного распределения нагрузки между процессорами серверов Nonstop.

Первое внедрение Neoview в мае прошлого года самой HP стало частью рассчитанного на три года проекта консолидации ее ИТ-инфраструктуры, благодаря реализации которого должно быть уменьшено число корпоративных

ЦОДов компании с 85 до 6, а приложений - с 5000 до 1500. На первом этапе в хранилище данных EDW была объединена информация по заказам, поставкам, доходам и прибыли, а также клиентам и продуктам HP. К началу 2007 г. объем хранилища данных Neoview составил 180 Тб, а к 2008-му, когда все важные для бизнеса данные будут загружены в EDW, оно должно увеличиться минимум в два раза. Им будет пользоваться примерно каждый третий сотрудник корпорации (т. е. около 50 тыс. человек), а в дальнейшем планируется предоставить доступ к нему также и поставщикам, дистрибьюторам и клиентам.

После первого успешного внедрения Neoview компания начала продвижение его как коммерческого продукта. По словам представителей HP, проекты по построению EDW на платформе Neoview сейчас ведутся на предприятиях разных сфер деятельности, но пока известны только два клиента. Американская сеть розничных магазинов Bon-Ton Stores использует 64-процессорную систему Neoview с хранилищем объемом 7 Тб для анализа мерчандайзинга и маркетинга. Как утверждают исполнители проекта, внедрение Neoview позволило увеличить скорость обработки запросов в 13 раз по сравнению со старым EDW, которое базировалось на предыдущем поколении Nonstop. Второй клиент, построивший EDW с помощью Neoview, - индийский банк Bank of Baroda.

Архитектура Neoview

Аппаратная платформа Neoview включает стандартные серверы и системы хранения HP, что, по утверждению компании, обеспечивает существенное снижение стоимости EDW по сравнению с решениями, основанными на технологиях разных фирм. Обработку запросов и обслуживание баз данных выполняют установленные в стандартную 19-дюймовую стойку серверы HP Integrity rx2620, в которых размещается по два Itanium 2 с тактовой частотой 1,6 ГГц и 16 Гб оперативной памяти. В зависимости от конфигурации Neoview в системе может быть от 8 до 128 серверов Integrity rx2620. ПО параллельной загрузки и извлечения данных Neoview Loader выполняется на одном или двух серверах ProLiant DL560 с четырехъядерными процессорами Xeon, работающими под управлением Red Hat Linux, а для передачи файлов и промежуточного хранения применяются дисковые массивы HP StorageWorks MSA50. В качестве основной системы хранения в Neoview используются модули HP StorageWorks Fibre Channel Array Module со 146-Гб дисками суммарной емкостью от 3 до 48 Тб, собранными для защиты данных в массив RAID-1. Эти аппаратные компоненты объединены сетью ServerNet, основанной на технологиях NonStop, и обеспечивают высокую скорость передачи данных между процессорами и устройствами ввода-вывода дисковой подсистемы, а также хорошую отказоустойчивость.

Как говорилось выше, в качестве СУБД в Neoview используется SQL/MX, которая превращает кластер Integrity в отказоустойчивую платформу EDW c единой копией базы данных. Разработчики Neoview утверждают, что благодаря высокой процессорной мощности Itanium 2 обеспечивается возможность последовательного сканирования больших объемов данных, поэтому существенно упрощаются их агрегирование, суммирование, индексация и представление. Например, в самой HP платформа Neoview ежедневно выполняет агрегирование информации из 20 огромных таблиц, причем эта операция занимает только 42 мин.

Кроме того, применение алгоритма хеширования гарантирует равномерное распределение данных по всем дискам системы и параллельный доступ к ним. Оптимизатор параллельных запросов обрабатывает и ускоряет выполнение самых сложных запросов, а также улучшает неэффективно составленные. Механизм выполнения запросов использует параллельную архитектуру обработки, которая исключает необходимость выгрузки данных на диск; сортировка и агрегирование данных также выполняются параллельно. Для управления таблицами и схемами преобразования данных служит утилита с графическим интерфейсом DB Admin, а для контроля и управления распределением нагрузок - Management Dashboard.

Для обеспечения высокой доступности EDW в Neoview применены такие технологии отказоустойчивости Nonstop, как резервирование аппаратных и программных компонентов в активном режиме.

Хотя в Neoview отсутствуют аналитические инструменты, для анализа информации можно использовать продукты компаний Business Objects, Cognos, Hyperion, MicroStrategy и SAS. Эти продукты могут обращаться к хранилищу данных с помощью стандартных интерфейсов баз данных ODBC и JBDC.

В начальной конфигурации (16 процессоров и 4 Тб физической емкости) Neoview стоит около 645 тыс. долл., а стоимость максимальной конфигурации может превышать 10 млн. долл.

HP поставляет Neoview заказчикам с полностью интегрированными, настроенными и протестированными аппаратными и программными компонентами. Инсталляцию системы выполняет ее сервисное подразделение (HP Services), оно же обеспечивает интеграцию Neoview в ИТ-инфраструктуру заказчика и проводит обучение обслуживающего персонала. HP Services будет проводить обследование текущего состояния ИТ-среды, проектирование решения и его запуск. Кроме того, в конце прошлого года корпорация приобрела фирму Knightsbridge Solutions, которая специализировалась на консалтинговых услугах для построения хранилищ данных, и теперь более 700 экспертов Knightsbridge будут помогать заказчикам решать проблемы, возникающие при внедрении Neoview.

Перспективы Neoview

По мнению руководителей HP, ее новый продукт найдет применение на всех основных вертикальных рынках, но прежде всего в финансовом и телекоммуникационном секторах, а также в розничной торговле, где заказчики накопили большие объемы информации о своем бизнесе и нуждаются в средствах построения хранилища данных. При этом компания надеется, что ее клиентами станут те предприятия, которые раньше не внедряли EDW из-за сложности и высокой стоимости проектов построения хранилища данных.

В качестве главных конкурентов Neoview представители HP называют решения для EDW, предлагаемые Teradata и IBM. Основными преимуществами своего нового продукта HP считает использование стандартных аппаратных компонентов, что, по ее оценкам, обеспечивает экономию до 40% по сравнению с затратами на построение хранилищ данных на основе продуктов Teradata и IBM, а также значительное сокращение расходов на внедрение и обслуживание EDW за счет поставки заказчику полностью готовой к работе системы и пакета сервисов от HP Services. Как утверждают разработчики Neoview, по легкости запуска в эксплуатацию и обслуживания их продукт в начальной 16-процессорной конфигурации приближается к так называемым приставкам (appliance) для хранилища данных, предлагаемым такими фирмами, как Datallegro и Netezza, но в то же время превосходит их по своей масштабируемости и отказоустойчивости.

Разумеется, несмотря на уже сделанные многомиллионные инвестиции, HP потребуется приложить еще много усилий, чтобы потеснить лидеров рынка хранилищ данных. К тому же пока ее новый продукт еще не доказал на практике свою масштабируемость и, судя по техническим характеристикам, уступает по этому параметру решению Teradata, которое позволило построить в Wal-Mart хранилище объемом свыше 500 Тб. Также следует учитывать, что корпоративные заказчики воспринимают HP прежде всего как поставщика серверов и систем хранения, но не прикладного ПО, поэтому компании нужно будет еще немало потрудиться, чтобы изменить такое мнение о себе.

Одним из шагов в этом направлении стало формирование в софтверном подразделении группы Business Intelligence, которая займется продвижением Neoview. Ее возглавил Бен Барнес. До прихода в HP он руководил маркетингом Teradata, а затем отделением Global Business Intelligence Solutions корпорации IBM (в новой группе есть и ряд других бывших сотрудников Teradata - например, за продвижение Neoview в EMEA отвечает Вики Фаррелл, бывший вице-президент по маркетингу хранилищ данных в Teradata). Кроме того, выход HP на рынок BI может осложнить ее отношения с такими стратегическими партнерами, как Microsoft и Oracle, которые активно расширяют возможности BI своих СУБД.