Тесты производительности - лишь малая доля в рецепте тестирования программного обеспечения Рич Гаити, первый вице-президент фирмы Merrill" Lynch & Со (Принстон, шт. Нью-Джерси), подписал этим летом контракт с фирмой Sybase на программное обеспечение стоимостью 17 млн. долл. Сделал он это уверенно, хотя и без тестирования производительности.
Поначалу производительность была решающим параметром для Гаити. Будучи по совместительству еще и директором своей фирмы по передовым офисным системам и технологиям, он признался, что "потратил кучу времени", замеряя со сторонней фирмой производительность конкурирующих продуктов. Но вскоре Гаити понял, что высокие результаты теста производительности - это всего лишь один из критериев при покупке сложных систем. Гораздо больше значат взаимоотношения с поставщиком - и это, по его словам, в конце концов привело его к фирме Sybase (Эмеривиль, шт. Калифорния).
Гаити не единственный, кто пришел к такому же выводу. Тестирование производительности баз данных в распределенных средах - сложная, отнимающая много времени рутинная работа, часто дающая очень неточный результат. А при существующем количестве платформ и поставщиков аппаратного и программного обеспечения охватить все существующие базы данных - это значит объять необъятное. В итоге вывод: тестирование производительности далеко не так важно, как это было в дни мэйнфреймов, когда оно частенько выявляло огромную - и критическую - разницу в производительности продуктов. В наше время цена, дополнительные возможности, масштабируемости, что еще важнее, взаимоотношения с поставщиком являются гораздо более важной мерой достоинств продукта.
МАГИЧЕСКОЕ ДЕЙСТВИЕ
Однако тестирование производительности не собирается исчезать. Есть целое войско профессиональных экспертов, обратившись к которым можно сделать процесс тестирования производительности проще и эффективнее. Для многих, в том числе для Питера Рэнда, заместителя директора по организационным вопросам фармацевтического отдела фирмы Bristol Meyers Squibb (Принстон, шт. Нью-Джерси), это очень удобно. С его точки зрения тестирование на месте - это применение оружия избыточной мощности. Поскольку его фирма проходит через этап большой модернизации, у его людей есть более важная работа. "У нас нет столько народу, чтобы провести пол ное тестирование производительности у себя. Да это и лишняя трата сил", - решил Рэнд.
При этом нельзя сказать, что для него производительность не имеет значения - имеет. Раньше группа Рэнда проводила тестирование производительности с помощью средств, поставленных консультационными фирмами вроде фирм Gartner Group или Andersen Consulting. Теперь эта работа поручается сторонним фирмам.
Однако прежде чем отправиться к специалисту по тестированию производительности, выполните некоторую домашнюю работу и убедитесь, что это действие вам и в са- мом деле необходимо. Рич Гаити считает, что потребность в тестировании производительности определяется природой проекта, степенью трудности, а также опытом и ресурсами в этой области. Если проект требует тестирования производительности, Гаити приглашает независимых экспертов, а не принимает на веру данные, приводимые поставщиком. "Поставщик избегает демонстрации слабых мест, он только подтверждает очевидное. И вы можете безосновательно получить отличнейшие показатели считает -- Гайти.
Если результаты тестирования производительности не позволяют принять решение, то они хотя бы показывают, что конкурирующие продукты находятся на одном уровне, как заметил Карл Шеффер, администратор баз данных фирмы Ban-on Collier (Нэплз, шт. Флорида).
"Если кто-то из любопытства захочет протестировать какие-нибудь продукты и сравнить их с Oracle, то убедится в том, что уровень производительности у них примерно одинаков", - пояснил Шеффер.
Тесты на производительность не играли никакой роли в его решении купить базы данных корпорации Oracle, поскольку другие поставщики не рассматривались. Но, когда он возглавлял группу пользователей Oracle, его главной претензией к поставщику баз данных было то, что тот не публикует данных ТРС (Transaction Processing Performance Council - совет по производительности обработки транзакций).
"Каждому приходилось выполнять эти тесты у себя", - сказал Шеффер. Он добавил, что компании, имеющие более крупные магазины, старались, чтобы их жалобы прозвучали погромче. Этим летом корпорация Oracle пошла навстречу просьбам пользователей и начала публиковать результаты тестов производительности, проведенных ТРС. Результаты от ТРС, некоммерческой организации, определяющей промышленные стандарты тестов производительности, позволили пользователям сравнить производительность Oracle7 на разных платформах с производительностью конкурирующих продуктов. Фирмы Sybase и Informix Software такие результаты публикуют.
ЩЕПОТКА СОЛИ
Тем не менее эксперты помечают красным флажком результаты тестов, проведенных самими поставщиками. "На результаты, которые вам пытается скормить поставщик, просто нельзя полагаться. Они всегда стараются показать товар с лучшей стороны", - объяснил Лен Бергет-рем, президент корпорации Real Decision - фирмы, входящей в Gartner Group и специализирующейся на тестировании производитеяьно-сти в масштабе предприятия (Дарьей, шт. Коннектикут).
Бергстрем посоветовал фирмам отбросить все результаты тестов, предложенные поставщиком, и попридержать свою информацию о конфигурации до тех пор, пока поставщик не начнет демонстрировать программный продукт. Если на новых данных приложение поперхнется, то ясно, что оно не имеет той производительности, которую показали тесты.
Плохие отметки средствам тестирования производительности
С другой стороны, если поставщик может легко внести изменения для работы по новому сценарию, то очевидно, что решение предлагается гибкое и результаты тестов вполне соответствуют производительности ПО.
ГОРЬКАЯ ПРАВДА
Если вы сами проводите тестирование производительности, то делать это нужно осторожно. При большом числе вариантов можно выбрать не ту возможность, которая нужна для приложения, и получить ложные результаты. "Самое главное - помните, что вы измеряете", - сказал Джим Джонсон, президент консультативной фирмы Standish Group International (Деннис, шт. Массачусетс). Слишком многие воспринимают результаты тестирования как точные значения. А на самом деле не
бывает одинаковых рабочих нагрузок - и значит не бывает одинаковых тестов производительности.
Для простоты Джонсон предложил протестировать ряд процессов. Тестирование производительности для транзакций АТМ требует системы тестирования, подходящей для очень простых транзакций. Транзакция обработки заказов несколько более сложна, а приложение для обработки ссуд уже крепко связано с другими. Во всех этих случаях требуются разные тесты производительности.
Последний совет Джонсона - просмотреть виды нагрузки, выбрать подходящее для них средство тестирования производительности, а затем собрать данные всех доступных исследований для гарантии правильного выбора.
Если их использовать с умом, то средства тестирования произ-
водительности определенно не бесполезны. Как считает Рэнд и многие другие, поручить такую работу независимым фирмам - самое легкое решение. С другой стороны, помните, что результаты тестирования производительности не всегда отражают то, что произойдет с приложением в реальной среде клиент-сервер. Как заметил Джонсон, "результаты тестирования производительности надо принимать со щепоткой соли".
Эйлин Кроули, Эрин Каллавей
