[spoiler]Palantir и схожие продукты (см. предыдущий пост) тянут под аналитику ограниченные объёмы данных на входе, а Accumulo выдаёт очень большие сеты, поэтому АНБ приходится использовать самые передовые BI-инструменты на мощном железе. Однако бурное развитие социальных сетей и иных способов мгновенного онлайнового взаимодействия создают ряд серьёзных технологических сложностей для их эффективного анализа.
Одной из главных проблем стал защищённый протокол SSL, который предлагается пользователям Gmail, Facebook и др. Именно для этих целей АНБ и создало систему PRISM, которая, кстати, с технической точки зрения оказалась ничуть не сложнее оригинального комплекса мониторинга Сети -- по сообщениям The Washington Post и The Guardian, еще с 2007 г. Microsoft например предоставляла доступ из PRISM к своим серверам напрямую, и даже взламывать SSL не требовалось (Microsoft понятно это категорически отрицает, но было бы странно, если бы она в этом призналась))).
Главная фишка PRISM -- это онлайновый доступ к бекэнду облачных провайдеров, прямо в ЦОДы. New York Times утверждает, что доступ такой был весьма неплохо оформлен, в классическом облачном стиле, с развитым веб-интерфейсом. Это впрочем секрет полишинеля -- и ФБР, и ЦРУ такой доступ давно имели, о чем рассказывал например David Patraeus, бывший директор CIA. Через такой интерфейс можно следить за цепочками переписок и онлайновых звонков конкретных людей, просматривать приложения к почте итд.
Сейчас в шт. Юта АНБ возводит мега-ЦОД с ёмкостью якобы зеттабайты (насколько это реально, обсуждалось тут). В любом случае тотальный перехват всего трафика Сети даже с такими мощностями невозможен, но в АНБ работают не дураки, и наверняка в их БД хранится прежде всего мета-информация, с помощью которой через PRISM можно выйти в нужный ЦОД нужного облачного провайдера, и покопаться в поисках нужных данных уже непосредственно в его серверах.
А какие конкретно BI-технологии лежат в основе PRISM? Об этом в финальной части.
