[spoiler]Ситуацию комментирует Russell Richardson, ведущий архитектор облачных систем армии США (надеюсь, что доживу до времени, когда можно будет сослаться на аналогичную должность российского специалиста). Реализуемые им проекты активно используются в военной разведке, и вот что Richardson говорит по этому поводу: "если мы возьмем все накопленные за последние 50 лет разведывательные данные, то они все уместятся на диске объемом 500-600 гигабайтов".
Но вот после того, как над этим массивом информации потрудились аналитики, проиндексировали все мало-мальски значимые вещи, по всей видимости, создав некую вики и быстрый многофункциональный поиск, результирующая БД заняла уже несколько петабайтов!
То есть пока данные "сырые", для их хранения и предварительной обработки достаточно классических технологий. А вот как только потребуется развитая аналитика, без Big Data уже сложно обойтись.
Получим плюс несколько байт новой информации, и плюс 200 килобайт в хранилище.
Можно хранить транзакцию в виде небольшого набора сумм и номеров счетов, а можно в виде файла платежного документа, или скана (картинки!) бумажной платежки. И это уже мегабайты дополнительной информации.
По сути мы храним много чего просто так, на всякий случай.
Загляните в свою рабочую почту - сколько хранится там писем? 99% из них ни Вы сами, ни, тем более, кто-то еще никогда не откроет и не прочитает. Это Архив! Но это и вечно растущие гигобайты информации...