Каждый день человечество генерирует огромные объемы информации в виде потоков сообщений в социальных сетях, наблюдений метеорологов, астрономов, геологов, а также просто статей и новостных заметок. Получаемые данные нуждаются не только в умелом хранении, но и в правильном анализе. Приходится искать новые способы представления данных, порой весьма различающихся по структуре.
Новые направления развития обработки как структурированных, так и неструктурированных данных порождают новые технологии. В последнее время мы чаще встречаем решения на основе Hadoop или баз данных NoSQL. Происходит бурный рост проектов, занимающихся исследованием такой информации. Этот феномен, включающий в себя методы и технологии, с 2008 года получил наименование Big Data. Давайте попробуем разобраться: что же на самом деле скрывается за этим понятием?
Читать полностью »