Привет! Мы продолжаем цикл статей, посвященный Apache Flume. В предыдущей части мы поверхностно рассмотрели этот инструмент, разобрались с тем, как его настраивать и запускать. В этот раз статья будет посвящена ключевым компонентам Flume, с помощью которых не страшно манипулировать уже настоящими данными.
Я уже писал о том, с помощью Isilon можно создавать озёра данных, способные одновременно обслуживать по несколько кластеров с разными версиями Hadoop. В той публикации я упомянул, что во многих случаях системы на Isilon работают быстрее, чем традиционные кластеры, использующие DAS-хранилища. Позднее это подтвердили и в IDC, прогнав на соответствующих кластерах различные Hadoop-бенчмарки. И на этот раз я хочу рассмотреть причины более высокой производительности Isilon-кластеров, а также как она меняется в зависимости от распределения данных и балансировки внутри кластеров.
Читать полностью »
Сегодня мы расскажем о масштабируемой системе хранения данных начального уровня DX 100 S3 компании Fujitsu. Причем акцент на масштабируемость и унификацию делается неспроста. Дело в том, что данная система может расширяться до старших моделей путем простой замены контроллерных блоков и имеет возможность предоставлять как блочный (через Fibre Channel, FCoE, iSCSI, SAS и InfiniBand), так и файловый доступ к данным (NFS), причем без каких бы то ни было дополнительных устройств (файлеров). Хотя нужно отметить, что есть возможность сэкономить: если файловый доступ не требуется, можно приобрести версию, в заводской комплектации которой в контроллерном блоке будет отсутствовать плата, отвечающая за файловый доступ.
Читать полностью »
Депутат Ирина Яровая. Фото: Рамиль Ситдиков / РИА Новости
Как известно, 7 апреля депутат Госдумы Ирина Яровая и член Совета Федерации Виктор Озеров предложили внести поправки в федеральное законодательство, в том числе одну поправку в закон «О связи», в п. 1 ст. 64: «Операторы связи обязаны хранить на территории Российской Федерации в течение трёх лет информацию о фактах приёма, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи».
Операторы связи огласили смету, в какую сумму им выльется хранение такого объёма данных. Выходит, что расходы на слежку за абонентами превысят годовую выручку операторов.
Читать полностью »
Общий объем сохраненной информации — 151 КБ
В пробе ДНК в пипетке (розовый след) можно хранить около 9 ТБ данных
Сотрудники исследовательского подразделения Microsoft и команда ученых из Вашингтонского университета смогли успешно сохранить в ДНК ряд изображений, а затем считать эту информацию без ошибок. Всего в работе использовалось четыре графических файла, размер которых составлял от 5 до 24 КБ. Предварительные результаты своей работы специалисты опубликовали в ASPLOS.
Почему в качестве носителя информации выбрали ДНК? Дело в том, что запись данных здесь можно вести с очень высокой плотностью. По предварительным подсчетам, эксабайт данных может быть сохранен в объеме кубического миллиметра. Кроме того, ДНК — «долгожитель» в мире носителей информации. Срок хранения данных на таком носителе составляет 500 лет и больше. Правда, процесс считывания и записи технически сложен и дорог, но с течением времени и эти две проблемы могут быть решены.
Читать полностью »
В условиях быстрого роста объемов и разнообразия создаваемых типов данных, программно-определяемые системы хранения дают компаниям возможность эффективно адаптироваться к резким темпам роста. В последнее время само понятие программно-определяемой СХД активно продвигается на рынке, и в результате далеко не все хорошо понимают, что же на самом деле обозначает этот термин. Давайте подробнее рассмотрим, что за ним кроется.
Читать полностью »
Речь идет о голосовых данных, текстовых сообщения, изображениях, звуках или прочих типах сообщений интернет-пользователей и абонентов мобильной связи
7 апреля в Госдуму внесен законопроект со сложным названием «О внесении изменений в отдельные законодательные акты Российской Федерации в части установления дополнительных мер противодействия терроризму и обеспечения общественной безопасности». Авторами законопроекта являются два человека — депутат Яровая и сенатор Озеров, пишет «Роскомсвобода».
Сам документ вносит ряд значительных изменений в несколько законов. В частности, авторы документа предлагают добавить в закон «О связи» следующую формулировку пункта 1-го статьи 64: «Операторы связи обязаны хранить на территории Российской Федерации в течение трех лет информацию о фактах приема, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи...».
Читать полностью »
В этой статье я хочу рассказать про важную задачу, о которой нужно думать и нужно уметь решать, если в аналитической платформе для работы с данными появляется такой важный компонент как Hadoop — задача интеграции данных Hadoop и данных корпоративного DWH. В Data Lake в Тинькофф Банке мы научились эффективно решать эту задачу и дальше в статье я расскажу, как мы это сделали.
Данная статья является продолжением цикла статей про Data Lake в Тинькофф Банке (предыдущая статья Data Lake – от теории к практике. Сказ про то, как мы строим ETL на Hadoop).
Недавно мы анонсировали дополнения линейки систем хранения данных начального уровня. Новости можно отнести к двум категориям:
Это вкратце. А теперь расскажу подробнее.
Читать полностью »
