Рубрика «хранилища данных» - 19

Проблема утечки ПД пользователей социальных сетей и веб-сервисов все чаще обсуждается в СМИ. Вероятно, все слышали историю с аналитической компанией Cambridge Analytica, которая смогла заполучить персональные данные 87 млн пользователей Facebook (в том числе данные самого Марка Цукерберга).

Однако есть и менее известные кейсы с утечками ПД, масштаб проблемы которых ничуть не меньше. Разберем несколько примеров и поговорим, какие меры предпринимают регуляторы и IT-компании в попытках предотвратить подобные случаи.

«Вечная течь»: как регуляторы борются со сливами персональных данных - 1Читать полностью »

Привет! Меня зовут Сергей, я работаю главным инженером в Сбертехе. В ИТ-сфере я примерно 10 лет, из которых 6 занимаюсь базами данных, ETL-процессами, DWH и всем, что связано с данными. В этом материале я расскажу о Vertica — аналитической и по-настоящему колоночной СУБД, которая эффективно сжимает, хранит, быстро отдает данные и отлично подходит в качестве big data решения.

А нам все «вертикально» — СУБД Vertica - 1
Читать полностью »

А вы слышали про Tarantool Conference или коротко — T+ Conf? Что такое Tarantool наверняка все знают, а про конференцию мы вам сейчас все расскажем.

Tarantool Conference 21 июня – не только про Tarantool, а вообще про in-memory computing - 1

T+ Conf — конференция не только про сам Tarantool, а вообще про использование in-memory computing, Tarantool / Redis / Memcached, кооперативной многозадачности и Lua для разработки высоконагруженных отказоустойчивых сервисов.

Когда и где?

Совсем скоро, 21 июня 2018 года в офисе Mail.ru Group (Ленинградский проспект 39, стр. 79).

Это будет полный рабочий день — доклады начнутся в 10:00, а закончатся в 19:00. Мы выделили два потока, один из них полностью посвящен enterprise-архитектуре, а во втором объединены выступления, связанные с экосистемой вокруг Tarantool, в том числе, в формате туториалов. А следовательно, будут интересны не только опытным разработчикам, но и, с одной стороны, начинающим, а с другой — архитекторам в корпоративном секторе.

Расписание можно изучить по ссылке, а ниже краткие описания всех докладов — их не так много, можем позволить, никого не упустить.
Читать полностью »

Как экономить на охлаждении серверных мощностей? Не понаслышке знает мировой гигант компания Microsoft. Еще в конце лета 2015 года компания погрузила под воду экспериментальный прототип нового подводного дата центра. Так родился прототип ЦОД под кодовым названием Leona Philpot соответственно проекту Natick. Серверы были помещены во внутрь небольшого контейнера габаритами 3 на 2 метра, а управление велось в удаленном режиме. 105 дней мини ЦОД пребывал под водой, после поднятия на сушу был проведен анализ испытания. Что сказать, эксперимент оказался достаточно успешным, сбоев в работе оборудования не наблюдалось, к тому же была достигнута высокая энергоэффективность за счет системы охлаждения. Компания приняла решение и далее активно развивать концепцию погружения дата центров под воду. Появилась идея окунуть серверную ферму в подводное царство «более» глубже и в «более» холодную воду. Следует напомнить, что изначально прототип был погружен на 10 метров в километре от тихоокеанского побережья США.

Продолжая покорять дно морское. Microsoft и его проект подводного ЦОД Natick 2 - 1
Читать полностью »

Tренду NoSQL уже почти 10 лет, и можно смело делать какие-то выводы и обобщения. Этим и займемся, поговорим про развитие NoSQL.

Вспомним, как родился NoSQL. Посмотрим, что в нем хорошо, а что плохо, и что выдержало испытание временем. Разберем возможности, которые уже есть в SQL, и которые теперь появляются в NoSQL СУБД. Выделим уникальные ценности NoSQL, и заглянем чуть-чуть вперед в то, что на рынке будет завтра.

А поможет нам в этом Константин Осипов (@kostja) — разработчик и архитектор СУБД Tarantool, который в своем докладе на РИТ++ 2017 говорил про тренды NewSQL, ведь архитектору полагается понимать, что происходит в мире баз данных, чтобы, как минимум, не изобретать велосипед.

О спикере: Сейчас Константин Осипов работает над Tarantool, но ранее участвовал в разработке MySQL, и, когда Константин начинал работу над новой базой данных, его очень смущало, зачем это делать вообще, зачем нужна очередная база данных. В частности, отношение к NoSQL было очень скептическим, как к «недоSQL».

Однако, развитие продолжается, некоторые изначальные принципы отмирают, и, в то же время, NoSQL базы перенимают возможности от классического SQL. На основании результатов этих нескольких лет бурной трансформации вполне можно подвести промежуточные итоги и позволить себе сделать несколько предсказаний на будущее.
Читать полностью »

Optane DC Persistent Memory — Optane в формате DIMM - 1

На минувшей неделе на конференции Intel Data Center Tech Summit компания официально представила память Optane на базе модулей 3D XPoint в формате DIMM, которая получила название Optane DC Persistent Memory (просьба не путать с Intel Optane Memory — потребительской линейкой кэширующих накопителей).

Планки памяти имеют объем 128, 256 или 512 Гб, распиновка соответствует стандарту DIMM, однако, естественно, аппаратная часть должна поддерживать данный вид памяти — такая поддержка появится в следующем поколении серверных платформ Intel Xeon. Что же касается программной поддержки продукта, то уже довольно длительное время существует Open Source проект Intel Persistent Memory Development Kit (PMDK, до конца прошлого года — NVML).
Читать полностью »

В мире энтерпрайза наступило пресыщение фронтовыми системами, шинами данных и прочими классическими системами, которые внедряли все кому не лень последние 10-15 лет. Но есть один сегмент, который до недавнего времени был в статусе «все хотят, но никто не знает, что это». И это Big Data. Красиво звучит, продвигается топовыми западными компаниями – как не стать лакомым кусочком?

Распределенное хранилище данных в концепции Data Lake: с чего начать - 1

Но пока большинство только смотрит и приценивается, некоторые компании начали активно внедрять решения на базе этого технологического стека в свой IT ландшафт. Важную роль в этом сыграло появление коммерческих дистрибутивов Apache Hadoop, разработчики которых обеспечивают своим клиентам техническую поддержку. Ощутив необходимость в подобном решении, один из наших клиентов принял решение об организации распределенного хранилища данных в концепции Data Lake на базе Apache Hadoop.
Читать полностью »

Sheepdog - 1

Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японских компаний Nippon Telegraph и Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)

Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog была включена в основную ветку разработки QEMU. Первые испытания над sheepdog я провел в ноябре 2011 года2 и результаты были неплохими для операций ввода-вывода. Однако тогда еще система Sheepdog имела проблемы с восстановлением упавшей ноды. Вероятно эта проблема вскоре была устранена, так как разработка приложения довольно живая, но на тот момент я использовал другое решение.
Читать полностью »

Волшебство на грани экстрима: бесстрашная 7-ка дата центров - 1

Совсем недавно был опубликован список претендентов на звание «самый красивый дата центр» мира. Пришла очередь совместить красоту с экстримом. Вот так у ComTec появился перечень из 7 самых экстремальных серверных ферм. Будь то глубокая пещера на Южном полюсе или глубокие воды у тихоокеанского побережья США, данные надежно хранятся в экстремальных местах по всему миру.
Читать полностью »

Мушкетёры уже не те, или Ждали Атоса, а приехал Портос - 1

Компания Atos, бизнес которой связан в том числе с производством Enterpise-серверов под брендом Bull, пока мало известна на российском рынке. Однако она активно старается отвоевать себе место под нашим солнцем. Мы одними из первых в России смогли посмотреть и даже потрогать сервер BullSequana S800. Делимся с вами фотографиями с анпакинга этого внушительного девайса.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js