Рубрика «хранение данных» - 21

Сегодня для многих из Хабровчан профессиональный праздник – день защиты персональных данных. И поэтому нам хотелось бы поделиться интересным исследованием. Компания Proofpoint подготовила исследование об атаках, уязвимостях и защите персональных данных в 2019 году. Его анализ и разбор – под катом. С праздником, дамы и господа!

image
Читать полностью »

Уверен, что все читатели Хабра хоть раз заказывали товары в интернет-магазинах за рубежом и потом шли получать посылки в отделение «Почты России». Представляете, какого масштаба эта задача, с точки зрения организации логистики? Умножьте количество покупателей на количество их покупок, вообразите карту нашей необъятной страны, а на ней — более 40 тысяч почтовых отделений… Кстати, в 2018 году «Почта России» обработала 345 млн международных посылок.

В этой статье мы расскажем, какие вопросы стояли перед «Почтой», и как их решала команда «ЛАНИТ-Интеграции», создавая новую ИТ-инфраструктуру для центров обработки данных.

Новая ИТ-инфраструктура для ЦОД Почты России - 1

Один из современных логистических центров «Почты России»
Читать полностью »

Вопросы безопасности персональных данных, их утечек и растущей «власти» крупных ИТ-корпораций все чаще беспокоят не только обычных пользователей сети, но и представителей различных политических партий. Некоторые из них, например сторонники левых движений, предлагают радикальные подходы — от национализации интернета до превращения технологических гигантов в кооперативы. О том, какие реальные шаги в эту сторону такой «перестройки наоборот» предпринимаются в ряде стран — в нашем сегодняшнем материале.

Кто и почему хочет сделать интернет «общим» - 1Читать полностью »

Apple отказалась от планов внедрять сквозное шифрование в iCloud - 1

Компания Apple отказалась от планов по внедрению сквозного шифрования в резервные копии в iCloud после того, как ФБР высказало опасения, что этот шаг может повредить расследованиям. Об этом сообщает агентство Reuters. Читать полностью »

Хабра-детектив: у вас картинка потерялась - 1
Вы когда-нибудь задумывались, сколько информации бесследно потеряно? Ведь информация — это то, ради чего Хабр существует. Знаете, что чаще всего случается с ресурсами основанными на пользовательских публикациях? Авторы вставляют изображения, картинки и видео со сторонних сайтов и через какое-то время они больше не доступны. Именно для этого когда-то был создан Habrastorage. Практика показала, что никто (кроме редакторов и нескольких энтузиастов) не загружает туда изображения самостоятельно. Потому в какой-то момент администрация Хабра сделала эту функцию автоматической — каждое изображение, которое встречается в публикации, автоматически загружается в хранилище и оттуда не пропадёт, пока существует сам Хабр. Конечно же, есть и исключения, но сейчас не о них.

Самая большая проблема во всей этой схеме с загрузкой изображений в Habrastorage произошла во время её внедрения. К тому моменту некоторые старые публикации уже были без рисунков, а потому такими и остались. Сегодня мы попробуем выяснить, сколько же графической информации потерял Хабр с момента своего рождения. Кроме того, может нам удастся найти что-то из пропавшего? Ведь раздражает эта заглушка "изображение не может быть загружено", не так ли? Сегодняшний детектив посвящён именно этому. Приступим!

Читать полностью »

Эффективное хранение сотен миллионов маленьких файлов. Self-Hosted решение - 1

Уважаемое сообщество, эта статья будет посвящена эффективному хранению и выдаче сотен миллионов маленьких файлов. На данном этапе предлагается конечное решение для POSIX совместимых файловых систем, в том числе кластерных, и вроде бы даже уже без костылей.

Поэтому для этой цели я написал свой собственный специализированный сервер.
По ходу реализации этой задачи удалось решить основную проблему, попутно добиться экономии дискового пространства и оперативной памяти, которую нещадно потребляла наша кластерная файловая система. Собственно такое количество файлов вредно для любой кластерной файловой системы. Читать полностью »

Привет! В арсенале компании Kingston довольно много твердотельных решений корпоративного класса, среди которых DC500R, DC500M, DC1000M и не только. А после выставки потребительской электроники CES 2020 в семействе этих накопителей появилась еще одна интересная новинка для Data-центров — Kingston SSD DC1000B M.2 (2280) NVMe с 64-уровневой памятью 3D TLC NAND, функцией самошифрования (SED) поддержкой интерфейса PCI-Express 3.0 x4 и защитой от сбоев электропитания. Представители Kingston называют этот накопитель идеальным в качестве загрузочного “диска” для серверных стоек с одним или двумя слотами M.2 NVMe, что позволяет обеспечить быструю начальную загрузку системы при сохранении стандартных 2,5”-накопителей для фронтальной установки, на которых хранится основной массив данных.

Что мы привезли на CES 2020: новые накопители и карты памяти - 1
Читать полностью »

Привет! В четверг, 23 января, пройдёт наш первый митап про Apache Kafka. Будем говорить об интеграции, source коннекторах и запуске масштабируемых приложений в Kubernetes. С докладами выступят инженеры Booking.com, Confluent и Авито.

Встречаемся в 18:00. Регистрируйтесь сами и приглашайте коллег. Под катом — анонсы выступлений, ссылка на регистрацию и видеотрансляцию митапа.

Avito Kafka meetup: коннекторы, интеграция, облака - 1

Читать полностью »

image

Автор ОС Linux Линус Торвальдс считает, что основным препятствием для включения файловой системы ZFS в официальное ядро операционной системы является лицензионная политика Oracle. Так он отреагировал на критику изменений в ядре Linux, которые нарушили работу надстройку, обеспечивающей использование ZFS.

Оба проекта имеют открытый исходный код, но распространяются под разными лицензиями CDDL и GPLv2, которые не совместимы друг с другом. Чтобы обойти это ограничение, и использовалась надстройка. Читать полностью »

Что принёс нам Pandas 1.0 - 1

9 января состоялся релиз Pandas 1.0.0rc. Предыдущая версия библиотеки — 0.25.

Первый мажорный релиз содержит множество замечательных нововведений, в том числе улучшенное автоматическое суммирование датафреймов, больше форматов вывода, новые типы данных и даже новый сайт документации.

Все изменения можно посмотреть здесь, в статье же мы ограничимся небольшим, менее техническим обзором самого главного.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js