Рубрика «хранение данных» - 89

Приветствуем Хабр!

Спешим продолжить неделю хороших новостей из мира Opensource! Праздник на улице адептов открытого ПО продолжается.

EMC делает ставку на ReactOS для хранения больших данных в IoT-сфере - 1

Вы должно быть заметили, что с недавних пор в ReactOS ведется серьезная работа над поддержкой различных файловых систем. На текущий момент поддерживается Ext234, NTFS на чтение (уже готовится патч «на запись»), BTRFS, ReiserFS и FFS готовят к включению. Активно обновляется универсальный драйвер ATA-устройств — UniATA. Все это оживление произошло неспроста.

Дело в том, что мы уже длительное время вели переговоры с корпорацией EMC о возможном сотрудничестве и прилагали все усилия, чтобы доказать наличие скрытого потенциала роста в нашем проекте. В вот наконец было достигнуто принципиальное соглашение о том, что EMC возьмет проект ReactOS под патронаж. Нет, ни о какой потере самостоятельности речь не идет, а только целенаправленном о стимулировании разработки, свободное ПО должно оставаться свободным. Просто в корпорации вслед за примером лидеров в других секторах рынка программного обеспечения с новой силой уверовали в силу открытого ПО и решили не отставать от новейших тенденций.
Читать полностью »

Введение

В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.

Сбор и анализ логов демонов в Badoo - 1

Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать полностью »

Признанный мастер бэкапа — ящерица. Отбросив свой хвост при форс-мажорных обстоятельствах, вскоре она отращивает новый. Это эволюционно заложено природой и не требует от земноводного особых усилий. Отдельные явления восстановления органов или клеток встречаются и у других животных, в том числе у homo sapiens. Однако сегодня ситуация поменялась и у человека, в отличие от ящерицы, появилась ещё одна значимая ценность — информация, а именно данные, которые он бережно собрал, накопил, и… А вот что происходит с ними дальше, зависит от того, насколько homo соответствует званию sapiens. Как вы уже догадались, соответствуют не все. Не даром же придуман World Backup Day, который празднуется как раз сегодня.
Легенда о международном авось - 1
Итоги конкурса внутри!
Читать полностью »

Привет! В этом цикле статей я планирую рассказать о том, как можно организовать сбор и передачу данных с помощью одного из инструментов Hadoop — Apache Flume.

Flume — управляем потоками данных. Часть 1 - 1

Читать полностью »

Рассмотрим на примере он-лайн магазина, как с помощью ноутбука проанализировать миллион файлов.

Миллион файлов и один ноутбук - 1

При наличии достаточно современного компьютера, обрабатывать данные «среднего размера» возможно с помощью разумного использования утилиты GNU Parallel и обработки потоков.

Читать полностью »

«Меня трудно найти, легко потерять и невозможно забыть», — шепнула мне информация с моего компьютера. «Ну, не так уж трудно найти в наш век свободного Интернета, забыть — это запросто. А вот, что легко потерять — тут она не врала», — подумал я в ответ. Складывается ощущение, что именно такие диалоги происходят в головах миллионов людей на планете: знаменитостей, миллиардеров и простых безалаберных пользователей. Кажется, что они сохраняются или у них в голове постоянно создаётся бэкап дампа собственной памяти, а гаджеты не ломаются и не теряются. Больше нам нечем объяснить тот факт, что общий ущерб от утечек данных в 2015 году составил более $27 млрд., а средний ущерб от одной утечки вырос с $25,29 млн. в 2014 году до $33,22 млн. в 2015 году, причём абсолютное лидерство по утечкам — 43% — у государственного сектора. День ото дня появляется всё больше историй о потерянных данных и утечках информации. Судите сами.

Утекай… или несерьёзный пост о серьёзных вещах - 1


Читать полностью »

Немного о Storage Class Memory - 1

За все время существования теории вычислительных машин и систем справедливым оставалось одно утверждение: процессоры гораздо более производительные и дорогие, чем устройства хранения данных. Тот факт, что CPU способен обслуживать множество запоминающих устройств разом, оказал значительное влияние на разработку аппаратного и программного обеспечения для систем самых разных размеров.

Действительно, в таких книгах, как «Вычислительные системы: взгляд программиста» («Computer Systems: A Programmer's Perspective») Рандала Брайанта (Randal Bryant) и Дэвида О'Халларона (David O'Hallaron) делается упор на иерархию памяти и её влияние на разрабатываемые программы.

Однако дата-центрам и разработчикам ПО нужно готовиться к грядущим изменениям. Появление высокоскоростных энергонезависимых устройств хранения информации, обычно называемых аббревиатурой SCM (Storage Class Memories), пошатнет привычные устои. SCM постепенно набирают популярность, однако для работы с ними требуется выделять один или сразу несколько многоядерных процессоров, чтобы совладать с их производительностью (сотни тысяч IOPS).Читать полностью »

Помню школьные годы, когда на каждом «реаниматоре» неотъемлемой частью был Paragon Partition Manager. О виртуальных машинах мы еще только мечтали, и чтобы поставить несколько операционок, школьникам приходилось «резать» полуторагигабайтный диск.

«Есть внешний жесткий диск и 2 тачки (одна на Win, вторая на OS X). Доступ к диску нужен с обеих машин.»

Сейчас, когда школьники обзавелись бородами, животами, детьми и зеркалками (не болезнями, а фотоаппаратами), встает проблема, как на горячо любимый виндовый терабайтник, на котором куча фоток с выпускного и сохранялок с Fallout 2, залить много нового видео с Mac`a, на котором стоит сверхзаботливый El Capitan («В целях вашей безопасности мы лишим вас некоторых прав. Начнем с прав root`а.»).

Когда я учился в универе на первых курсах, до нас доходили слухи, что физтехи русифицируют Palm и пишут под него софт, вот на днях мне выпал шанс пообщаться с людьми, которые, возможно, к этому были причастны.

Вопросы разработчикам Paragon NTFS for Mac - 1

На Гиктаймсе в комментарии к статье про NTFS for Mac kukkk «задал» разработчикам Paragon два вопроса:

  • Как вы развивали этот продукт
  • Как устроен этот продукт

Я решил немного «поднажать» и поискать ответы из первых рук.

Задавайте уточняющие вопросы в комментах или в личку, я передам их разработчикам.

Вот что мне удалось накопать про NTFS for Mac.
(Paragon NTFS for Mac — драйвер с поддержкой OS X El Capitan, который позволяет форматировать, проверять и исправлять ошибки разделов NTFS.)
Читать полностью »

Март оказался интересным месяцем с точки зрения новостей на рынке систем хранения. Во-первых, IDC опубликовал пресс-релиз, посвященный результатам продаж систем хранения в четвертом календарном квартале 2015 года. Общие тенденции грустные для большинства игроков индустрии. Корпоративный рынок систем хранения по деньгам сократился на 2,2% по сравнению с аналогичным периодом прошлого года. При этом общая емкость, проданная за четвертый квартал, выросла на 10,7%. Продажи внутренних дисков выросли на 6,1%, что может свидетельствовать о росте в сегменте программно-определяемых систем хранения и облачных решений, а не только об увеличении емкости внутри серверов. Внешние дисковые массивы продавались хуже на 2,3%.

SPC и IDC - 1


Читать полностью »

Этот пост начнётся со всем известной притчи:

Кружок «Очумелые ручки»: 4 лайфхака про то, как рационально заполнить сервер дисками - 1 Профессор философии, стоя перед своей аудиторией, взял пятилитровую стеклянную банку и наполнил её камнями, каждый не менее трёх сантиметров в диаметре. В конце спросил студентов, полна ли банка? Студенты ответили, что да, полна.
Тогда он открыл банку горошка и высыпал её содержимое в большую банку, немного потряс её. Горошек занял свободное место между камнями. Ещё раз профессор спросил студентов, полна ли банка? Ответили: да, полна.
Тогда он взял коробку, наполненную песком, и насыпал его в банку. Естественно, песок занял полностью существующее свободное место и всё закрыл. Ещё раз профессор спросил студентов, полна ли банка? Ответили: да, и на этот раз однозначно, она полна.
Тогда из-под стола он достал кружку с водой и вылил её в банку до последней капли, размачивая песок. Студенты смеялись.
— А сейчас я хочу, чтобы вы поняли, что банка — это ваша жизнь...

Конечно же, речь в данной притче шла не о серверах, но в общем и целом принцип должен быть понятен :) Все мы в душе немного изобретатели, и эта особенность отчетливо проявляется в нас, когда приходится выполнять задачи, имея под рукой ограниченные ресурсы и инструменты. В тяжких экономических условиях, когда бюджеты сильно урезают, а проекты зависают в воздухе из-за недостающих вычислительных мощностей, приходят на помощь бывшие в употреблении серверы.

Однако зачастую даже этих мер недостаточно, и клиенты ищут дальнейшие варианты экономии. Одним из таких вариантов является эффективное использование серверных жестких дисков. Несмотря на то, что порой приходится пустить в ход всю свою смекалку и сообразительность, мы всегда стремимся удовлетворить нужды наших клиентов. Поэтому сегодня хотим с вами поделиться некоторыми лайфхаками на тему того, как за небольшие деньги максимально эффективно использовать дисковое пространство в б/у серверах.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js