Если у вас мало свободного времени, не скачивайте Factorio
Для тех, кто в последние годы путешествовал за пределами цивилизации, на всякий случай поясню: Factorio — это стратегия реального времени с открытым миром, где вы строите и оптимизируете цепочки поставок, чтобы запустить спутник и восстановить связь с родной планетой, а Kafka — это распределённая платформа потоковой передачи событий, которая обрабатывает асинхронные коммуникации надёжным способом.
Если человек вообще никогда не работал с потоковой платформой, то ему станет всё понятно на примерах из игры. Что ж, давайте начнём с нуля, изучим основные концепции Kafka — и немного повеселимся.
Читать полностью »
Парадокс… о необходимости резервного копирования чаще всего задумываются тогда, когда данные уже потеряны и восстановлению не подлежат. После таких инцидентов бизнес готов выделять существенные средства, а перед системным администратором сразу же появляется пул задач по выбору программного обеспечения, созданию политик резервного копирования и организации дискового пространства для хранения бэкапов.
Покажем, как быстро и за адекватные деньги поднять систему резервного копирования при помощи бесплатной версии приложения от Veeam и файлового хранилища Selectel.
Читать полностью »
Про ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.
На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).
Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.
Читать полностью »
Во-первых: если у вас есть любой NAS от WD - то лучше всего немедленно отключить его от сети. Обновление окирпичивающее NAS и удаляющее все данные начало прилетать вчера, мне прилетело сегодня утром. Домашние NAS от WD продаются последние лет 10.
Точно зааффекчина вся live серия. Судя по комментам отдельные другие серии тоже пострадали.
*WD уверяет что это все хакерская атака. Но выглядит сомнительно. У многих людей NAS за фаерволом, отключен от внешних серверов WD, и т.д.
Начну с того, что очень часто, рядом со мной аккумулируется разного рода железо (в простонародье хлам), а так как я по своей природе Плюшкин, в том плане, что я очень редко выкидываю технику, а если и случается предварительно вытаскиваю оттуда всё, что может хоть как-то пригодиться. И что бы ничего не выкидывать, периодически приходится находить применение всему этому железу, об этом сегодня и будет идти речь.
Итак мы имеем: ПК 11 летней давности в состоянии «трэш».
Если подробнее: у блока питания вздуты все конденсаторы на выходе, у жёсткого диска взорванный полимерный конденсатор на входе питания, видеокарта тоже не стартует. По моим догадкам, по 12в линии явно пошло сильно больше 12в. При этом материнка с процессором остались живы. Чудо!
Читать полностью »
31 марта — это такой Хэллоуин безопасников: по легенде именно в этот день всякая нечисть вылезает из даркнета и бомбит атаками ИТ-инфраструктуру компаний. Кто-то нацеливается на компании покруче и ищет славы, кто-то тихо крысит коммерческую информацию, чтобы продать её подороже… И тут день бы выстоять да ночь продержаться. Но это, конечно, чистой воды сказка и миф: на самом деле угрозы информационной безопасности существуют не в последний день марта, а в режиме 24/7/365. Но многим почему-то пофиг: у них есть подушки безопасности в автомобиле, они пристёгивают ремень, надевают шлем на картинге, страхуют жилище, ставят сигнализацию на квартиру и автомобиль, надевают чехол на дорогой телефон, но на работе упорно пишут пароли на стикерах, жмотятся на средства безопасности и наивно полагают, что уж их компания-то точно никому не сдалась.
Ребята, чьё второе имя риск и опасность, этот пост для вас.
Фото 1. Один из дата-центров Internet Archive в Сан-Франциско
Internet Archive — некоммерческая организация, которая с 1996 года сохраняет копии веб-страниц, графические материалы, видео- и аудиозаписи и программное обеспечение. Каждый может зайти в Wayback Machine и посмотреть, как выглядел Хабр в 2006 году или «Яндекс» в 1998 году, хотя загрузка архивных копий занимает около минуты (это не для реализма 90-х, а по техническим причинам, см. ниже).
Архив быстро растёт. Сейчас объём всех накопителей достиг 200 петабайт. Но Internet Archive принципиально не обращается к стороннему хостингу или облачному сервису вроде AWS. У некоммерческой организации собственные дата-центры, свои серверы и свои инженеры. Это гораздо дешевле, чем услуги AWS.
Читать полностью »
В декабре 2020 года IBM Research и Fujifilm представили прототип картриджа LTO на 580 терабайт. Небольшая кассета с магнитной лентой вмещает информации как несколько десятков обычных HDD или 120 000 DVD.
Магнитные ленты появились почти сто лет назад, а компьютерные файлы на них записывают с 1952 года. Ещё наши мамы в советских НИИ меняли катушки на мейнфреймах. И в 2021 году плёнки остаются самым дешёвым накопителем со стоимостью хранения примерно в 6 раз ниже, чем на HDD. Поскольку плёнка практически исчезла с потребительского рынка, многие даже не знают, насколько бурно развивается эта технология.
Читать полностью »
К 2020 году вы не могли не заметить, что миром правят данные. И, как только речь заходит о работе с ощутимыми объёмами, появляется необходимость в сложном многоэтапном конвейере обработки данных.
