В последнее время я получаю достаточно много вопросов по поводу организации стораджа в OpenNebula. В виду своей специфики она имеет аж три разных типа хранилища: images, system и files. Давайте разберёмся зачем нужен каждый из них и как их использовать чтобы планировать размещение данных наиболее эфективно.
Этот пост — частичная расшифровка моего доклада про OpenNebula на HighLoad++ 2019 с упором на дисковую составляющую.
Добрый день. Прошло уже 2 года с момента написания последней статьи про парсинг Хабра, и некоторые моменты изменились.
Когда я захотел иметь у себя копию хабра, я решил написать парсер, который бы сохранил весь контент авторов в базу данных. Как это вышло и с какими ошибками я встретился — можете прочитать под катом.
Он магнитный. Он электрический. Он фотонный. Нет, это не новое супергеройское трио из вселенной Marvel. Речь идёт о хранении наших драгоценных цифровых данных. Нам нужно где-то их хранить, надёжно и стабильно, чтобы мы могли иметь к ним доступ и изменять за мгновение ока. Забудьте о Железном человеке и Торе — мы говорим о жёстких дисках!
Итак, давайте погрузимся в изучении анатомии устройств, которые мы сегодня используем для хранения миллиардов битов данных.
Механический накопитель на жёстких дисках (hard disk drive, HDD) был стандартом систем хранения для компьютеров по всему миру в течение более 30 лет, но лежащие в его основе технологии намного старше.
Первый коммерческий HDD компания IBM выпустила в 1956 году, его ёмкость составляла аж 3,75 МБ. И в целом, за все эти годы общая структура накопителя не сильно изменилась. В нём по-прежнему есть диски, которые используют для хранения данных намагниченность, и есть устройства для чтения/записи этих данных. Изменился же, и очень сильно, объём данных, который можно на них хранить.
В 1987 году можно было купить HDD на 20 МБ примерно за 350 долларов; сегодня за такие же деньги можно купить 14 ТБ: в 700 000 раз больший объём.
Мы рассмотрим устройство не совсем такого размера, но тоже достойное по современным меркам: 3,5-дюймовый HDD Seagate Barracuda 3 TB, в частности, модель ST3000DM001, печально известную своим высоким процентом сбоев и вызванных этим юридических процессов. Изучаемый нами накопитель уже мёртв, поэтому это будет больше похоже на аутопсию, чем на урок анатомии.
Читать полностью »
Последние плюс-минус пять лет в широких кругах бытует мнение, что SSD и другие твердотельные накопители будут планомерно вытеснять с рынка HDD и другие технологии накопления данных, в основе которых лежат механизмы с движущимися деталями. От части это мнение справедливо, ведь в качестве системных дисков бытовых ПК и рабочих станций SSD SATA 3 и SSD m.2 уже доминируют: ни один человек в здравом уме не будет собирать игровую или рабочую конфигурацию высокой производительности на базе HDD в качестве системного диска.
Эта же ситуация наблюдалась и в 2018 году в плане корпоративных решений. Продажи SSD и общая доля хостинговых предложений, проникновение твердотельных накопителей в корпоративный сегмент и в целом доминирование этой технологии только усиливалось. Особенную тревогу у производителей вызывал сегмент 2,5" HDD-накопителей, которые находятся в большей опасности по сравнению с полноформатными 3,5" в плане поглощения сектора SSD-дисками. Продажи же HDD планомерно падали, как по показателю отгруженных изделий в абсолютном выражении, так и по объемам памяти проданных жестких дисков.
В прошлом году все изменилось.
Читать полностью »
На 31 декабря 2019 г. у нас 124 956 работающих жестких дисков. Из них 2 229 загрузочных и 122 658 с данными. В данном обзоре мы рассмотрим статистику по отказам среди жестких дисков с данными. Также рассмотрим 12 и 14 TB версии дисков и новые 16 TB, которые мы активно используем с начала четвертого квартала 2019 года.
На конец 2019 года мы мониторили 122 658 жестких дисков использующихся, для хранения данных. Мы убрали из расчета диски, которые использовались для тестирования и диски, у которых нет наработки ~5 000 диско-дней (на модель), в течение четвертого квартала. Таким образом, мы собрали данные на основе 122 507 жестких дисков. Таблица ниже отображает нашу статистику:
Японский производитель магнитных пластин для жестких дисков Showa Denko (SDK) заявил, что завершил разработку носителей магнитной записи на базе технологии HAMR (Heat Assisted Magnetic Recording). Теперь компания может выпускать «блины», емкость которых может достичь 80 ТБ.
Технология HAMR, используя локальный разогрев поверхности магнитной пластины во время записи, позволит в перспективе записывать данные с плотностью до 6 Тбит/дюйм2 против нынешних 1,14 Тбит/дюйм2 у традиционной перпендикулярной магнитной записи. Читать полностью »
Немало баз данных на сегодняшний день стремятся сделать всё, чтобы обеспечить высокую производительность, масштабируемость и доступность, при этом минимизируя сложность и стоимость поддержки. Azure Cosmos DB — отличный пример СУБД, которая легко может обеспечить эти качества. Данная статья описывает её возможности вместе с ограничениями, которые могут быть неочевидными с первого взгляда и при этом стать серьезной проблемой в будущем, если их не учесть при проектировании системы.
Читать полностью »
Привет! Недавно в нашем офисе прошёл митап по Кафке. Очные места на него разлетелись со скоростью света. Как сказал один из спикеров: «Кафка секси».
С коллегами из Booking.com, Confluent, и Авито мы обсуждали подчас нелёкую интеграцию и поддержку Кафки, последствия её скрещивания с Kubernetes, а также известные и собственноручно написанные коннекторы для PostgreSQL
Мы смонтировали видео докладов, собрали со спикеров презентации и отобрали красивые фотографии с митапа. Если вам интересно посмотреть и послушать — заходите под кат.
Уверен, что все читатели Хабра хоть раз заказывали товары в интернет-магазинах за рубежом и потом шли получать посылки в отделение «Почты России». Представляете, какого масштаба эта задача, с точки зрения организации логистики? Умножьте количество покупателей на количество их покупок, вообразите карту нашей необъятной страны, а на ней — более 40 тысяч почтовых отделений… Кстати, в 2018 году «Почта России» обработала 345 млн международных посылок.
В этой статье мы расскажем, какие вопросы стояли перед «Почтой», и как их решала команда «ЛАНИТ-Интеграции», создавая новую ИТ-инфраструктуру для центров обработки данных.
Один из современных логистических центров «Почты России»
Читать полностью »
Привет! В четверг, 23 января, пройдёт наш первый митап про Apache Kafka. Будем говорить об интеграции, source коннекторах и запуске масштабируемых приложений в Kubernetes. С докладами выступят инженеры Booking.com, Confluent и Авито.
Встречаемся в 18:00. Регистрируйтесь сами и приглашайте коллег. Под катом — анонсы выступлений, ссылка на регистрацию и видеотрансляцию митапа.
