Event-driven architecture повышает ценовую эффективность используемых ресурсов, потому что они задействуются только в тот момент, когда они нужны. Существует масса вариантов, как это реализовать и не создавать дополнительные облачные сущности в качестве worker-приложений. И сегодня я расскажу не про FaaS, а про вебхуки. Я покажу учебный пример обработки событий с помощью вебхуков объектного хранилища.
Читать полностью »
Рубрика «хранение данных» - 16
Пример event-driven приложения на основе вебхуков в объектном S3-хранилище Mail.ru Cloud Solutions
2020-07-13 в 7:37, admin, рубрики: ci/cd, cloud storage, devops, event-driven, Mail.Ru Cloud Solutions, object storage, s3, webhooks, Блог компании Mail.Ru Group, облачные сервисы, хранение данных, хранилища данныхWestern Digital начинает поставки корпоративных HDD объемом до 20 ТБ
2020-07-10 в 11:16, admin, рубрики: hdd, western digital, Блог компании Selectel, жесткие диски, Компьютерное железо, Накопители, хранение данных, хранилища данных
Компания Western Digital анонсировала выход сразу нескольких моделей емких HDD для корпоративного использования. Обновление получили линейки Gold и Ultrastar. В первом случае диски уже можно купить, во втором речь идет об анонсе новых моделей, которые станут доступны не ранее следующего квартала.
WD Gold — это носители для корпоративных систем хранения данных. Рядовой пользователь тоже может их приобрести, но позиционируются они как серверные. Линейка жестких дисков Gold поддерживает только интерфейс SATA. Производитель дает на них пятилетнюю гарантию.
Читать полностью »
Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные
2020-07-08 в 10:28, admin, рубрики: lrc, Блог компании Яндекс, коды избыточности, коды Рида-Соломона, распределенные системы, хранение данных, хранилища данных
Так выглядит избыточность
Коды избыточности* широко применяются в компьютерных системах для увеличения надёжности хранения данных. В Яндексе их используют в очень многих проектах. Например, применение кодов избыточности вместо репликации в нашем внутреннем объектном хранилище экономит миллионы без снижения надёжности. Но несмотря на широкое распространение, понятное описание того, как работают коды избыточности, встречается очень редко. Желающие разобраться сталкиваются примерно со следующим (из Википедии):
Меня зовут Вадим, в Яндексе я занимаюсь разработкой внутреннего объектного хранилища MDS. В этой статье я простыми словами опишу теоретические основы кодов избыточности (кодов Рида — Соломона и LRC). Расскажу, как это работает, без сложной математики и редких терминов. В конце приведу примеры использования кодов избыточности в Яндексе.
Ряд математических деталей я не буду рассматривать подробно, но дам ссылки для тех, кто хочет погрузиться глубже. Также замечу, что некоторые математические определения могут быть не строгими, так как статья рассчитана не на математиков, а на инженеров, желающих разобраться в сути вопроса.
* В англоязычной литературе коды избыточности часто называют erasure codes.
Почему при Covid-19 увеличилась переподписка, и как это проверить
2020-06-17 в 6:57, admin, рубрики: COVID-19, Блог компании КРОК Облачные сервисы, данные, облака, облачные сервисы, переподписка, скрипты, хранение, хранение данных
Photo by Victor Rodriguez on Unsplash
Часто мы получаем от клиентов (включая даже крупных) сообщения, в которых сквозит общий мотив: «У %provider_name% нам не хватало 192 ядер, а у вас и 120 достаточно. Почему так?». Причем в последнее время из-за пандемии таких запросов стало больше. То ли потому что клиенты вышли в онлайн и почувствовали нехватку ресурсов из-за ажиотажного спроса и у других клиентов тоже, то ли потому что некоторые провайдеры из-за все того же высокого спроса на услуги стали плотнее «упаковывать» в облаке заказчиков.
Вот эта переподписка, которая обострилась, судя по всему, из-за Covid-19, сейчас волнует очень многих облачных пользователей. Поэтому мы постараемся ответить на наиболее распространенные вопросы и рассказать про инструмент, который позволит проверить наличие переподписки у вашего провайдера.
Может показаться, что эта тема уже не раз поднималась на Хабре и за его пределами, а статья будет полезной только совсем зеленым новичкам. Но мы не писали бы этот материал, если бы предполагаемый уровень осведомленности клиентов об этом явлении совпадал с реальным.
Читать полностью »
Основы ZFS: система хранения и производительность
2020-05-31 в 16:34, admin, рубрики: ARC, ashift, copy-on-write, jbod, LRU, raid0, Rsync, Samsung EVO, vdev, zfs, zpool, репликация, системное программирование, файловая система, хранение данных
Этой весной мы уже обсудили некоторые вводные темы, например, как проверить скорость ваших дисков и что такое RAID. Во второй из них мы даже пообещали продолжить изучение производительности различных многодисковых топологий в ZFS. Это файловая система следующего поколения, которая сейчас внедряется повсюду: от Apple до Ubuntu.
Читать полностью »
Пристегните ремни: как изменится облачная индустрия
2020-05-31 в 10:38, admin, рубрики: iaas, paas, SaaS, адаптация к кризису, Актион 360, бизнес-модели, Блог компании Актион 360, закон и порядок, законодательство, Исследования и прогнозы в IT, облачная индустрия, управление проектами, хранение данных, экономический кризисВ кризис специалистам из самых разных сфер приходится адаптироваться к новым условиям. Сегодня мы поговорим про облако — о том, как держат удар IaaS-, PaaS- и SaaS-провайдеры.
Как делается российское железо для СХД Аэродиск Восток на Эльбрусах
2020-05-28 в 14:24, admin, рубрики: Aerodisk, E2K, linux, SAN, storage, Блог компании AERODISK, импортозамещение, МЦСТ, Норси-транс, российское оборудование, система хранения данных, системное администрирование, СХД, хранение данных, хранилища данных, Эльбрус
Всем привет. Как мы и обещали, погружаем читателей Хабра в детали производства российских аппаратных платформ для СХД Аэродиск Восток на процессорах Эльбрус. В этой статье мы пошагово опишем производство платформы Яхонт-УВМ Э124, которая в 5 юнитах эффективно вмещает 124 диска, может работать при температуре +30 градусов по Цельсию и при этом не просто работает, а хорошо работает.
Также 05.06.2020 мы организовываем вебинар, где подробно расскажем о технических нюансах производства СХД Восток и ответим на любые вопросы. Зарегистрироваться на вебинар можно по ссылке: https://aerodisk.promo/webinarnorsi/
Зачем нужен SSD с интерфейсом PCI Express 4.0? Объясняем на примере Seagate FireCuda 520
2020-05-06 в 7:28, admin, рубрики: pcie, pcie 3.0, pcie 4.0, seagate, seagate firecuda 510, seagate firecuda 520, ssd, Блог компании Seagate, Накопители, хранение данных, хранилища данныхСегодня мы хотим рассказать об одном из наших новых продуктов – SSD-накопителе Seagate FireCuda 520. Но не спешите листать ленту дальше с мыслями «ну вот, очередной хвалебный обзор гаджета от бренда» – материал мы постарались сделать полезным и интересным. Под катом мы прежде всего сфокусируемся не на самом устройстве, а на интерфейсе PCIe 4.0, который в нём используется. И расскажем, что от него ожидать, чем он хорош и кому может быть потенциально полезен.
Список известных SMR дисков
2020-05-03 в 13:22, admin, рубрики: hdd, SMR, Компьютерное железо, Накопители, хранение данных, хранилища данныхАнглоязычный оригинал опубликован в форуме ixsystems и вряд ли широко известен всем, кто может столкнуться с проблемой. Хотя оригинал датирован 16 апреля 2020, он ссылается в том числе на более поздние публикации, то есть обновлялся.
Жесткие диски, которые записывают данные в перекрывающихся,Читать полностью »
Платформы управления данными: от периферии до облака
2020-05-01 в 13:40, admin, рубрики: BigData, Блог компании RUVDS.com, облачные сервисы, облачные технологии, управление данными, хранение данныхСегодня для большинства компаний и организаций данные – это один из стратегических активов. И с расширением возможностей аналитики, ценность собираемых и накапливаемых компаниями данных постоянно увеличивается. При этом часто говорят о взрывном, экспоненциальном росте объемов генерируемых корпоративных данных. Отмечается, что 90% всех данных были созданы за последние два года.