В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку.
Читать полностью »
Рубрика «хранение данных» - 87
Объектное хранилище NetApp StorageGrid
2016-05-10 в 13:18, admin, рубрики: AltaVault, amazon, Amazon CloudFront, amazon s3, archive, backup, big data, blob, CDMI, ceph, CIFS, cinder, Citrix Sharefile, cloudfront, Commvault, Ctera, DDP, docker, Dynamic Disk Pools, E-Series, Egnyte, Erasure Coding, File share, File sync, Geo-EC, glance, Inktank, Inktank Ceph, kilo, kvm, NAS, NetApp, NetApp AltaVault, NetApp E-Series, NetApp StorageGrid, nfs, NTP software, object storage, OpenStack Heat, OpenStack Kilo, raid, RESTful HTTP, s3, SCSI, SGAPI, smb, SoftNAS, stealth, StorageGrid, swift, Swift API, Symantec Enterprise Vault, Анализ и проектирование систем, ит-инфраструктура, системное администрирование, хранение данныхСнежная система охлаждения. White Datacenter Project
2016-05-03 в 8:37, admin, рубрики: White Datacenter Project, Блог компании ua-hosting.company, дата-центр, ит-инфраструктура, охлаждение снегом, серверная ферма, хранение данных, цодВ борьбе за уменьшение расходов, владельцы серверных ферм находятся в постоянном поиске возможностей сократить счета за электроэнергию. Не секрет, что дата-центры потребляют 1-2% электричества, которое вырабатывается в мире, но, что интересно, серверы — они же мозг ЦОД — потребляют всего третью часть энергии.
Оказывается, самой «прожорливой» является система охлаждения серверной фермы, если она организована на традиционной схеме на чиллерах или прецизионных кондиционерах с прямым расширением (DX -системы). Поэтому владельцы ЦОД уже давно начали уделять повышенное внимание модернизации систем охлаждения серверов, постоянно внедряются новые технологии, дабы достичь приемлемого уровня энергоэффективности, при этом, не забыв и о матушке природе.
В то время как Microsoft решил окунуть свои серверные фермы «на дно океана», дабы сократить расходы на эксплуатацию, японцы решили охладить свои хранилища информации при помощи свыше — снегом. Читать полностью »
LinkedIn открывает мега-ЦОД в Сингапуре
2016-05-02 в 9:49, admin, рубрики: linkedin, Блог компании ua-hosting.company, ДЦ, ит-инфраструктура, серверные фермы, строительство, хранение данных, цодСтроительство и последующее обслуживание гипермасштабных серверных ферм требует огромных денежных вложений. Кроме того в реализации подобных масштабных комплексов понадобится найти проектируемую своими силами альтернативу стандартному серверному и вспомогательному оборудованию.
И тем ни менее, эта существенный минус в реализации подобных проектов не сравниться с последующими плюсами мега-ЦОД. Например, у владельцев серверных ферм появляется возможность сократить эксплуатационные расходы, используя оборудование, которое заточено под собственные нужды, без лишних энергопотребляющих компонентов. Само собой и «железо» может быть более экономным, закупленным у оптовика на максимально выгодных условиях. Таким образом получится снизить капитальные затраты.
Известная социальная сеть LinkedIn на своем примере демонстрируют реализацию концепции мега-ЦОД.
Покоряя дно морское. Microsoft и его проект подводного ЦОД
2016-04-29 в 19:31, admin, рубрики: Leona Philpot, microsoft, Project Natick, Блог компании ua-hosting.company, ит-инфраструктура, подводная серверная ферма, хостинг, хранение данных, цод, метки: Project NatickК чему привело испытание под кодовым названием Leona Philpot
Под воду! Microsoft намерена развивать концепцию размещения серверной фермы на дне морском. Про прототип под кодовым названием Leona Philpot писала в одной из предыдущих статей. И вот, на конференции DatacenterDynamics Enterprise 2016, корпорация поделилась своими планами в ближайшем будущем развернуть под водой «настоящий» ЦОД, который уже в скором времени будет введен в эксплуатацию.
Напомню, что в августе 2015 года прототип серверной фермы цилиндрической формы, с габаритами примерно 3 на 2 метра, был погружен в километре от тихоокеанского побережья США и успешно эксплуатировался на протяжении четырех месяцев.
Читать полностью »
Человек в стиле Acronis: первая лекция в МФТИ (с онлайн-трансляцией)
2016-04-27 в 13:25, admin, рубрики: acronis, Блог компании Acronis, Inc, бэкапы, Восстановление данных, лекция, МФТИ, хранение данныхВ нашем предыдущем посте мы рассказали историю Acronis: как все начиналось больше 10 лет назад. Кому-то, вполне возможно, она показалась впечатляющей, кому-то — просто интересной, а в действительности — это история компании, которая когда-то поднималась из простых серых зданий, переживала вместе со страной кризис за кризисом и осваивала новые рынки. В целом, мы давно заметили, что компании с особым духом, с неповторимым драйвом притягивают таких же людей, которые приходят, говорят «Это моё!» и остаются на долгие годы. Таким и есть Станислав Протасов, сооснователь и глава разработки Acronis. Кстати, 27 апреля (уже сегодня) Станислав выступит с открытой лекцией в своей альма-матер, в МФТИ. Но об этом чуть позже.
Установка CrashPlan в Docker-контейнер на NAS Synology
2016-04-27 в 12:37, admin, рубрики: crashplan, docker, Synology, Восстановление данных, резервное копирование, хранение данных
Те, кто любит устройства от Synology и отличный сервис резервного копирования CrashPlan уже много лет кувыркаются, пытаясь настроить его надежную и бесперебойную работу на хранилище. С приходом Docker на Synology появился свет в конце тоннеля.
Читать полностью »
Производительность Apache Parquet
2016-04-26 в 23:47, admin, рубрики: apache hadoop, Apache Spark, avro, big data, csv, data mining, file format, parquet, performance tests, scala, кто читает теги?, сжатие данных, хранение данныхПлохой пример хорошего теста
Примечание переводчика:
Изначально статья задумывалась как вольный перевод текста Дона Дрейка (@dondrake) для Cloudera Engineering Blog об опыте сравнения Apache Avro и Apache Parquet при использовании Apache Spark. Однако в процессе перевода я углубился в детали и нашел в тестах массу спорных моментов. Я добавил к статье подзаголовок, а текст снабдил комментариями со злорадным указанием неточностей.
В последнее время в курилках часто возникали дискуссии на тему сравнения производительности различных форматов хранения данных в Apache Hadoop — включая CSV, JSON, Apache Avro и Apache Parquet. Большинство участников сразу отметают текстовые форматы как очевидных аутсайдеров, оставляя главную интригу состязанию между Avro и Parquet.
Господствующие мнения представляли собой неподтвержденные слухи о том, что один формат выглядит "лучше" при работе со всем датасетом, а второй "лучше" справляется с запросами к подмножеству столбцов.
Как любой уважающий себя инженер, я подумал, что было бы неплохо провести полноценные performance-тесты, чтобы наконец проверить, на чьей стороне правда. Результат сравнения — под катом.
Новая память для новой архитектуры хранения данных
2016-04-25 в 10:50, admin, рубрики: HPE, HPE Persistent Memory, NVDIMM, Postgres Pro, postgresql, sql server, Администрирование баз данных, Блог компании Hewlett Packard Enterprise, ит-инфраструктура, кэширование, ускорение, флэш, хранение данныхВ течение последнего десятилетия быстродействие процессоров выросло примерно в 10 раз, оперативной памяти – в 8 раз, сетей – в 100 раз, внутренней шины вычислительных систем – в 20 раз, а накопителей на жестких дисках – всего в 1,5 раза. То есть увеличение производительности подсистемы хранения серверов существенно отстает от роста производительности центрального процессора, оперативной памяти, внутренней шины, а также пропускной способности сетей. Недостаточная производительность традиционных жестких дисков (HDD) приводит к увеличению времени отклика приложений. Еще вчера решением могло быть только использование SSD или PCIe-флэш. Сегодня мы шагнули еще дальше с новым типом накопителей непосредственно на шине оперативной памяти!
OpenStack трансформирует центры обработки данных
2016-04-25 в 8:26, admin, рубрики: cloud, Блог компании Huawei, виртуализация, дата-центры, ит-инфраструктура, облака, Облачные вычисления, хранение данных OpenStack обладает масштабируемостью, гибкостью и экономичностью, которые так необходимы центрам обработки данных.
Энни Лай (Anni Lai), департамент ИТ-продуктов (решения ЦОД), Huawei Technologies
Возможность виртуализации центров обработки данных (ЦОД) на базе ПО с открытым исходным кодом, а именно облачной платформы OpenStack, позволяет решать самые сложные на сегодняшний день ИТ-задачи — от обработки «Больших данных» (Big Data) до «Интернета вещей» (IoT, Internet of Things). Многие предприятия и поставщики услуг рассчитывают, что OpenStack поможет им преобразовать свои ЦОДы в масштабируемые автоматизированные матрицы физических ресурсов и виртуализированных услуг. Эти разнородные ЦОДы, управляемые с помощью интерфейсов автоматизации и прикладного программирования API, поддерживают применение модели DevOps при поставке ПО для инновационных приложений поддержки мобильности, социальных сетей и множества других типов приложений, основанных на виртуализации сетевых функций NFV (Network Function Virtualization).
Применение OpenStack в решениях Huawei помогает трансформировать центры обработки данных для экономичной поддержки растущей нагрузки — увеличения числа пользователей, прикладных служб, количества устройств и объёмов трафика.
Предложение депутатов хранить данные абонентов в течение 3-х лет может дорого обойтись самим абонентам
2016-04-21 в 11:46, admin, рубрики: Госдума, Минкомсвязи, регулирование интернета, финансы, Финансы в IT-индустрии, хранение данныхМинкомсвязи РФ: если принять закон о хранении данных пользователей в течение 3-х лет, тарифы «драматически» вырастут
Изображение: Роскомсвобода
Как уже сообщалось на Geektimes, 7 апреля в Госдуму внесен законопроект со сложным названием «О внесении изменений в отдельные законодательные акты Российской Федерации в части установления дополнительных мер противодействия терроризму и обеспечения общественной безопасности». Авторами законопроекта являются два человека — депутат Яровая и сенатор Озеров. Этот законопроект обязывает операторов связи РФ хранить в течение трех лет «информацию о фактах приёма, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи».
Российские операторы связи подсчитали, что исполнение требований закона обойдется телекоммуникационным компаниям примерно в $200 млрд. Придется создавать инфраструктуру, как у АНБ. Теперь к подсчетам присоединилось и Минкомсвязи, сообщает „Роскомсвобода“. Глава министерства Николай Никифоров заявил, что принятие указанных поправок приведет к „драматическому“ росту тарифов.
Читать полностью »