Недавняя хабрастатья о различиях в побайтово идентичных файлах вызвала из глубин памяти (и почтового ящика) небольшой кусочек моей переписки с одним из инженеров, отвечавших в то время за линию дисков MPG в компании Fujitsu. Для удобства англонеговорящих читателей, привожу перевод с английского под катом.
Рубрика «хранение данных» - 94
Почему я перепроверяю записанные данные, или История одного расследования
2015-12-29 в 0:32, admin, рубрики: загадки природы, информационная безопасность, неведомая клёпаная фигня, ненормальное программирование, о сколько нам ошибок чудных, терпение и труд, Тестирование IT-систем, хранение данных, метки: загадки природы, неведомая клёпаная фигня, о сколько нам ошибок чудных, терпение и трудFlexPod Express: UCS-Managed конфигурация
2015-12-25 в 7:48, admin, рубрики: cisco ucs, Cisco UCS Mini, flexpod, FlexPod Express, NetApp, NetApp FAS, SAN, UCS, UCS Mini, Серверное администрирование, Сетевые технологии, системное администрирование, хранение данных Среди трех предыдущих конфигураций Small/Medium/Large в архитектуре FlexPod Express появилась ещё одна под названием Cisco UCS-Managed. В этой статье пойдёт речь об этой новой конфигурации. FlexPod Express и FlexPod Datacenter деляться на два основных типа подключения: прямое подключение СХД к серверам (между СХД и серверами нет коммутатора) или через коммутатор (между СХД и серверами есть коммутатор), напомню что Fabric Interconnect это не коммутатор, а часть UCS домена серверов.
Стоит отметить несколько важных отличий новой конфигурации от предыдущих трех.
- Во-первых в архитектуре появились Fabric Interconnect, пускай и в исполнении внутренних устройств, установленных в шасси UCS Mini с блейдами.
- Во-вторых в архитектуре появилась возможность прямого подключения СХД к Fabric Interconnect, ранее между серверами и СХД обязательно должен был наличествовать коммутатор. При этом коммутатор должен был быть только Nexus (3048/3500/9300).
- В третьих если у нас конфигурация FlexPod Express Cisco UCS-Managed с прямым подключением, коммутатор для подключения конечных пользователей не обязательно должен быть Nexus. Теперь это может быть любой стандартный свич поддерживающий отказоустойчивость на подобии Multi Chassis Etherchannel. Но если между UCS и FAS нужен свитч, то свич обязан быть Nexus.
Компания NetApp объявила о покупке SolidFire
2015-12-25 в 7:44, admin, рубрики: all-flash, NetApp, SAN, SolidFier, ssd, высокая производительность, ит-инфраструктура, хранение данныхNetApp, inc заключила договор о покупке SolidFire, inc за 870 млн дол. США наличными.
Основанная в 2010, SolidFire является производителем All Flash хранилищ для ЦОД нового поколения, где простое масштабирование и управление в виде «настроил и забыл» обеспечивает производительность и совместную среду Multy-Tenancy.
С SolidFire NetApp даст новое предложение которое будет покрывать каждую из трех частей рынка All Flash хранилищ:
- Для традиционных инфраструктур Enterprise заказчиков, NetApp All Flas FAS (AFF), продуктовая линейка которая предоставляет функции и возможности Enterprise уровня.
- Для владельцев приложений, NetApp EF серию продуктов показывающих невероятно высокие значения производительности вместе с тем низкую скорость отклика (Latency) согласно открытому тестированию SPC-1, а также высокую доступность «шесть девяток».
- Для заказчиков с инфраструктурами нового поколения, продукты от SolidFire, распределённые, самовосстанавливающиеся и расширяющуюся архитектуру, доступную цену и простое управление.
SolidFire активен в облачном сообществе и предоставляет интегрировать уравление хранением при помощи VMware vCenter plug-in, VAAI, SRM, OpenStack driver, CloudStack plug-in, Microsoft VSS provider, PowerShell, VMware SRM/SRA и других облачных решений.
Через время продукты SolidFire будут интегрированы в парадигму NetApp DataFabric предоставляя бесшовное управление облачными ресурсами, а также ресурсами flash- и дисковых масивов.
Читать полностью »
Как флеш-память изменит структуру дата-центров
2015-12-24 в 9:37, admin, рубрики: Блог компании 1cloud.ru, дата-центры, инфраструктура, ит-инфраструктура, память, флэш-память, хранение данных, цодВ нашем блоге на Хабре мы не только рассказываем о развитии облачного сервиса 1cloud, но и много пишем о новых технологиях, в том числе в области процессоров и памяти. Сегодня мы представляем вашему вниманию адаптированный перевод заметки инженера компании Altera Рона Уилсона о том, как развитие технологии флеш-памяти может изменить структуру существующих ныне дата-центров.
Возможно, наступает переломный момент в истории дата-центров. Уже в течение многих лет увеличиваются емкости флеш-памяти, что позволяет нам неустанно расширять возможности наших телефонов, камер и медиаплееров.
Появление новых твердотельных накопителей с использованием флеш-памяти позволило начать разработку более современных планшетов и ноутбуков. Такие накопители начали появляться и в дата-центрах.
Незаметно для нас, скорость появления новых технологий резко возросла. Флеш-память NAND с новой вертикальной архитектурой превзошла характеристики планарной флеш-памяти, позволив хранить значительные объемы данных в каждом кристалле. Новые энергонезависимые технологии, например память Intel-Micron 3D Xpoint, уже начинают поступать в массовое производство.
Не стоит забывать и о жестких дисках, технологии которых также продолжают развиваться. Результатом всего этого станет беспрецедентное изменение структуры дата-центров, которое начнется с гипермасштабируемых облаков, но постепенно дойдет и до предприятий.Читать полностью »
Лоукост хостинг выделенных серверов в России. Возможно ли?
2015-12-23 в 5:00, admin, рубрики: ihor, vds, vps, айхор, Блог компании Айхор Хостинг, виртуализация, выделенные серверы, ит-инфраструктура, мароснет, хостинг, хранение данных 
В прошлой статье с похожим заголовком, мы рассказали и даже доказали, что лоукост хостинг виртуальных серверов (VPS) в России возможен. Но как обстоят дела с арендой выделенных серверов? Возможно ли в России сдавать серверы по ценам Hetzner-а, предоставляя клиентам гигабитные каналы?
Мы решили провести небольшую аналитику и попробовать дать ответ на заголовок поста. Также мы создали лоукост-конфигуратор выделенных серверов на базе имеющегося у нас оборудования. Что из этого вышло – вы сейчас узнаете.
Читать полностью »
Capital Projects: от идеи — к спецификациям и чертежам
2015-12-22 в 7:18, admin, рубрики: capital projects, documentum epfm, Блог компании EMC², ит-инфраструктура, хранение данных, метки: capital projects, documentum epfm 
Некоторое время назад мы писали о пакете продуктов EMC Documentum EPFM (Engineering, Plant and Facilities Management), предназначенных для построения (или дополнения имеющейся) системы управления и учёта документации. В этот раз мы хотим подробнее рассказать о первом из компонентов пакета — Capital Projects.
Читать полностью »
Быстро поднятое не считается упавшим. Повышаем отказоустойчивость встраиваемых систем
2015-12-18 в 9:06, admin, рубрики: aufs, embedded linux, linux kernel, nand, rootfs, UBIFS, Настройка Linux, хранение данных 
Год назад выполнял довольно интересную работу по разработке встраиваемого компьютера для одного предприятия, занимающегося электроникой. Компьютер ничего принципиально интересного не представлял: процессор Cortex A-8, работающий на субгигагерцовых частотах, 512Mb DDR3, 1Gb NAND, легковесная сборка Linux. Однако устройству, в который компьютер встраивался, а значит и ему самому, предстояло работать в довольно жестких условиях. Широкий температурный диапазон (от -40 до +85 градусов Цельсия), влагостойкость, стойкость к электромагнитным излучениям, киловольтные импульсы по питанию, защита от статики в 4 кВ и много чего интересного, что хорошо описано в различных ГОСТах на спецтехнику, – это все про него. Одно из основных требований заказчика – срок выработки на отказ не менее 10 лет. При этом производитель обеспечивает гарантийный ремонт изделия в течении пяти лет, потому вопрос не риторический, а денежный и серьезный. В изделие была заложена соответствующая элементная база. Прибор с честью прошел испытания и получил требуемые сертификаты, но разговор не про то. Проблемы начались когда была изготовлена установочная партия, и устройства разошлись по отделам и КБ для создания прикладного ПО. Пошли возвраты с формулировкой: «Чего-то не загружается».
Читать полностью »
Эволюция структур данных в Яндекс.Метрике
2015-12-17 в 10:10, admin, рубрики: big data, columnar database, data mining, olap, базы данных, Блог компании Яндекс, веб-аналитика, высокая производительность, структуры данных, хранение данных, яндекс, яндекс.метрикаЯндекс.Метрика сегодня это не только система веб-аналитики, но и AppMetrica — система аналитики для приложений. На входе в Метрику мы имеем поток данных — событий, происходящих на сайтах или в приложениях. Наша задача — обработать эти данные и представить их в подходящем для анализа виде.
Но обработка данных — это не проблема. Проблема в том, как и в каком виде сохранять результаты обработки, чтобы с ними можно было удобно работать. В процессе разработки нам приходилось несколько раз полностью менять подход к организации хранения данных. Мы начинали с таблиц MyISAM, использовали LSM-деревья и в конце концов пришли к column-oriented базе данных. В этой статье я хочу рассказать, что нас вынуждало это делать.
Яндекс.Метрика работает с 2008 года — более семи лет. Каждый раз изменение подхода к хранению данных было обусловлено тем, что то или иное решение работало слишком плохо — с недостаточным запасом по производительности, недостаточно надёжно и с большим количеством проблем при эксплуатации, использовало слишком много вычислительных ресурсов, или же просто не позволяло нам реализовать то, что мы хотим.
Читать полностью »
Опыт тестирования ScaleIO
2015-12-17 в 9:30, admin, рубрики: EMC, scaleio, Серверное администрирование, система хранения данных, системное администрирование, СХД, хранение данныхВ данной публикации хочу поделиться своим опытом по тестированию распределенного хранилища, основанного на EMC ScaleIO 1.32.2.
Решил испробовать ее после прочтения статьи «Как можно сделать отказоустойчивую систему хранения данных из отечественных серверов» и «Не спешите выкидывать старые серверы, из них можно собрать быструю Ethernet-СХД за час».
Читать полностью »
Лучшая в своем классе система Infortrend EonStor DS 4000 Gen2. Хранилище с ультравысокими характеристиками
2015-12-17 в 6:39, admin, рубрики: EonStor DS 4000 Gen2, Infortrend, trinity, Блог компании Тринити, ит-инфраструктура, СХД, тринити, хранение данныхСистемы хранения Infortrend EonStor DS 4000 Gen2 – одни из первых в мире на новейшем процессоре Intel Xeon из семейства продуктов D-1500, разработанном специально для SAN энтерпрайз-уровня и облачных хранилищ, что, в совокупности с передовыми аппаратными решениями Infortrend, обеспечивает лучшую в своем классе производительность.
Если речь идет о производительности, то значение IOPS в системах серии EonStor DS 4000 Gen2 достигает 600K в сквозном канале, что на 20% выше, чем в системах предыдущего поколения. Кроме того, полоса пропускания в системах новой серии на 30% шире и достигает 11000 MB/s по чтению, 5500 MB/s по записи – это значения, которые задают новый уровень характеристик, ожидаемых от хранилищ среднего класса.
