Рубрика «хранение данных» - 90

Помню школьные годы, когда на каждом «реаниматоре» неотъемлемой частью был Paragon Partition Manager. О виртуальных машинах мы еще только мечтали, и чтобы поставить несколько операционок, школьникам приходилось «резать» полуторагигабайтный диск.

«Есть внешний жесткий диск и 2 тачки (одна на Win, вторая на OS X). Доступ к диску нужен с обеих машин.»

Сейчас, когда школьники обзавелись бородами, животами, детьми и зеркалками (не болезнями, а фотоаппаратами), встает проблема, как на горячо любимый виндовый терабайтник, на котором куча фоток с выпускного и сохранялок с Fallout 2, залить много нового видео с Mac`a, на котором стоит сверхзаботливый El Capitan («В целях вашей безопасности мы лишим вас некоторых прав. Начнем с прав root`а.»).

Когда я учился в универе на первых курсах, до нас доходили слухи, что физтехи русифицируют Palm и пишут под него софт, вот на днях мне выпал шанс пообщаться с людьми, которые, возможно, к этому были причастны.

Вопросы разработчикам Paragon NTFS for Mac - 1

На Гиктаймсе в комментарии к статье про NTFS for Mac kukkk «задал» разработчикам Paragon два вопроса:

  • Как вы развивали этот продукт
  • Как устроен этот продукт

Я решил немного «поднажать» и поискать ответы из первых рук.

Задавайте уточняющие вопросы в комментах или в личку, я передам их разработчикам.

Вот что мне удалось накопать про NTFS for Mac.
(Paragon NTFS for Mac — драйвер с поддержкой OS X El Capitan, который позволяет форматировать, проверять и исправлять ошибки разделов NTFS.)
Читать полностью »

Март оказался интересным месяцем с точки зрения новостей на рынке систем хранения. Во-первых, IDC опубликовал пресс-релиз, посвященный результатам продаж систем хранения в четвертом календарном квартале 2015 года. Общие тенденции грустные для большинства игроков индустрии. Корпоративный рынок систем хранения по деньгам сократился на 2,2% по сравнению с аналогичным периодом прошлого года. При этом общая емкость, проданная за четвертый квартал, выросла на 10,7%. Продажи внутренних дисков выросли на 6,1%, что может свидетельствовать о росте в сегменте программно-определяемых систем хранения и облачных решений, а не только об увеличении емкости внутри серверов. Внешние дисковые массивы продавались хуже на 2,3%.

SPC и IDC - 1


Читать полностью »

Этот пост начнётся со всем известной притчи:

Кружок «Очумелые ручки»: 4 лайфхака про то, как рационально заполнить сервер дисками - 1 Профессор философии, стоя перед своей аудиторией, взял пятилитровую стеклянную банку и наполнил её камнями, каждый не менее трёх сантиметров в диаметре. В конце спросил студентов, полна ли банка? Студенты ответили, что да, полна.
Тогда он открыл банку горошка и высыпал её содержимое в большую банку, немного потряс её. Горошек занял свободное место между камнями. Ещё раз профессор спросил студентов, полна ли банка? Ответили: да, полна.
Тогда он взял коробку, наполненную песком, и насыпал его в банку. Естественно, песок занял полностью существующее свободное место и всё закрыл. Ещё раз профессор спросил студентов, полна ли банка? Ответили: да, и на этот раз однозначно, она полна.
Тогда из-под стола он достал кружку с водой и вылил её в банку до последней капли, размачивая песок. Студенты смеялись.
— А сейчас я хочу, чтобы вы поняли, что банка — это ваша жизнь...

Конечно же, речь в данной притче шла не о серверах, но в общем и целом принцип должен быть понятен :) Все мы в душе немного изобретатели, и эта особенность отчетливо проявляется в нас, когда приходится выполнять задачи, имея под рукой ограниченные ресурсы и инструменты. В тяжких экономических условиях, когда бюджеты сильно урезают, а проекты зависают в воздухе из-за недостающих вычислительных мощностей, приходят на помощь бывшие в употреблении серверы.

Однако зачастую даже этих мер недостаточно, и клиенты ищут дальнейшие варианты экономии. Одним из таких вариантов является эффективное использование серверных жестких дисков. Несмотря на то, что порой приходится пустить в ход всю свою смекалку и сообразительность, мы всегда стремимся удовлетворить нужды наших клиентов. Поэтому сегодня хотим с вами поделиться некоторыми лайфхаками на тему того, как за небольшие деньги максимально эффективно использовать дисковое пространство в б/у серверах.
Читать полностью »

Как использовать Parquet и не поскользнуться - 1

О хранении данных в Parquet-файлах не так много информации на Хабре, поэтому надеемся, рассказ об опыте Wrike по его внедрению в связке со Spark вам пригодится.
В частности, в этой статье вы узнаете:

— зачем нужен “паркет”;
— как он устроен;
— когда стоит его использовать;
— в каких случаях он не очень удобен.

Читать полностью »

До краев, до отказа наполнясь водой, и от тяжести книзу провиснув,
И набухнув дождем, друг на друга они набегают и давят друг друга.
И взрываются с треском они, как пузырь…
Аристофан, комедия «Облака»

Облачные хранилища для тематических данных - 1
Читать полностью »

Новый PM1633a SSD на 15 TБ в форм-факторе 2,5 дюйма предназначен для использования в корпоративных систем хранения данных. Samsung Electronics объявил, что теперь они готовы к производству твердотельного накопителя (SSD) с самым большим объемом памяти на сегодняшний день — 15.36 TБ.
Samsung не перестает удивлять — 15 TБ SSD - 1Читать полностью »

В этой статье хочу поделиться способом, который позволил нам прекратить хаос с процессингом данных. Раньше я считал этот хаос и последующий ре-процессинг неизбежным, а теперь мы забыли что это такое. Привожу пример реализации на BiqQuery, но трюк довольно универсальный.
Строим надёжный процессинг данных — лямбда архитектура внутри Google BigQuery - 1
У нас вполне стандартный процесс работы с данными. Исходные данные в максимально сыром виде регулярно подгружаются в единое хранилище, в нашем случае в BigQuery. Из одних источников (наш собственный продакшн) данные приходят каждый час, из других (обычно сторонние источники) данные идут ежедневно.

В последствии данные обрабатываются до состояния пригодного к употреблению разнообразными пользователями. Это могут быть внутренние дашборды; отчёты партнёрам; результаты, которые идут в продакшн и влияют на поведение продукта. Эти операции могут быть довольно сложными и включать несколько источников данных. Но по большей части мы с этим справляется внутри BigQuery с помощью SQL+UDF. Результаты сохраняются в отдельные таблицы там же.
Читать полностью »

По опросам 2015 года, 40% IT профессионалов из 451 опрошенного, планируют увеличить траты на конвергентные инфраструктуры. Это прямой знак того, что в 2016 году этот тренд преобретёт более широкое распространение.
NetApp Converged Infrastructure Storage. Предсказания 2016 - 1

Как и со многими технологиями, путь конвергентных инфраструктур обусловлен необходимостью простоты, скорости и уменьшения цены решения.
Читать полностью »

Релиз ownCloud 9.0 — opensource альтернативы Dropbox и другим облачным хранилищам - 1

Вышел новый релиз персональной облачной платформы ownCloud 9.0.

Я уже писал про ownCloud раньше. Я очень люблю этот комбайн из хранилища данных с синхронизацией, версионированием, галереей, календарем, хранением контактов и прочими плюшками. Серверная часть написана на PHP, поддерживаются протоколы WebDAV, CardDAV, CalDAV. Клиентский софт есть под Linux, OS-X, Windows, мобильных платформы и через web интерфейс. В теории может работать с петабайтными объемами данных.

Сервис может работать в федеративном режиме — есть возможность объединять и линковать независимые ownCloud-инстансы, делиться каталогами и другими данными. В качестве файловой системы можно использовать GPFS, GlusterFS и другие распределенные варианты. Хорошо допилена интеграция в инфраструктуру Amazon.

Changelog:

  1. Возможность добавлять комментарии и теги к файлам
  2. Новая система уведомлений
  3. (Федеративный режим) Автодополнение имен пользователей
  4. (Федеративный режим) Списки доверенных серверов
  5. Код для дополненией и основных файлов наконец подписан
  6. Добавили новую систему обновления
  7. Улучшения производительности при совместном доступе к каталогам
  8. Новое API для External Storage
  9. Различные улучшения системы безопасности

Читать полностью »

Seagate представила самый быстрый PCI Express SSD в мире с пропускной способностью в 10 ГБ-с - 1

SSD становятся все более распространенными и менее дорогими (хотя их стоимость снижается очень медленно). А производители SSD стараются делать накопители еще более привлекательными для конечного покупателя. По этой причине выпускаются накопители рекордного объема и производительности. Чаще всего такие «рекордсмены» востребованы корпорациями, что и понятно — именно здесь нужна максимально быстрая передача данных больших объемов.

Компания Seagate рассказала о новом SSD, который называет «самым быстрым SSD в мире». Действительно, разница в производительности между новинкой и ближайшим конкурентом очень существенна, если данные самого производителя корректны. Новый продукт уже готов к коммерческому использованию, SSD совместим со стандартом Open Compute Project (OCP). Заявленная производительность — 10 ГБ/с при условии использования 16-линейного PCIe слота.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js