Рубрика «хранение данных» - 21

в 11:23, , рубрики: bolt, Go, high availability, nginx reverse proxy, serverless, storage, хранение данных

Эффективное хранение сотен миллионов маленьких файлов. Self-Hosted решение - 1

Уважаемое сообщество, эта статья будет посвящена эффективному хранению и выдаче сотен миллионов маленьких файлов. На данном этапе предлагается конечное решение для POSIX совместимых файловых систем, в том числе кластерных, и вроде бы даже уже без костылей.

Поэтому для этой цели я написал свой собственный специализированный сервер.
По ходу реализации этой задачи удалось решить основную проблему, попутно добиться экономии дискового пространства и оперативной памяти, которую нещадно потребляла наша кластерная файловая система. Собственно такое количество файлов вредно для любой кластерной файловой системы. Читать полностью »

в 13:14, , рубрики: ces 2020, DC1000B, KC600, Kingston, Kingston Canvas, PCIe NVMe, pcie ssd, SSD Grandview, SSD для ЦОД, Блог компании Kingston Technology, высокая производительность, Компьютерное железо, Накопители, накопитель, Топовый накопитель, хранение данных

Привет! В арсенале компании Kingston довольно много твердотельных решений корпоративного класса, среди которых DC500R, DC500M, DC1000M и не только. А после выставки потребительской электроники CES 2020 в семействе этих накопителей появилась еще одна интересная новинка для Data-центров — Kingston SSD DC1000B M.2 (2280) NVMe с 64-уровневой памятью 3D TLC NAND, функцией самошифрования (SED) поддержкой интерфейса PCI-Express 3.0 x4 и защитой от сбоев электропитания. Представители Kingston называют этот накопитель идеальным в качестве загрузочного “диска” для серверных стоек с одним или двумя слотами M.2 NVMe, что позволяет обеспечить быструю начальную загрузку системы при сохранении стандартных 2,5”-накопителей для фронтальной установки, на которых хранится основной массив данных.

Что мы привезли на CES 2020: новые накопители и карты памяти - 1
Читать полностью »

в 10:37, , рубрики: kubernetes, meetup, postgresql, хранение данных, хранилища данных

Привет! В четверг, 23 января, пройдёт наш первый митап про Apache Kafka. Будем говорить об интеграции, source коннекторах и запуске масштабируемых приложений в Kubernetes. С докладами выступят инженеры Booking.com, Confluent и Авито.

Встречаемся в 18:00. Регистрируйтесь сами и приглашайте коллег. Под катом — анонсы выступлений, ссылка на регистрацию и видеотрансляцию митапа.

Avito Kafka meetup: коннекторы, интеграция, облака - 1

Читать полностью »

в 11:36, , рубрики: linux, oracle, zfs, zfsonlinux, надстройки, Настройка Linux, Торвальдс, хранение данных

image

Автор ОС Linux Линус Торвальдс считает, что основным препятствием для включения файловой системы ZFS в официальное ядро операционной системы является лицензионная политика Oracle. Так он отреагировал на критику изменений в ядре Linux, которые нарушили работу надстройку, обеспечивающей использование ZFS.

Оба проекта имеют открытый исходный код, но распространяются под разными лицензиями CDDL и GPLv2, которые не совместимы друг с другом. Чтобы обойти это ограничение, и использовалась надстройка. Читать полностью »

в 7:41, , рубрики: data mining, pandas, python, машинное обучение, Программирование, хранение данных

Что принёс нам Pandas 1.0 - 1

9 января состоялся релиз Pandas 1.0.0rc. Предыдущая версия библиотеки — 0.25.

Первый мажорный релиз содержит множество замечательных нововведений, в том числе улучшенное автоматическое суммирование датафреймов, больше форматов вывода, новые типы данных и даже новый сайт документации.

Все изменения можно посмотреть здесь, в статье же мы ограничимся небольшим, менее техническим обзором самого главного.

Читать полностью »

в 3:22, , рубрики: никто не читает теги, Проектирование и рефакторинг, сохранение в файл, форматы файлов, хранение данных

Непричёсанные мысли по поводу формата сохранения: теория - 1

Начнём с вводных. Мы разрабатываем программу, которая будет сохранять свои данные в файл, и при этом…

  • будет расширяться, и существенно (отпадают уровни и сохранения большинства игр: после пары патчей бросаем игру и пишем новую);
  • тем не менее программа не рассчитывает на то, чтобы быть стандартом (отпадает LibreOffice). То есть по формату сохранения она должна быть совместима только с собой-старой и собой-новой;
  • все её данные надо держать одномоментно в памяти; СУБД типа SQLite не даёт каких-то преимуществ (отпадают базы переписки в почте или мессенджере);
  • но файл сохранения будет очень велик (отпадают программы фотопроявки вроде Lightroom, где документ — это всего лишь положения сотни-другой ползунков: мелочь по сравнению с 40-мегабайтным RAW);
  • нет нужды в ручной корректировке файлов (отпадает пользовательский интерфейс типа «файл конфигурации», присущий, например, серверу Apache).

Таких программ на самом деле немало. Это AutoCAD, Photoshop, Microsoft Office (будем честными: даже пытаясь протащить его через ISO, «мелкомягкие» рассчитывали, что он будет совместим в первую очередь с самим собой).

И для простоты добавим ещё одно требование, которое отбросит все три этих программы, но довольно реалистичное (ему отвечают Windows 10 и куча программ помельче).

  • программа разрабатывается по непрерывной схеме, так что нет денежных барьеров обновляться, а достаточно старые версии программы по факту неподдерживаемые.Читать полностью »

в 15:43, , рубрики: 1cloud, iaas, Блог компании 1cloud.ru, дайджест, облако, ПД, политики IT-компаний, Разработка под e-commerce, разработка сервисов, хранение данных

Разбираемся с законом о ПД, рассказываем, как эволюционировала инфраструктура 1cloud.ru, обсуждаем изменения в политиках ИТ-компаний и развитие облачных экосистем.

Разработка сервисов и IaaS: подборка материалов об облаке, хранении данных и эволюции «1cloud» - 1Читать полностью »

в 12:13, , рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данных

Привет! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на Supercomputing-2019. Это применение Hi-End систем хранения данных (СХД) в серверах с графическими процессорами (GPU) и технологией шины GPUDirect Storage. Благодаря прямому обмену данными между СХД и GPU, минуя CPU, на порядок ускоряется загрузка данных в GPU-ускорители, поэтому приложения Big Data выполняются на максимуме производительности, которую обеспечивают GPU. В свою очередь, разработчиков HPC-систем интересуют достижения в области СХД с высочайшей скоростью ввода/вывода — таких, какие выпускает Kingston.

5.8 млн IOPS: зачем так много? - 1
Читать полностью »

в 2:00, , рубрики: Aerodisk, E2K, linux, SAN, storage, Блог компании AERODISK, импортозамещение, МЦСТ, Норси-транс, российское оборудование, система хранения данных, системное администрирование, СХД, хранение данных, хранилища данных, Эльбрус

СХД AERODISK на отечественных процессорах Эльбрус 8С - 1

Привет, читатели Хабра. Хотим поделиться крайне приятной новостью. Мы наконец-то дождались реального серийного выпуска нового поколения российских процессоров Эльбрус 8С. Официально серийный выпуск должен был стартовать аж в 2016 году, но по факту именно массовое производство началось только в 2019 году и на текущий момент выпущено уже около 4000 процессоров.

Практически сразу после старта серийного производства данные процессоры появились и у нас в Аэродиске, за что хотим отдельно поблагодарить компанию НОРСИ-ТРАНС, которая любезно предоставила нам свою аппаратную платформу Яхонт УВМ, поддерживающие процессоры Эльбрус 8С, для выполнения портирования программной части СХД. Это современная, отвечающая всем требованиям МЦСТ универсальная платформа Яхонт УВМ. На данный момент платформа используется спец.потребителями и операторами связи для обеспечения выполнения установленных действий при проведении оперативно — разыскных мероприятий.

На текущий момент портирование успешно завершено и уже сейчас СХД AERODISK доступна в варианте с отечественными процессорами Эльбрус.

В этой статье мы расскажем о самих процессорах, об их истории, архитектуре и, конечно же, о нашей реализации СХД на Эльбрусе.

Читать полностью »

в 15:57, , рубрики: devops, prometheus monitoring, thanos, victoriametrics, хранение данных, хранилища данных

Всем привет. Ниже представлена расшифровка доклада с Big Monitoring Meetup 4.

Prometheus – система мониторинга различных систем и сервисов, с помощью которой системные администраторы могут собирать информацию о текущих параметрах систем и настраивать оповещения для получения уведомлений об отклонениях в работе систем.

В докладе будет сравнение Thanos и VictoriaMetrics — проектов для долгосрочного хранения метрик Prometheus.

Читать полностью »

1...10...202122...3040...107
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js