Рубрика «хранение данных» - 18

в 14:32, , рубрики: IoT, Блог компании Mail.Ru Group, будущее здесь, данные, здоровье, Здоровье гика, умный дом, хранение данных

Дата-дом: какие данные генерирует экосистема умных вещей - 1
(с)

Путешественники-утописты предрекали, что концепция дома как места, куда хочется возвращаться снова и снова, исчезнет. Дом станет чем-то вроде долговременного склада для хранения вещей, в то время как мы будем находиться в любой точке мира, где есть интернет.

Однако сейчас, при вынужденном переходе на карантин, дом для многих стал единственной отдушиной, дающей силы и снимающей психологическое напряжение. А для тех, кто изначально сделал ставку на домашнюю автоматизацию, нынешние трудные времена воспринимаются как своеобразный экзамен на прочность концепции «цифровой крепости».

Умный дом — не просто пространство, в котором вы можете управлять шторами, холодильником, лампочками и др. Настоящий умный дом, использующий IoT и достижения Data Science, становится генератором ценных данных, которые напрямую влияют на качество жизни и поведение человека.

Сегодня мы расскажем о влиянии данных IoT на формирование привычек и моделей поведения.
Читать полностью »

в 11:08, , рубрики: Блог компании Cloud4Y, память, старое железо, хранение данных, Читальный зал

Жизнь байта данных - 1

Любой облачный провайдер предлагает услугу хранения данных. Это могут быть холодные и горячие хранилища, Ice-cold, и т.д. В облаке хранить информацию довольно удобно. Но как вообще хранили данные 10, 20, 50 лет назад? Cloud4Y перевёл интересную статью, рассказывающую как раз об этом.Читать полностью »

в 8:01, , рубрики: Dorado, huawei, Oceanstore, Блог компании ГК ЛАНИТ, Ланит, обзор, онланта, системное администрирование, системы хранения данных, СХД, хранение данных, хранилища данных
Обзор и тестирование Huawei Dorado 5000V6 - 1

Полгода назад я уже начинал рассказывать об обновлении линейки СХД компании Huawei – Dorado V6. На самом деле, мне удалось познакомиться с ними еще до официального анонса, и логично, что тогда у меня не было возможности потрогать их в работе собственными руками. В своей статье «Huawei Dorado V6: Сычуаньская жара» я делал упор на старшие модели Dorado 8000 и 18000 V6, так как с точки зрения архитектуры они в тот момент меня больше всего заинтересовали. Наконец у меня появилась возможность провести тестирование системы 5000V6 в нашей лаборатории и подробнее рассказать о технической стороне этих систем.
Читать полностью »

в 3:41, , рубрики: ssd, дефрагментация, Компьютерное железо, хранение данных

Несомненно, вопрос, вынесенный в заголовок статьи, не нов, поднимался не раз и по нему достигнут консенсус «не особо нужна, и даже может быть вредна».
Однако недавнее обсуждение в комментариях заставило меня ещё раз задуматься.

Со временем любой SSD всё равно сильно фрагментируется (внутри, в FTL)… Свежезаписанный SSD при линейном чтении даст высокую скорость, а уже поработавший — гораздо ниже, потому что линейными оно будет только для вас.

Да, обычно такое не должно происходить: или мы пишем «понемногу» в мелкие файлы/небольшие блоки метаинформации ФС (скорость линейного чтения которых нас не особо волнует), либо же мы пишем «помногу» в большие файлы и всё будет хорошо. Бывает и дозапись мелкими блоками в большие файлы — логи, например, однако они относительно короткоживущие и особой проблемы я тут не вижу.
Но легко представился вполне реальный сценарий, при котором всё-таки внутренняя фрагментация SSD может проявиться: файл базы данных, в который идёт достаточно активная случайная запись. Со временем он (оставаясь нефрагментированным на уровне операционной системы) окажется физически очень даже фрагментированным, что может существенно снизить скорость seq scan, резервного копирования и т.п.

Для проверки я написал скрипт и провёл тесты.

Спойлер: проблема присутствует (существенно влияет на производительность) только на одной из попавшихся под руки моделей (и та позиционируется производителем не как datacenter, а как десктопная/ноутбучная).

Читать полностью »

в 7:01, , рубрики: безопасность, Блог компании ТЕХНОСЕРВ, виртуализация, дата-центр, защита, информационная безопасность, информация, облако, сервер, хранение данных

Как не надо защищать свои системы в облаке - 1 Часто, когда я говорю кому-то про уязвимость, на меня смотрят как на сумасшедшего с табличкой «Покайтесь, ибо конец света близок»!

Сейчас все бегают в панике и пытаются организовать «удалёнку», совершая простейшие ошибки, собирая все возможные грабли, поэтому я решил поделиться некоторыми драматическими историями с участием цыганских хакеров, незакрытых CVE и профессиональных, но немного наивных девопсов. Конечно, какие-то детали мне пришлось опустить или даже намеренно исказить, чтобы не расстраивать заказчиков. По большей части это практика не с текущей работы в Техносерве, но пусть этот пост будет небольшой памяткой о том, как делать не надо, даже если очень хочется. Читать полностью »

в 15:07, , рубрики: Energy Storage systems, ess, Li-Ion, Li-Ion технологии, Lithium Battery, ups, usa, АББМ, альтернативные источники энергии, батареи, бесперебойное питание, бесперебойное электроснабжение, будущее здесь, достоинства Li-Ion технологии, ИБП, инженерные системы, литий-ионные батареи, открытые технологии, химия, хранение данных, цод, экология, Энергия и элементы питания

USA: Компания PG&E будет строить накопители на Li-Ion от Tesla, NorthWestern делает ставку на газ - 1

Здравствуйте, друзья! В статье «Литий-ионные ИБП: какой тип батарей выбрать, LMO или LFP?» мы касались вопроса Li-Ion решений (накопителей, аккумуляторов) для энергосистем частного и промышленного сектора. Предлагаю перевод сводки свежих коротких новостей из США от 3 марта 2020 по данной тематике. Лейтмотив данных новостей-литий-ионные батареи различной структуры в стационарном исполнении неуклонно вытесняют классические свинцово-кислотные решения, и значительный вклад внесла Tesla. Практика эксплуатации электромобилей дает возможность предполагать отличные перспективы и безопасность литиевых решений для энергосистем и промышленного оборудования типа ИБП и систем оперативного постоянного тока (СОПТ). Данные решения по-русски именуют аккумуляторными батареями большой мощности (АББМ), в англоязычной литературе это термин -Energy Storage System-ESS. Для начала оценим ситуацию на родине компании Илона Маска, в дальнейшем-продолжим публикации по данной теме систематически, поскольку «вести с полей» поступают достаточно стремительно.
Читать полностью »

в 15:07, , рубрики: Linstor, opennebula, виртуализация, системное администрирование, хранение данных, хранилища данных

Как работает дисковая подсистема в OpenNebula - 1

В последнее время я получаю достаточно много вопросов по поводу организации стораджа в OpenNebula. В виду своей специфики она имеет аж три разных типа хранилища: images, system и files. Давайте разберёмся зачем нужен каждый из них и как их использовать чтобы планировать размещение данных наиболее эфективно.

Этот пост — частичная расшифровка моего доклада про OpenNebula на HighLoad++ 2019 с упором на дисковую составляющую.

Читать полностью »

в 10:44, , рубрики: CUDA, gpu, hash table, Алгоритмы, Блог компании Mail.Ru Group, Видеокарты, высокая производительность, никто не читает теги, хранение данных
Простая хэш-таблица для GPU - 1

Я выложил на Github новый проект A Simple GPU Hash Table.

Это простая хэш-таблица для GPU, способная обрабатывать в секунду сотни миллионов вставок. На моём ноутбуке с NVIDIA GTX 1060 код вставляет 64 миллиона случайно сгенерированных пар ключ-значение примерно за 210 мс и удаляет 32 миллиона пар примерно за 64 мс.

То есть скорость на ноутбуке составляет примерно 300 млн вставок/сек и 500 млн удалений/сек.

Таблица написана на CUDA, хотя ту же методику можно применить к HLSL или GLSL. У реализации есть несколько ограничений, обеспечивающих высокую производительность на видеокарте:

  • Обрабатываются только 32-битные ключи и такие же значения.
  • Хэш-таблица имеет фиксированный размер.
  • И этот размер должен быть равен двум в степени.

Для ключей и значений нужно зарезервировать простой разграничивающий маркер (в приведённом коде это 0xffffffff).
Читать полностью »

в 6:52, , рубрики: Ansible, BM, kubeadm, kubernetes, Packer, terraform, Блог компании КРОК Облачные сервисы, виртуализация, инфраструктура, кластер, сервер, хранение данных

Packer, Terraform и Ansible: деплой кластера Kubernetes за час - 1

Привет, меня зовут Андрей Щукин, я помогаю крупным компаниям мигрировать сервисы и системы в Облако КРОК. Вместе с коллегами из компании Southbridge, которая проводит в учебном центре «Слёрм» курсы по Kubernetes, мы недавно провели вебинар для наших заказчиков.

Я решил взять материалы отличной лекции Павла Селиванова и написать пост для тех, кто ещё только начинает работать с инструментами provisioning’а облаков и не знает, с чего начать. Поэтому я расскажу про стек технологий, которые используются у нас в обучении и продакшене Облака КРОК. Поговорим о современных подходах к управлению инфраструктурой, про связку компонентов Packer, Terraform и Ansible, а также про инструмент Kubeadm, с помощью которого мы будем производить установку.

Под катом будет много текста и конфигов. Материала много, поэтому я добавил навигацию по посту. Также мы подготовили небольшой репозиторий, куда сложили всё необходимое для нашего учебного деплоя.

Не давайте имён курам
Печёные пирожки полезнее жареных
Начинаем печь. Packer
Terraform — инфраструктура как код
Запуск Terraform
Структура кластера Kubernetes
Kubeadm
Репозиторий со всеми файлами
Читать полностью »

в 15:19, , рубрики: home assistant, визуализация данных, графики, потребление, умный дом, хранение данных

Умный дом: Строим графики потребления воды и электричества в Home Assistant - 1

Каждый раз получая платежку за электричество и воду я удивляюсь — неужели моя семья стооооолько потребляет? Ну да, в ванной установлен теплый пол и бойлер, но ведь они же не кочегарят постоянно. Воду тоже вроде экономим (хотя поплескаться в ванной тоже любим). Несколько лет назад я уже подключил счетчики воды и электричества к умному дому, но на этом дело так и застряло. До анализа потребления руки дошли только сейчас, о чем, собственно, вот эта статья.

Недавно я перешел на Home Assistant в качестве системы умного дома. Одной из причин была как раз возможность организовать сбор большого количества данных с возможностью удобного построения различного рода графиков.

Информация описанная в этой статье не нова, все эти штуки под разными соусами уже были описаны в Интернетах. Но каждая статья, как правило, описывает только один подход или аспект. Сравнивать все эти подходы и выбирать наиболее подходящий пришлось самому. Статья все равно не дает исчерпывающей информации по сбору данных, но является своего рода конспектом того как сделал я. Так что конструктивная критика и предложения по улучшению приветствуются.

Читать полностью »

1...10...171819...3040...107
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js