Рубрика «хранение данных» - 106

в 12:02, , рубрики: android, badoo, iOS, php, push-уведомления, баду, Блог компании Badoo, Веб-разработка, разработка, разработка сайтов, СУБД, хранение данных, электронная почта, метки: , , , , , , , , ,

Система офлайн уведомлений Badoo Для того чтобы пользователи, находясь офлайн, узнавали о событиях на сайте, мы создали специальную систему уведомлений. В её задачи входит аккумулировать события для пользователя и в нужный момент сообщать о них через доступные каналы связи, такие как электронная почта и push-уведомления на смартфоны.
Как организовано хранение событий? О каких событиях приходят уведомления? В какой момент они отправляются и по какому принципу? Сегодня мы постараемся ответить на все эти и другие вопросы.

Статья дает общее описание архитектуры системы с небольшими техническими подробностями и будет интересна тем, кто только собирается или уже каким-то способом уведомляет своих пользователей обо всём новом, что произошло за время их отсутствия на сайте (в приложении, сервисе и т.п.)

Читать полностью »

в 11:20, , рубрики: diy или сделай сам, ssd+hdd, Железо, модернизация, Накопители, хранение данных, метки: , ,

Первый украинский SSD диск или вторая жизнь швейцарского компьютераК сожалению, огромное количество предприятий в Украине работают на устаревшем промышленном оборудовании, изготовленном пару десятков и более лет назад. После развала Союза и распродажи на металл станков местной разработки оставшиеся на плаву предприятия начали приобретать на западе подержанные станки с числовым программным управлением: плазморезы, дерево-, металлообрабатывающие станки, гравировальное оборудование и т.п. Но относительно невысокая стоимость такого железа имеет и обратную сторону – простои из-за отказов, недоступности запчастей, полного отсутствия поддержки.
Этот пост о том, как простая замена винчестера в деревообрабатывающем станке потребовала создания собственного твердотельного диска, и с какими трудностями мы столкнулись при его разработке. Кому интересно, как создавался первый украинский «винчестер-SSD», прошу под кат.

Читать полностью »

в 4:03, , рубрики: diy или сделай сам, DVD, Накопители, накопители данных, подарок, спорт, хранение данных, шутка, метки: , , , , ,

У меня дома, как и большинства тут присутствующих, валяется куча CD и DVD дисков. Этакий чемодан без ручки – и хранить без толку, и выбросить жалко. Какие-то бекапы, загрузочные и live СD, старые игрушки (в которые собираюсь лет десять как поиграть, только разгребусь с делами), пара десятков музыкальных альбомов (давно обосновавшихся в плеере). В общем, не мне вам рассказывать.

Вся эта гадость, мало того, что занимает место, так еще и пыль собирает. Но выбросить, повторюсь, руки не поднимаются. Поэтому, когда на горизонте замаячило восьмое марта, я решил совместить приятное с полезным – сделать жене необычный подарок, и освободить немного места от залежей CD.

Итак, идея. Моя жена по утрам делает зарядку. Во время занятий она использует небольшие гантели по 2-3 кг каждая (уж не знаю почему, но в женском фитнесе используются малые веса). В общем, я подумал, почему бы не подвесить на гантели банки с дисками? Весят они подходяще. Пусть уж пользу приносят, чем без дела пылиться. Да и просто, должно получится смешно.

UPD: хабрасоседи, если вы минусуете, то можно хотя бы объяснить почему? Это же шутка, неужели непонятно?

DIY: гантели как способ хранения DVD дисковЧитать полностью »

в 14:10, , рубрики: btrfs, ext4, raid, Блог компании Webnames.ru, Накопители, системное администрирование, хранение данных, хранение файлов, метки: , , , ,

Во время разработки одного проекта возникла необходимость хранить множество файлов (более 4 млн. штук). И их количество продолжало расти. Когда файлов стало более 6 млн., работать с ними стало затруднительно. Даже если разложить их по каталогам и создать разветвлённое дерево, обход даже части этих каталогов занимал часы. Разумеется, вначале никто не задумывался над тем, как все это хранить, и мы использовали обычный винт и ext4. В какой-то момент скорость чтения с этого раздела снизилась до 9MB/sec. Это слишком медленно. Экспериментальный переход на btrfs поднял скорость до 13MB, но такие показатели тоже не впечатляют. SSD для этого никто не собирался использовать да и объём уже перевалил за 1TB. Т.е. всё шло к использованию RAID'ов. Поскольку коммерческий успех проекта был под сомнением, то стоимость нужно было свести к минимуму. Следовательно, реализация должна была быть программной.

Итак, нужно небольшое хранилище — на одном сервере или компьютере, т.е. не более четырех дисков. Хранить нужно небольшие файлы — по 1-3Mb каждый.
Читать полностью »

в 15:57, , рубрики: postgresql, Администрирование БД, базы данных, Песочница, репликация, хранение данных, метки: , , , ,

image
Возникла необходимость быстро и как можно проще организовать репликацию данных с сервера БД на резервный сервер. Простой и понятный способ на просторах Сети так и не нашелся, по этому пришлось по частям собрать информацию, которая и стала этой статьёй.

Решаемая задача. Исходные данные

Итак, имеем сервер БД, с которым работают клиенты, и резервный сервер, на который надо настроить репликацию с основной базы данных.
В моём случае используется PostgreSQL 9.2.1, который установлен на обоих серверах и поддерживает потоковую репликацию. Предположим что база данных на основном сервере развернута и работает, на резервном только установлен, но не настроен PostgreSQL. Для примера возьмем IP-адрес 192.168.1.1 за адрес основного сервера, IP-адрес 192.168.1.2 — за адрес резервного.
Читать полностью »

в 7:13, , рубрики: disaster recovery, EMC, авария, Блог компании КРОК, виртуализация, ит-инфраструктура, миграция, переезд, репликация, синхронизация, СХД, хранение данных, цод, метки: , , , , , , , , , ,

Системы хранения данных: как медленно, но верно они отвязываются от железа
Авария в первом дата-центре и автоматический перезапуск сервисов в другом

Виртуализация — одна из моих любимых тем. Дело в том, что сейчас можно практически полностью забыть про используемое железо и организовать, например, систему хранения данных в виде «логического» юнита, который умеет взаимодействовать с информацией по простым правилам. При этом все процессы между виртуальным юнитом и реальным железом в разных ЦОДах лежат на системе виртуализации и не видны приложениям.

Это даёт кучу преимуществ, но и ставит ряд новых проблем: например, есть вопрос обеспечения консистентности данных при синхронной репликации, которая накладывает ограничения на расстояния между узлами.

К примеру — скорость света становится реальным физическим барьером, который не даёт заказчику поставить второй ЦОД дальше 40-50, а то и меньше, километров от первого.

Но давайте начнём с самого начала — как работает виртуализация систем хранения, зачем оно всё надо, и какие задачи решаются. И главное — где конкретно вы сможете выиграть и как.Читать полностью »

в 7:44, , рубрики: Блог компании HP, виртуализация, высокая производительность, хранение данных, метки:

HP StoreEasy – легкое хранение неструктурированных данных

HP в декабре обновила свою линейку NAS-систем младшего класса, и на смену ранее выпускавшимся NAS серии X (X1000, X3000 и X5000) пришли HP StoreEasy1000, 3000 и 5000. Разумеется, изменения по сравнению с предшественниками, не ограничиваются только новым брендом. Прежде всего — аппаратной основой новых систем стали выпущенные нынешней весной серверы HP ProLiant Gen8.
Читать полностью »

в 10:33, , рубрики: dell, fluid data, Блог компании Dell, большие объемы данных, высокая производительность, ит-инфраструктура, СХД, хранение данных, метки: , , , ,

В предыдущей части мы начали знакомство с новой технологией Fluid Data, предназначенной для улучшения жизни тем, кто имеет дело с действительно большими данными. Также были разобраны некоторые, но не все, преимущества этого решения на примере СХД Dell Compellent. Что ж, не откладывая в долгий ящик, предлагаем продолжить знакомство.Читать полностью »

в 6:27, , рубрики: dell, fluid data, Блог компании Dell, большие объемы данных, высокая производительность, ит-инфраструктура, СХД, хранение данных, метки: , , , ,

Поразительное количество открытий людям помогает делать природа. Полёт стрекозы вдохновил авиаконструкторов, кроны лиственных деревьев — создателей солнечных элементов. А вода — это уникальное вещество — вдохновила инженеров компании Dell на создание принципиально новой технологии для систем хранения данных Dell Compellent, получившей название Fluid Data.

Главная проблема большинства систем хранения не нова — управление данными на уровне томов. Такой подход изначально ограничивает не только гибкость, но и производительность комплекса. Сразу оговоримся, что хоть проблема и главная, но отнюдь не единственная. Однако обо всём по порядку.Читать полностью »

в 8:09, , рубрики: Amazon Glacier, Amazon Web Services, архивы, бэкапы, Восстановление данных, резервное копирование, системное администрирование, хранение данных, метки: , , , ,

Сегодня начал работу новый проект Amazon Glacier: долговременное хранилище в облаке по невысокой цене $0,01 за 1 ГБ в месяц. Идеально подходит для хранения бэкапов и больших архивов, к которым не нужен частый доступ. Извлечение данных из Glacier занимает от 3,5 до 4,5 часов.

Как везде в AWS, пользователь оплачивает только тот объём ресурсов, которые реально использует, никакой абонентской платы и прочих хитростей. Загрузка и извлечение архивов, мониторинг статуса возможны через Amazon Glacier APIs. Все файлы автоматически шифруются AES 256 и дублируются в разных дата-центрах, прежде чем APIs возвращают ответ SUCCESS.
Читать полностью »

1...1020...105106107
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js