Рубрика «хранение данных» - 14

Тестируем играючи: мастер-мастер репликация в Tarantool - 1

В качестве примера мастер-мастер кластера Tarantool я предлагаю сделать небольшую текстовую мультиплеер-игру, где каждый участник стремится набрать большее число очков.

Каждый игрок будет некоторым узлом, который меняет данные в игровом мире. Эти данные реплицируются между узлами. Таким образом, репликация Tarantool будет являться своего рода транспортом для игрового процесса.

Читать полностью »

Помните старую шутку про то, что часам на 19 камнях не хватает двух: на один положить, другим ударить? Но что для обычных пользователей юмор, для производителей техники — серьёзный подход к тестированию и контролю качества. Краш-тесты, суровые испытания, высоко- и низкотемпературные эксперименты позволяют выводить на рынок устройства, которые не удивятся, если окажутся в океане, на Эвересте, в песчаной буре или в жаркой пустыне. Просто потому, что они обязаны работать вместе с владельцем, где бы тот ни находился.

Выжить в Долине Смерти и на дне рифа: контроль качества Seagate - 1


Во время испытаний вид у инженеров Seagate гораздо сдержанней, но эмоции примерно такие же

Сегодня расскажем о том, как подходим к работе с качеством продуктов.
Читать полностью »

Сборка недорогой домашней NAS-системы на Linux - 1

Я, как и многие другие пользователи MacBook Pro, столкнулся с проблемой недостачи внутренней памяти. Если говорить точнее, то используемый мной ежедневно rMBP был оснащен SSD объемом всего 256GB, чего, естественно, надолго не хватало.
А когда я плюс ко всему стал записывать видео во время своих полетов, ситуация только усугубилась. Объем заснятых материалов после таких полетов составлял 50+ GB, и мой несчастный SSD на 256GB очень скоро заполнился, вынудив меня приобрести внешний диск на 1TB. Тем не менее, спустя один год, и он перестал справляться с генерируемыми мной объемами данных, не говоря уже о том, что недостаток избыточности и резервного копирования делали его неподходящим для размещения важной информации.
Итак, в один момент я решил собрать NAS большого объема в надежде, что эта система продержится хотя бы пару лет, не требуя очередного апгрейда.
Эту статью я написал в первую очередь как памятку о том, что именно и как я делал на случай, если мне потребуется сделать это снова. Надеюсь, что и для вас она окажется полезна, если вы соберетесь делать то же самое.Читать полностью »

Хотя технологии баз данных и другие подобные инструменты существуют много лет и в наши дни чрезвычайно развиты, им всё ещё нелегко обойти самые обычные электронные таблицы в плане универсальности и интуитивной понятности. Правда, базы данных, основанные на электронных таблицах, лучше не применять в по-настоящему серьёзных проектах. Например — в приложениях, используемых для работы с данными о тех, кто заболел COVID-19. Но тот факт, что буквально все вокруг знают о том, как пользоваться электронными таблицами, означает, что таблицы отлично подходят для маленьких проектов, реализуемых в разнородных командах, когда просматривать и редактировать данные может понадобиться людям, далёким от программирования.

В этом руководстве я расскажу о том, как использовать Google Таблицы в роли базы данных. Рассмотренный мной учебный проект будет оснащён API, работать с которым можно по HTTP. Здесь мы воспользуемся Autocode — платформой для разработки Node.js-API, поддерживающей удобный редактор кода. Мы развернём простое приложение и организуем процесс прохождения аутентификации Google. Кроме того, я расскажу об ограничениях Google Таблиц, среди которых можно отметить возможности их применения в больших проектах. Я расскажу и о ситуациях, в которых тем, кто пользуется Google Таблицами, есть смысл поискать более продвинутые альтернативы.

Об ответственном использовании Google Таблиц в роли баз данных - 1


База данных, основанная на электронной таблице
Читать полностью »

Стандарт ASCII был принят в 1963, и сейчас вряд ли кто-нибудь использует кодировку, первые 128 символов которой отличались бы от ASCII. Тем не менее, до конца прошлого века активно использовалась EBCDIC — стандартная кодировка для мейнфреймов IBM и их советских клонов ЕС ЭВМ. EBCDIC остаётся основной кодировкой в z/OS — стандартной ОС для современных мейнфреймов IBM Z.

То, что сразу бросается в глаза при взгляде на EBCDIC — то, что буквы идут не подряд: между I и J и между R и S остались неиспользованные позиции (на ЕС ЭВМ по этим промежуткам распределилиЧитать полностью »

Это конспект лекции Татьяны Денисовой — бэкенд-разработчика в Яндекс.Учебнике. Вы узнаете, какие бывают базы данных, какие их особенности важно помнить, как в работе с данными учитывать характеристики системы и планы масштабирования, в какую из тем нужно углубиться для решения конкретной задачи. А также как при возникновении багов определить, является ли работа с БД источником проблемы (и если да, то в какую сторону копать).

— О чем именно мы будем говорить? Не о примитивных селектах и джойнах — о них, я думаю, большинство из вас уже знает.
Читать полностью »

Ещё один велосипед: храним юникодные строки на 30-60% компактнее, чем UTF-8 - 1

Если вы разработчик и перед вами стоит задача выбора кодировки, то почти всегда правильным решением будет Юникод. Конкретный способ представления зависит от контекста, но чаще всего тут тоже есть универсальный ответ — UTF-8. Он хорош тем, что позволяет использовать все символы Юникода, не тратя слишком много байт в большинстве случаев. Правда, для языков, использующих не только латиницу, «не слишком много» — это как минимум два байта на символ. Можно ли лучше, не возвращаясь к доисторическим кодировкам, ограничивающим нас всего 256 доступными символами?

Ниже предлагаю ознакомиться с моей попыткой дать ответ на этот вопрос и реализацию относительно простого алгоритма, позволяющего хранить строчки на большинстве языков мира, не добавляя той избыточности, которая есть в UTF-8.Читать полностью »

Пять лет назад я попробовал работать с Tarantool, но тогда он мне не зашел. Но недавно я проводил вебинар, где рассказывал про Hadoop, про то, как работает MapReduce. Там мне задали вопрос — «А почему под эту задачу не использовать Tarantool?».

Ради любопытства я решил вернуться к нему, протестировать последнюю версию — и на этот раз проект мне очень понравился. Сейчас я покажу, как написать в Tarantool простое приложение, нагружу его и проверю производительность, и вы увидите, как там все легко и круто.

В Tarantool можно совместить супербыструю базу данных и приложение для работы с ними. Вот как просто это делается - 1
Читать полностью »

Пионеры отрасли энергонезависимой памяти - 1
Чип флэш-памяти NAND Intel/Micron

Устройства энергонезависимой памяти (Non-Volatile Memory, NVM) — это электронные элементы хранения данных, предназначенные для чтения и записи, продолжающие хранить информацию после прекращения подачи питания на устройство. В их число входят устройства на основе магнитных дисков и отдельные типы полупроводниковых чипов. Полупроводниковые энергонезависимые устройства играют важную роль во всех аспектах цифровой вселенной — от ячеек хранения информации огромных банков данных в облаке до портативных персональных устройств, и составляют один из крупнейших сегментов полупроводниковой промышленности, оцениваемой в 400 миллиардов долларов.
Читать полностью »

Seagate выпустила HDD объемом 18 ТБ - 1

Компания Seagate выпустила на рынок новую модель семейства жестких дисков Exos X18. Вместимость HDD корпоративного класса — 18 Тбайт. Приобрести диск можно за $561,75.

Кроме того, представлена платформа Exos Application Platform (AP) 2U12 и новый контроллер для систем AP 4U100. В одной платформе объединены емкое хранилище и вычислительные ресурсы. Также AP предлагает встроенное программное обеспечение корпоративного уровня, защиту данных и автоматическое многоуровневое хранение.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js