Сделать свою собственную SQL-базу данных или запускать SQL-запросы в NoSQL-базе данных — кажется, это очень непростая задача. А если мы говорим о распределенной БД, то сложность возрастает многократно. Но, к счастью, Apache Calcite — фреймворк с открытым кодом — поможет сделать это довольно легко.
Рубрика «распределенные файловые системы»
Как прикрутить SQL к чему угодно при помощи Apache Calcite
2021-09-17 в 7:17, admin, рубрики: Apache, Apache Calcite, Apache Ignite, sql, sql tips and tricks, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, конференции, распределенные системы, распределенные файловые системыSheepdog
2018-05-31 в 10:52, admin, рубрики: nbd, qemu, sheepdog, блочные устройства, виртуализация, кластеризация, кластерные файловые системы, Облачные вычисления, облачные технологии, распределенные файловые системы, файловые системы, хранение данных, хранилища данных
Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японских компаний Nippon Telegraph и Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)
Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog была включена в основную ветку разработки QEMU. Первые испытания над sheepdog я провел в ноябре 2011 года2 и результаты были неплохими для операций ввода-вывода. Однако тогда еще система Sheepdog имела проблемы с восстановлением упавшей ноды. Вероятно эта проблема вскоре была устранена, так как разработка приложения довольно живая, но на тот момент я использовал другое решение.
Читать полностью »
Тестируем распределение контента в GlusterFS
2015-03-02 в 14:37, admin, рубрики: glusterfs, Настройка Linux, распределенные файловые системы, Серверное администрирование, системное администрирование Нашел несколько статей на хабре о базовой установке и настройке GlusterFS, но не нашел ничего о типах распределения контента, которые он поддерживает и с которыми я долго игрался. О чем и пойдет речь в данной статье.
Читать полностью »
GlusterFS, опыт новой версии
2012-11-01 в 13:01, admin, рубрики: glusterfs, linux, распределенные файловые системы, системное администрирование, метки: glusterfs, распределенные файловые системыВсем привет.
В прошлый раз (Взрослеем с GlusterFS) я описывал как настроить для своих нужд GlusterFS 3.0.x. Недавно мы сделали апгрейд GlusterFS до 3.2.х., и так как между этими версиями обнаружилось масса различий в настройке, то решил описать процесс для общего ИТ разума.
Сразу оговорюсь, что переход на новую версию был обусловлен глюками старой.
Дело было после очередных сбоев Амазоновских EBS. Читать полностью »
Терабайты файлов веб-проекта — храним и раздаем
2012-09-20 в 13:30, admin, рубрики: битрикс, Битрикс24, Блог компании 1С-Битрикс, Веб-разработка, кластер, распределенные файловые системы, системное администрирование, метки: amazon, битрикс, Битрикс24, кластер, распределенные файловые системыВсем привет!
В последнее время наметился интересный тренд — быстрое «распухание» веб-проектов до бесконечности. Объем данных многих популярных сайтов растет все быстрее и быстрее, их нужно куда-то девать, при этом эффективно бэкапить (весело будет, если файлы на 500Т потеряются :-) ), и конечно супербыстро раздавать клиентам, чтобы все их могли качать, качать, качать… на высокой скорости.
Для системного администратора задача даже редкого, ежедневного резервного копирования такого объема файлов навевает мысли о суициде, а менеджер веб-проекта просыпается в холодном поту от мысли о предстоящей профилактике датацентра на 6 часов (чтобы файлы перевести из одного датацентра в другой нужно пару раз загрузить багажник автомобиля винчестерами :-) ).
Коллеги с умным видом советуют приобрести одно из решений от NetApp, но, жаль, что бюджет у проекта в 1000 раз меньше, это вообще стартап… что делать будем?
В статье хочу разобрать частые кейсы дешевого и дорогого решения данной задачи — от простого к сложному. В конце статьи расскажу как задача решена в нашем флагманском продукте — всегда полезно сравнивать opensource-решения с коммерческими, мозгам нужна гимнастика.
Читать полностью »
Взрослеем с GlusterFS
2012-03-15 в 12:48, admin, рубрики: glusterfs, nfs, распределенные файловые системы, системное администрирование, метки: glusterfs, nfs, распределенные файловые системыВсем привет.
Компания в которой я работаю довольно динамично развивается, соответвенно и растет количество серверов, пользователей. Вопросы отказоустойчивости становятся все более актуальными, чем ранее.
Исторически сложилось, что некоторые данные лежат в файлах и подключены клиентами к бекендам по NFS. Однако не хотелось, что бы центральный сервер был точкой отказа.
Rsync-варианты отмели сразу. После изучения вопроса и опыта других людей, а также некоторых тестов s3fs, которая к слову была кандидатом №1 на распределенное хранилище, была выбрана GlusterFS.
Читать полностью »