Рубрика «nosql» - 20

в 15:02, , рубрики: big data, cooking cats, mongodb, news feed, nosql, социальные сети

Проектирование новостной ленты в социальных сетях

Так сложилось, что за последние пару лет я успел поучаствовать в разработке нескольких социальных сетей. Главная задача, которую приходилось решать в каждом из этих проектов, заключалась в формировании новостной ленты пользователя. При чём важным условием была возможность масштабирования этой ленты в условиях роста числа пользователей (точнее, числа связей между ними) и, как следствие, — количества контента, который они деливерят друг другу.

Мой рассказ будет о том, как я, превозмогая трудности, решал задачу формирования новостной ленты. А также я расскажу о подходах, которые наработали ребята из проекта Socialite, и которыми они поделились на MongoDB World.
Читать полностью »

в 7:57, , рубрики: clojure, clojurescript, nosql, open data, spurious correlations, ложные корреляции, открытые данные, функциональное программирование

6-7 ноября 2014 года в Перми будет проведен конкурс «Открытый регион. Хакатон» по разработке приложений и сервисов на основе открытых данных Пермского края.

На сайте opendata.permkrai.ru опубликовано примерно 1400 статистических показателей по различным областям жизнедеятельности края. Что можно сделать с этими данными? Первая мысль, которая пришла мне в голову, — создать аналог сайта Spurious Correlations (ложные корреляции).

TL; DR:
Исходники: github.com/yakov-bakhmatov/odpr
Приложение: odpr.bakhmatov.ru/
Читать полностью »

в 8:06, , рубрики: Lua, nosql, python, rate-limit, redis, translation

За последнее время я написал несколько разных способов ограничения числа запросов с помощью Redis. Как в коммерческих, так и в личных проектах. В двух частях этой публикации я хочу охватить два разных, но связанных способа ограничивать число запросов — с использование стандартных команд Redis и с помощью Lua скриптов. Каждый последующий из описанных методов будет добавлять новые варианты использования и решать огрехи предыдущих.

Эта публикация предполагает, что у вас есть некоторый опыт работы с Python и Redis и, в меньшей степени — с Lua, но и тем, у кого такого опыта нет, тоже будет интересно.

Зачем ограничивать число запросов?

Например, Twitter ограничивает количество запросов к своему API, а Reddit и StackOverflow используют ограничения на количество сообщений и комментариев.
Читать полностью »

в 10:14, , рубрики: azure, cache, Hadoop, hdinsight, Microsoft Azure, nosql, redis, search, sql database, sql server, storage, Блог компании Microsoft, Облачные вычисления

Мне очень приятно сегодня рассказать вам о возможностях хранения данных в облаке Azure. Мы знаем, что данные — это самое главное, что есть у нас, данные — это то, для чего создается инфраструктура и вообще существует ИТ. Поэтому, вопрос хранения данных — наиболее важный.

Microsoft Azure. Как мы храним свои и ваши данные

Для начала давайте посмотрим, как Microsoft хранит данные для собственных сервисов и данные своих пользователей и какие опции компания использует сама и предлагает клиентам.

image

Нам очень важно обеспечить все потребности наших клиентов и поэтому мы постоянно расширяем свои ЦОДы, увеличиваем их мощности и создаем новые. Сегодня мы предлагаем 16 самых современных и очень больших ЦОД по всему миру, обеспечивая работу сотен своих сервисов и сервисов тысяч наших клиентов, которыми пользуются сотни миллионов людей по всему миру. Благодаря этому сервисы Azure доступны на 89 рынках с круглосуточной и ежедневной поддержкой.
Читать полностью »

в 9:56, , рубрики: dhtmlx, Grid, intersystems cache, javascript, nosql, Блог компании InterSystems, Веб-разработка, разработка

С выходом новой версии Intersystems Caché появилась возможность использовать технологию REST и строить приложения, с помощью различных Javascript UI библиотек, в то время как сервер Caché выступает в роли сервера данных. В данной статье будет рассмотрен очень простой пример доступа к хранимым классам Caché с помощью технологии REST.
Читать полностью »

в 7:41, , рубрики: handlersocketlibrary, munin, mysql, nosql, php, symfony, высокая производительность

Не стоит бояться использовать HandlerSocket
(пример работы протокола HandlerSocket на картинке)

Вступление

В предыдущем проекте возникла потребность в разгрузке базы данных, тогда жизнь и столкнула меня с HandlerSocket`ом.

HandlerSocket — это протокол, реализованный в одноимённом плагине для РСУБД MySQL, позволяющий использовать NoSQL методику для доступа к данным, хранящимся в InnoDB таблицах. Основная причина, по которой используют NoSQL решения — это очень быстрый поиск по первичному ключу.

Еще про HandlerSocket

HandlerSocket работает как демон внутри процесса mysql, принимая TCP соединения и выполняя запросы клиентов. Он не поддерживает SQL запросы, вместо этого он предоставляет простой язык запросов для CRUD операций с таблицами. Именно поэтому он гораздо быстрее mysqld/libmysql в некоторых случаях:

HandlerSocket оперирует данными без парсинга SQL запроса, что приводит к уменьшению загрузки процессора.
Он поддерживает пакетное выполнение запросов. Можно отправить несколько запросов сразу и получить результат за один раз, что опять же снижает нагрузку на процессор и на сеть.
Протокол HandlerSocket более компактный, чем у mysql/libmysql, что приводит к сокращению нагрузки на сеть.

Подробнее можно почитать здесь:

Под катом вас ожидает:

  • Новая библиотека для работы с HS, написанная на PHP;
  • Сравнение производительности существующих решений + нового;
  • Symfony2 bundle для работы с HS;
  • Плагины к Munin для мониторинга активности HS;
  • Разные мысли вслух и рассказы о «шишках».

Читать полностью »

в 4:16, , рубрики: azure, Microsoft Azure, nosql

Недавно Microsoft анонсировало Azure DocumentDB preview.

Как следует из названия – это документно-ориентированная база данных. Даже на хабре в 2 строчках об этом написали в этой и этой. Я же хочу более детально рассказать, что скрывается под этим названием.
Читать полностью »

в 23:09, , рубрики: nosql, postgresql, Администрирование баз данных, базы данных, Веб-разработка, Прогрессивное улучшение, шах и мат %субд%

PostgreSQL 9.4 Что нового?

Доброго времени суток! Не за горами релиз PostgreSQL 9.4 и нелишним будет пройтись по некоторым новшествам, привнесённым в этой версии. В статье будут рассмотрены (по большей части, касаемые клиентской модели):

Читать полностью »

в 7:26, , рубрики: acid, json, microsoft, mongodb, nosql, СУБД

Пусть и с некоторым опозданием, по сравнению с остальными компаниями, но Microsoft сделала необходимое и выпустила собственную нереляционную базу данных: она называется DocumentDB. И пусть это проприетарная система, которая привязана к сервису Azure, это не делает новость менее значимой.

DocumentDB автоматически индексирует содержимое всех документов, допускает полнотекстовый поиск в реальном времени, полностью поддерживает требования ACID к транзакциям (атомарность, согласованность, изолированность, надёжность). Система очень похожа на MongoDB как эффективное хранилище JSON-документов с богатыми API для запросов, в то же время выгодно отличается от MongoDB по масштабируемости и надёжности работы, глубокой интеграции JavaScript, поддержке RESTful API, асинхронных запросов и др.

DocumentDB: база данных NoSQL от Microsoft

Как и MongoDB, DocumentDB представляет собой иерархию баз данных, коллекций и документов.
Читать полностью »

в 13:19, , рубрики: c++, Facebook, nosql, open source

RocksDB RocksDB – постоянное хранилище ключ-значение для быстрых накопителей. Основное ее предназначение для хранение данных на flesh дисках.

Узким местом в производительности часто является обращение к БД.
Эта проблема может решаться по разному.
Использование кэша решает проблему производительности, но существенно усложняет архитектуру программы. Графовые базы данных выходят из ситуации за счет оптимальных для данной задачи алгоритмов. Другим типом решений являются хранилища достигающие высокой производительности за счет использования быстрого носителя.
В последнее время появилось много NoSQL хранилищ полностью хранящих данные в памяти. Но память все еще стоит дорого и ее объем ограничен. Увеличение памяти за счет шардинга опять таки упирается в стоимость.
Логичным выходом из ситуации было бы использование SSD дисков. Они имеют относительно не высокую стоимость и при этом вполне небольшое время отклика.

Читать полностью »

1...10...192021...30...34
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js