Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них.
Рубрика «очереди»
Очереди на PostgreSQL: антипаттерн или реальность жизни
2025-12-09 в 7:00, admin, рубрики: postgresql, sql, высоконагруженные системы, очередиТипичная ситуация: один сервис добавил сообщение в очередь, другой сервис его прочитал, но из-за ошибки или рестарта сервиса не смог передать дальше. Сообщение потеряно.
В логах при этом не всегда есть что-то полезное, и часто всё заканчивается тем, что разработчики идут ругаться: «Почему в нашей очереди нет вашего сообщения?»
Соседняя очередь всегда движется быстрее
2021-09-23 в 6:08, admin, рубрики: high performance, highload, queues, RabbitMQ, tarantool, tarantool-queue, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, Клиентская оптимизация, очереди, очередь сообщений, СУБДВы не используете очередь? Вы просто не умеете её готовить. Но прежде чем этому научиться, нужно разобраться, что это вообще такое и где это применяется. Потому что большинству достаточно 10 000 запросов в секунду, а это дает любой брокер. Но если вам нужно больше, придется погрузиться в очереди достаточно глубоко.
Расскажу, что такое очереди, зачем они нужны и как работают. На примере нескольких сценариев объясню, как устроены очереди и какие есть решения. Какие у очередей самые распространенные проблемы и как их избежать. В чем отличия брокеров, их плюсы и минусы, и как все это использовать в своих целях.
Мобильная разработка — это просто и скучно? Доклад Яндекса
2020-01-24 в 11:26, admin, рубрики: hashmap, iOS, uikit, uikit dynamics, Блог компании Яндекс, мессенджеры, оценка сложности, очереди, разработка мобильных приложений, разработка под iOS, Системы обмена сообщениями, структуры данных
Существует миф, что создавать приложения для iOS или Android проще, чем быть, скажем, бэкенд-разработчиком. Разумеется, это не так: в работе с любой платформой есть свои сложности, всюду возникают неочевидные проблемы, требующие навыков в предметной области и за её пределами. Роман Абузяров из команды Яндекс.Чатов подготовил доклад о своих нескольких задачах, который показывает, насколько широкими знаниями должен обладать специалист по iOS. Доклад предназначен для начинающих и junior-разработчиков.
Читать полностью »
Перевод PHP бэкенда на шину Redis streams и выбор независимой от фреймворков библиотеки
2020-01-11 в 22:28, admin, рубрики: diy или сделай сам, php, queues, redis, redis stream, Streams, symfony, symfony-messenger, очереди, распределенные системы, шина
Предисловие
Мой сайт, которым я занимаюсь в качестве хобби, предназначен для хранения интересных домашних страниц и персональных сайтов. Эта тема стала интересовать меня в самом начале моего пути в программировании, в тот момент меня восхищало нахождение больших профессионалов, которые пишут о себе, своих увлечениях и проектах. Привычка открывать их для себя осталась и сейчас: почти на каждом коммерческом и не очень сайте я продолжаю заглядывать в футер в поисках ссылок на авторов.
Читать полностью »
Очереди сообщений в PostgreSQL с использованием PgQ
2020-01-06 в 16:21, admin, рубрики: message queue, pgq, postgres, postgresql, sql, очереди, очереди задач, очереди сообщений, очередь задач, очередь сообщений, Программирование
Очереди сообщений используются для выполнения: отложенных операций, взаимодействия сервисов между собой, «batch processing» и т.д. Для организации подобных очередей существуют специализированные решения, такие как: RabbitMQ, ActiveMQ, ZeroMQ и тд, но часто бывает, что в них нет большой необходимости, а их установка и поддержка причинит больше боли и страданий, чем принесет пользы. Допустим, у вас есть сервис, при регистрации в котором пользователю отправляется email для подтверждения, и, если вы используете Postgres, то вам повезло — в Postgres, почти из коробки, есть расширение PgQ, которое сделает всю грязную работу за вас.
В этой статье я расскажу об организации очередей сообщений (задач) в PostgreSQL с использованием расширения PgQ. Эта статья будет полезна, если вы еще не использовали PgQ или используете самописные очереди поверх Postgres.
Зачем вообще нужен PgQ, если можно просто создать табличку и записывать туда задачи? Казалось бы, можно, но вам придется учесть паралельный доступ к задачам, возможные ошибки (что будет, если процесс обрабатывающий задачу, упадет?), а также производительность (PgQ очень быстрый, а самописные решения, как правило, нет, особенно если транзакция в базе не закрывается во время всего выполнения задачи), но самое главное, почему на мой взгляд надо использовать PgQ, это то, что PgQ уже написан и работает, а самописное решение еще надо написать.
Но у PgQ есть один огромный минус — отсутствие документации, этот недостаток я и пытаюсь компенсировать этой статьей.
Читать полностью »
Меняем фреймворк и профиль работы на ходу — и не только. Что будет на втором митапе PHP NN
2019-12-12 в 7:25, admin, рубрики: php, php nn, symfony, Блог компании Skyeng, демонизация, как стать тимлидом, конференции, менторство, митапы в нижнем новгороде, обработка событий, очереди, Разработка веб-сайтов, смена фреймворка, хранение картинокПод катом можно увидеть, как прошла первая встреча сообщества, а пока — важный анонс для тех, кто живет в Нижнем или будет там 21 декабря (это суббота).
Приходи на новые посиделки: Дмитрий Косов из московского Финама расскажет, как ребята переезжали с Zend на Symfony без остановки разработки, Олег Скляров (Skyeng) — как и зачем из фуллстека согласился стать тимлидом мобильных разработчиков, а Андрей Щеглов из Timebook — как пилил свой PHP-демонизатор. А еще обсудим, какие форматы будут полезны и интересны сообществу в следующем году.
Читать полностью »
Как аэропорт Фукуоки узнал, какие меры будут эффективны для уменьшения очередей
2019-03-15 в 8:19, admin, рубрики: Fujitsu, аэропорт, Блог компании Fujitsu, датчики, Интернет вещей, искусственный интеллект, исследование, логистика, машинное обучение, моделирование, очереди, Разработка для интернета вещей, системыПеред вами не вымышленная картинка из рекламного журнала «Аэропорты будущего». Это реально действующий аэропорт японского города Фукуока, который предлагает пассажирам немало свободного пространства для перемещения. Благодаря специальной технологии моделирования были выявлены причины образования очередей и приняты меры по оптимизации. Кому интересно, как работает эта технология, прошу под кат.
Фото предоставлено городом Фукуока Читать полностью »
Вся правда об ОСРВ. Статья #23. Очереди: введение и базовые службы
2018-12-10 в 8:10, admin, рубрики: api, rtos, взаимодействие задач, микроконтроллеры, осрв, очереди, программирование микроконтроллеров, служебные вызовы
Очереди были упомянуты в одной из предыдущих статей (#5). Они предоставляют более гибкий способ передачи простых сообщений между задачами по сравнению с почтовыми ящиками.
Читать полностью »
Самый полный русскоязычный перевод Гарвардского курса по программированию CS50 2015, бесплатно на YouTube
2018-10-18 в 14:30, admin, рубрики: ajax, ASCII, C#, c++, clang, computer, computer science, cs50, cs50 на русском, CS50 на русском языке, css, david, David J. Malan, dom, gdb, harvard, html, http, IP, java, javascript, malan, mvc, onlineuniver, php, return, rsa, science, Scratch, sql, tcp, Алгоритмы, аргументы командной строки, асимптотическая нотация, библиотеки, Бинарная нотация, бинарный поиск, Булевые выражения, быстрая сортировка, видеокурс, Гарвард, глобальные переменные, деревья, Дополнительные видео, Компиляторы, компьютерные науки, линейный поиск, массивы, методы, область видимости, обучение, основы программирования, очереди, переменные, приведение типа, приоритетность, Программирование, программист, рекурсивные деревья, рекурсия, связные списки, символьные строки, сортировка вставками, сортировка выбором, сортировка пузырьком, сортировка слиянием, стили, структуры, технологии, указатели, условия, хеш-таблицы, циклы, шифр, языки программированияВ этой статье я хочу немного рассказать о самом лучшем в мире курсе по программированию.
С 2013 года наша небольшая команда занимается переводом и адаптацией англоязычных видеокурсов. За это время мы перевели и адаптировали свыше 150 часов материала. Перед тем как приступать к работе, мы анализировали материалы нескольких обучающих онлайн-школ, и выбирали, на наш педагогический взгляд, самую лучшую, которая максимально доступно, структурированно и кратко подаёт обучающий материал. В результате чего нам приходилось просматривать по несколько курсов касающихся одной и той же тематики, а после выбирать тот, который наиболее качественный и доступный для понимания новичкам.
Как оказалось, действительно качественных курсов и преподавателей не так уж и много. В русскоязычном обучающем пространстве достаточно часто встречаются пересъёмки или адаптация зарубежных курсов, которые пользуются популярностью у американских или европейских специалистов.
