Привет! Не так давно столкнулся с задачей разработки альтернативного решения для ограничения сетевого трафика. Такая задача возникла в рамках разработки системы лицензирования для продукта класса NGFW (Next Generation Firewall). Используя такую систему ограничений можно было бы предусмотреть несколько видов лицензий на коммерческое использование продукта, где в зависимости от уровня приобретенной лицензии можно было бы предоставлять полную, либо урезанную функциональность продукта в части его производительности. В этой статье хочу поделиться опытом решения данной задачи.
Рубрика «highload»
Управление ядрами ЦПУ при обработке сетевого трафика
2024-11-12 в 13:16, admin, рубрики: ethtool, highload, linux, mellanox, nc, rate-limit, rss, ограничение трафика, сетевые карты, Сетевые технологииОсобенности практического применения архитектуры Spine&Leaf в реалях современного высоконагруженного CDN
2024-10-15 в 6:15, admin, рубрики: CDN, datacenter, datacenter network, highload, leaf, Spine1. Проблематика
Целью данной статьи является попытка практической рационализации архитектурной модели S&L(Spine&Leaf), которая сегодня широко применяется при построении сетевой инфраструктуры в датацентрах. Основным фокусом автора являются проблемы практического применения данного типа архитектуры на высоконагруженных сервисах, в частности, на инфраструктуре оператора сети доставки контента.
Valkey: миллион RPS c напёрстком дёгтя
2024-10-09 в 7:59, admin, рубрики: highload, performance, redis, ValkeyМы (R&D-банда devhands.io) закончили тестирование официального релиза Valkey и его сравнение с прародителем, Redis, форком которого тот является. Для тех, кто не очень в курсе: Valkey появился на свет после смены лицензии Redis, под покровительством облачных провайдеров, в первую очередь AWS.
Основное внимание мы уделили пропускной способности и времени отклика в режиме чтения - в зависимости от параметра io-threads, отвечающего за "частичный параллелизм" в этих продуктах. Забегая вперед, скажем, что в режиме записи результаты похожие и все пропорции сохраняются - всё-таки это in-memory store.
Как мы в Delivery Club outbox оптимизировали
2024-10-07 в 11:03, admin, рубрики: highload, outbox, performance, queue, vacuumПривет! Решил написать небольшую техническую статью о том, как мы ускорили запрос в таблицу, до которой не доходил autovacuum из-за большой нагрузки на БД примерно в 200 раз, а разгребание outbox очереди — ещё примерно в 3 раза.
Дисклеймер
Для понимания статьи понадобится кое-какое знание PostgreSql и микро-сервисов, углубляться в это я не могу: из-за этого статья разрастётся до неприличных масштабов, но приложу краткий список ссылок на материалы, где всё объяснено подробно:
REDIS: такой простой и такой сложный
2024-09-09 в 6:19, admin, рубрики: cache, caching, database design, high availability, high performance, highload, redis, архитектура, базы данныхМеня зовут Андрей Комягин, я СТО компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей и в своей работе широко используем open-source решения, в том числе СУБД Redis. Недавно я подробно рассказывал об этой системе на конференции Saint Highload++ 2024, а теперь с удовольствием поделюсь основной информацией с читателями Хабра. Итак, поехали.
Что такое Redis
Разработчики, которые используют Go, сталкиваются с задачей выжать максимальную производительность из каждой строки кода. Но что делать, если оптимизировать уже нечего, а увеличивать скорость всё равно надо?
Меня зовут Никита Галушко. Я старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте. В статье поделюсь, какие хитрости помогут использовать Go на полную мощность.
Ускоряем приложение: никаких фреймворков — только математика
2023-05-02 в 11:46, admin, рубрики: highload, Алгоритмы, Блог компании Конференции Олега Бунина (Онтико), Блог компании Почтатех, высокая производительность, высоконагруженные приложения, Микросервисная архитектура, микросервисы, оптимизация запросов
Представьте, что вам нужно ускорить работу огромной легаси-системы с 50 микросервисами, нагрузка на которую выросла в 2000 раз. При этом она обрабатывает затратные по времени операции, которые зависят друг от друга в плане данных.
Жарим TOAST в PostgreSQL
2023-01-12 в 13:33, admin, рубрики: backend, blob, highload, json, large data, open source, postgresql, sql, toast, Блог компании Postgres Professional, хранение данных, хранилища данныхУ нас не подгорит!
В этой статье мы разберем, как PostgreSQL хранит большие (длинные) значения колонок, рассмотрим некоторые связанные с этим особенности и проблемы СУБД и предложим способы решения этих проблем. Посчитаем байтики и залезем в потроха СУБД. Будет интересно!
1. Что такое TOAST и зачем он нужен?
Как мы автоматизировали работу с Kafka: через тернии к Cruise Control
2022-10-26 в 12:34, admin, рубрики: cruisecontrol, devops, highload, open source, ozon tech, Анализ и проектирование систем, Блог компании Ozon Tech, высокая производительность, мультицодовость, отказоустойчивостьКомпьютеры быстры, но вы этого не знаете
2022-07-08 в 10:21, admin, рубрики: c++, highload, Блог компании Sportmaster Lab, высокая производительность, Программирование
Люди чертовски плохо разбираются в величинах, особенно в тех, которые не могут воспринимать биологически. Например, мы интуитивно понимаем, насколько тяжелее предмет массой 10 кг предмета массой 1 кг.
Ощущение величин можно улучшить, преобразовав их каким-нибудь образом в сигналы, знакомые мозгу.
Смотрели ли вы эти видео?
Второе нравится мне больше всего. Ежедневно я съедаю по чашке риса, так что измеряю состояние Джеффа не только наглядно, но и своим желудком.
Совсем недавно я внёс несколько оптимизаций в код, что помогло мне интуитивно понять, насколько быстро может работать компьютер. И я решил, что этим нужно поделиться.
Читать полностью »