Прим. перев.: автор данного исследования — Marc Richards, Solutions Architect и DevOps-инженер — продемонстрировал потрясающую настойчивость и тщательность в тотальной оптимизации производительности веб-приложения. Получившийся материал — кладезь полезных знаний для расширения своего кругозора в области оптимизации, особенностей сетевого стека в Linux и не только, даже вне зависимости от практической заинтересованности в конечном результате автора. Приготовьтесь к по-настоящему длинному техническому путешествию с обилием терминологии, увлекательных графиков и полезных ссылок.
Рубрика «Сетевые технологии» - 9
Экстремальная настройка производительности HTTP: 1,2M API RPS на инстансе EC2 с 4 виртуальными процессорами (vCPU)
2022-04-22 в 7:01, admin, рубрики: http, linux, бенчмаркинг, Блог компании Флант, высокая производительность, Настройка Linux, оптимизация, производительность, Сетевые технологии, системное администрированиеПочему GPU обманывают о своей нагрузке и как с этим бороться
2022-04-21 в 7:59, admin, рубрики: GPU-кластеры, Блог компании Яндекс, высокая производительность, машинное обучение, Сетевые технологии, суперкомпьютерыВ предыдущем посте я рассказывал о том, как мы строили свои суперкомпьютеры. В этом — поделюсь опытом, который мы накопили, эксплуатируя наши кластеры. Этот опыт будет полезен не только тем, кто обучает огромные ML-модели. На грабли, о которых пойдёт речь, легко наступить, даже если вы специалист с парой GPU.
Почему в распределённом обучении нельзя доверять утилизации GPU? Почему переход в эру распределённого обучения — фундаментальный сдвиг парадигмы мышления, к которому должен быть готов каждый ML-разработчик? Ещё больше «Почему» и ответов на них — под катом.
Читать полностью »
Миллион одновременных соединений
2022-04-15 в 14:13, admin, рубрики: tcp, web socket, клиент-серверная архитектура, порты, Серверная оптимизация, Серверное администрирование, Сетевые технологии
Я слышал ошибочные утверждения о том, что сервер может принять только 65 тысяч соединений или что сервер всегда использует по одному порту на каждое принятое подключение. Вот как они примерно выглядят:
Поэтому я написал эту статью, чтобы развеять данный миф с трёх сторон:
- Мессенджер WhatsApp и веб-фреймворк Phoenix, построенный на основе Elixir, уже продемонстрировали миллионы подключений, прослушивающих один порт.
- Теоретические возможности на основе протокола TCP/IP.
- Простой эксперимент с Java, который может провести на своей машине любой, если его всё ещё не убедили мои слова.
Если вы не хотите изучать подробности, то перейдите в раздел «Итоги» в конце статьи.
Читать полностью »
Получаем список российских IP-адресов
2022-04-07 в 14:34, admin, рубрики: asn, geoip, IP, Сетевые технологииМир меняется. И в текущей ситуации становится полезным список IP-адресов, условно принадлежащих автономным системам той или иной страны.
Зачем?
Ну, во-первых, можно сделать так, чтобы трафик на эти адреса гарантированно не отправлялся в VPN.
Во-вторых, вполне себе вариант, чтобы трафик на все адреса, кроме российских, отправлялся в VPN. В условиях, когда всё больше и больше ресурсов блокируют подключение по принадлежности вашего адреса к России, вполне себе удобной тактикой может быть дефолтное хождение в нероссийский мир через VPN.
Следим за своей статистикой OpenVPN
2022-04-03 в 11:00, admin, рубрики: openvpn, vpn, Сетевые технологии, системное администрированиеЗа последние пару недель я встретил огромное количество статей с заголовками "Поднимаем свой VPN" или "Настройка OpenVPN в N шагов". На этой волне я тоже решил попробовать сделать VPN для себя и близких - лишним такой опыт (да и сам VPN) точно не будет. Для этого я прикупил один из самых дешевых VPS с заграничным IP и минимальными характеристиками. Такое удовольствие мне обошлось в ~250р за месяц.
Саму приватную сеть было решено развернуть посредством OpenVPN. На тот момент я не слышал ничего про другие сервисы, а инструкций по настройке OpenVPN было более чем предостаточно (как узнал позже, развернуть все можно буквально в Читать полностью »
Сам себе РКН или родительский контроль с MikroTik (ч.3)
2022-03-29 в 9:00, admin, рубрики: mikrotik, radius, routeros, ruvds_статьи, Блог компании RUVDS.com, информационная безопасность, Сетевые технологии
В конце 2021 года был опубликован цикл статей, посвящённый родительскому контролю на оборудовании MikroTik. Ранее были подробно рассмотрены организация DNS, работа Firewall Filter и Ip Kid-control, возможности маркировки трафика посредством Firewall Mangle для решения указанной задачи. Представленные предложения базировались на факте неизменности MAC адресов детских беспроводных устройств. Это позволяло осуществить статическую привязку IP адресов. Однако современные мобильные операционные системы рандомизируют MAC, тем самым делая предложенные алгоритмы нежизнеспособными. Вследствие этого подготовлена третья часть из цикла статей, в которой к представленному ранее решению прикручен протокол Radius. Его применение нивелирует озвученную проблему.
Статья предназначена не для профессионалов, а для тех, кто решил внедрить предложенные ранее решения у себя в доме или SOHO, однако плохо знаком с оборудованием MikroTik и поэтому самостоятельно разобраться в подобной задаче не может. На этом tutorial по родительскому контролю будет завершён. Не могу не упомянуть, что в свете последних событий строгим родителям будет полезно знать, каким образом следует привести свой интернет-трафик в соответствии с интенсивно меняющимся законодательством, если по какой-то причине провайдер до этого не добрался.Читать полностью »
О судьбе отечественного оборудования для сетей 5G. Часть V Точка бифуркации
2022-03-27 в 6:00, admin, рубрики: 5G, Беспроводные технологии, бизнес, мобильный интернет, отечественная электроника, отечественные разработчики, политэкономия, Сетевое оборудование, Сетевые технологии, сотовая связь, Стандарты связи, телекоммуникации, телекоммуникационное оборудование, ТелекомыИ снова здравствуйте!
Первая часть. Обзор Рынка
Вторая часть. Внешние и внутренние противоречия
Третья часть. Основные действующие лица
Четвертая часть. Что есть базовая станция 4G/5G
Широкополосный интернет в космосе? Новый проект собирается объединить в единую сеть Землю, Луну и, возможно, Марс
2022-03-25 в 2:24, admin, рубрики: Aquarian Space, lunanet, Блог компании Selectel, будущее здесь, Винт Серф, Сетевые технологии
Несколько дней назад стартап Aquarian Space объявил о начале работы над проектом космического широкополосного интернета. Тогда сообщалось, что компания получила $650 000 и планирует запустить свою сеть в тестовом режиме уже к 2024 году. Настолько оптимистичные планы вызывают некоторые сомнения, но компания уже рассказала и о некоторых технологических нюансах проекта, так что хотелось бы надеяться, что все это действительно реализуемо в сжатые сроки.
Средства на космический интернет выделил венчурный фонд Draper Associates. Согласно озвученным планам, сначала сеть запустят на Луне, для связи ее с Землей, а затем, если все пойдет хорошо, подключат к этой сети и Марс. О Красной планете компания говорит с осторожностью, осознавая все сложности, которые могут встать на пути решения настолько непростой задачи. Но все же считает, что все это технически реализуемо. Под катом — подробности проекта, а также описание похожего проекта от Винта Серфа, основоположника земного интернета.
Читать полностью »
RIPE NCC: Санкции ЕС и наше российское членство
2022-03-18 в 17:15, admin, рубрики: ripe, ripe ncc, Сетевые технологииПосле недавнего принятия санкций ЕС против России мы наблюдаем некоторую путаницу в отношении их соблюдения. В этой статье мы кратко рассмотрим некоторые из этих вопросов и объясним, почему RIPE NCC полностью соответствует последним санкциям ЕС.
Санкции — не новая проблема для RIPE NCC. С 2012 года мы внимательно следим за изменениями в законодательстве. Мы также несколько раз связывались с властями Нидерландов, чтобы уточнить применимость санкций ЕС. В ноябре 2021 года мы опубликовали статью с подробным обзором того, как санкции влияют на RIPE NCCЧитать полностью »
Дайджест интересных событий в сфере дата-центров: экзафлопсные суперкомпьютеры, роботы в ЦОД и пчелы на крыше
2022-02-26 в 14:47, admin, рубрики: Блог компании Selectel, дайджест, Сетевое оборудование, Сетевые технологии
Привет! Технологии в сфере сетевых систем, хранения и обработки данных, управления трафиком и т.п. развиваются очень активно. За этим развитием иногда просто невозможно уследить. Но все же можно, и мы стараемся это делать. В новом дайджесте много всего интересного — от квантовых технологий и роботизации дата-центров до новых мега ЦОД и пасек (это не опечатка, все так и есть). Под катом рассказываем обо всем этом подробно.
Читать полностью »