День добрый. Сегодня я расскажу вам об одном виде паранойи, связанном с последними тенденциями в сфере защиты государством населения от информации, и методе его лечения.
Рубрика «Разработка систем передачи данных» - 6
Что делать, если у кабелей есть уши, или стеганографическое прокси
2017-01-09 в 8:46, admin, рубрики: proxy, proxy-server, блокировки, блокировки сайтов, информационная безопасность, прокси, прокси-сервер, Разработка систем передачи данных, роскомнадзор не пройдет, Системы обмена сообщениями, СтеганографияКодирование с изъятием информации. Часть 1-я, философская
2016-12-30 в 21:11, admin, рубрики: алгоритмы сжатия данных, криптография, математика, передача данных, Разработка систем передачи данных, сжатие информации, метки: сжатие информацииНаписано в сотрудничестве с Р. Бухрадзе и К. Перминовым
1. Введение
Offline oбмен сообщениями сейчас является одним из наиболее популярных способов общения (1, 2, 3) — судя по аудитории способов общения и динамике её роста.
При этом, ключевым требованием при обмене сообщениями всегда будет являться полное соответствие отправленного сообщения – полученному, то есть передача данных не должна необратимо искажать сами данные. Естественное желание – сэкономить привело к созданию алгоритмов сжатия данных, которые, убирают естественную избыточность данных минимизируя объём хранимых и передаваемых файлов.
Максимально достигаемый объём сжатия, гарантирующий однозначное восстановление данных, определяется работами К. Шеннона по теории информации, и в общем-то является непреодолимым так как изъятие не только избыточной, но и смысловой информации не позволит однозначно восстановить исходное сообщение. Стоит отметить, что отказ от точного восстановления в некоторых случаях и не является критически важным и используется для эффективного сжатия графических, видео и музыкальных данных, где потеря несущественных элементов оправдана, однако о общем случае целостность данных, куда важнее их размера.
Соответственно интересным является вопрос о том, можно-ли не нарушая положения теории информации передать сообщение объёмом меньше, чем минимальный объём, который может быть достигнут при самом лучшем сжатии данных.
Спецификация LoRaWAN. Активация оконечных устройств
2016-12-17 в 15:30, admin, рубрики: EFO, IIoT, IoT, lora, LoRaWAN, lorawan alliance, lorawan base station, lorawan specification, LPWAN, Блог компании ЭФО, Разработка для интернета вещей, Разработка систем передачи данных, Разработка систем связи, ЭФОПродолжение. Спецификация LoRaWAN 1.0.2.
Начало: Спецификация LoRaWAN. Введение. Основные понятия и классы оконечных устройств
Читать полностью »
Как Discord обрабатывает более 1 000 000 push-запросов в минуту с помощью Elixir GenStage
2016-12-15 в 19:21, admin, рубрики: Discord, Elixir, erlang, Erlang/OTP, firebase, GenStage, push-запросы, push-уведомления, xmpp, бэкенд, высокая производительность, обратное давление, Разработка систем передачи данных, сброс нагрузки, Системы обмена сообщениями, Тестирование веб-сервисов, чаты
Discord
Discord испытал небывалый рост. Чтобы справиться с ним, нашему отделу разработки досталась приятная проблема — искать способ масштабирования сервисов бэкенда.
В этом деле мы добились большого успеха с помощью одной технологии, которая называется Elixir GenStage.
Идеальный шторм: Overwatch и Pokémon GO
Этим летом наша система мобильных push-уведомлений стала скрипеть от нагрузки. Чат /r/Overwatch перевалил за 25 000 одновременных пользователей, а чат-группы Pokémon GO возникали повсеместно, так что внезапные всплески потока уведомлений стали серьёзной проблемой.
Читать полностью »
Спецификация LoRaWAN. Введение. Основные понятия и классы оконечных устройств
2016-12-08 в 20:44, admin, рубрики: EFO, IIoT, IoT, lora, LoRaWAN, LPWAN, sensor network, Блог компании ЭФО, Разработка для интернета вещей, Разработка систем передачи данных, Разработка систем связи, спецификация LoraWAN, ЭФОДанная статья представляет собой введение в беспроводные сети LoRaWAN, и основана на спецификации LoRaWAN 1.0.2.
Как МТС с помощью ретранслятора на солнечных батареях запустил 3G и LTE в горах
2016-11-23 в 14:00, admin, рубрики: 3g, 4G, LTE, wi-fi, базовая станция, Блог компании МТС, емкость, мобильная сеть, МТС, нагрузка, отладка, передатчик, передача данных, Разработка систем передачи данных, Разработка систем связи, связь, Тестирование IT-систем, трафикКак провести связь третьего и четвертого поколения туда, где в ходу лишь 2G из-за того, что горы мешают прямой видимости базовых станций, а для установки дополнительных БС нет необходимых энергомощностей? Наш эксперт Константин Кильбер расскажет о соответствующем опыте компании МТС – на примере установки активного ретранслятора для радиорелейной линии в маленьком поселке в Республике Адыгея в 2015 году. Итак, передаем слово нашему специалисту.
Задача перед нами стояла непростая: обеспечить максимальную пропускную скорость от базовой станции в поселке Гузерипль, Республика Адыгея. Это такое место у подножия Главного Кавказского хребта, на высоте 670 метров над уровнем моря, с населением чуть более 100 человек.
Главной проблемой стали горы – они мешали прямой видимости радиорелейных станций (РРС), которые являются транспортной составляющей для базовых станций. Ранее был построен пассивный ретранслятор (без активного оборудования): две радиорелейные антенны, соединенные между собой волноводом. Сигнал от радиорелейной станции (РРС 1) приходит на одну антенну, через волновод сигнал попадает на вторую антенну, далее сигнал идет на вторую часть радиорелейной станции (РРС 2). Пропускная способность радиорелейной линии с пассивным ретранслятором составляла не более 30 Мбит/с, что для современной связи очень мало. При таком раскладе может работать только базовая станция 2G, а вот с 3G и LTE уже возникают сложности.
Протокол QUIC: переход Web от TCP к UDP
2016-11-15 в 9:35, admin, рубрики: IT-стандарты, QUIC, Анализ и проектирование систем, Блог компании Инфопульс Украина, Разработка систем передачи данных, Системы обмена сообщениямиПротокол QUIC (название расшифровывается как Quick UDP Internet Connections) — совершенно новый способ передачи информации в интернете, построенный поверх протокола UDP, вместо общепринятого ранее использования TCP. Некоторые люди называют его (в шутку) TCP/2. Переход к UDP — наиболее интересная и мощная особенность протокола, из которой следуют некоторые другие особенности.
Сегодняшний Web построен на протоколе TCP, который был выбран за его надёжность и гарантированность доставки пакетов. Для открытия TCP-соединения используется так называемое «трёхкратное рукопожатие». Это означает дополнительные циклы отправки-приёма сообщений для каждого нового соединения, что увеличивает задержки.
Если вы захотите установить защищённое TLS-соединение, придётся переслать ещё больше пакетов.
Некоторые инновации, вроде TCP Fast Open, улучшат некоторые аспекты ситуации, но эта технология пока не очень широко распространена.
Протокол UDP, с другой стороны, построен на идее «отправить пакет и забыть о нём». Сообщение, отправленное по UDP, будет доставлено получателю (не гарантированно, с некоторой вероятностью успеха). Яркое преимущество здесь в меньшем времени установки соединения, такой же яркий недостаток — негарантированность доставки или порядка прихода пакетов получателю. Это означает, что для обеспечения надёжности придётся построить некоторый механизм поверх UDP, который гарантирует доставку пакетов.
И здесь на сцену выходит QUIC от Google.
Читать полностью »
Как подружить PCIe с 10-метровыми медными кабелями и 100-метровой оптикой
2016-11-07 в 5:59, admin, рубрики: pcie, Анализ и проектирование систем, Блог компании YADRO, медный кабель, оптические кабели, проектирование, Разработка систем передачи данныхДобрый день!
Меня зовут Антон. В компании YADRO я занимаюсь хардверной разработкой.
В конце обзорной статьи про историю и развитие PCI Express Алексей упомянул о нашем собственном адаптере для внешнего подключения PCI Express (далее для краткости — PCIe) устройств посредством кабеля. Сегодня я расскажу, как мы его тестировали и отлаживали для правильной работы с разными типами и длинами кабельных соединений.
Подключение АЦП к ПЛИС. Особенности, сложности, реализация
2016-10-26 в 19:49, admin, рубрики: adc, Altera, analog devices, fpga, open source, vhdl, xilinx, ацп, ПЛИС, программирование микроконтроллеров, Разработка систем передачи данных, Разработка систем связи
Всем привет! В данной статье речь пойдет о подключении микросхем АЦП к кристаллам ПЛИС. Будут рассмотрены основные особенности соединения узлов схем, представлены современные АЦП и их характеристики. В статье будут даны практические советы по быстрому и правильному подключению АЦП к ПЛИС с минимальными временными затратами. Кроме того, речь пойдет о принципах подключения тех или иных АЦП, будет рассмотрен входной буфер ПЛИС и его базовые компоненты – триггеры, узлы задержки IODELAY, сериализаторы ISERDES и т.д. Более детально с примерами программного кода на языке VHDL будет проведен обзор основных элементов, требуемых для качественного приёма данных от АЦП. Это входной буфер, узел упаковки данных для одноканальных и многоканальных систем, модуль синхронизации и передачи данных на базе FIFO, узел программирования АЦП по интерфейсу SPI, узел синтеза частоты данных – MMCM/PLL. Также в статье будет представлен обзор законченных устройств (в стандарте FMC) от ведущих зарубежных и отечественных производителей аналоговых и цифровых схем. В конце статьи вы найдете ссылку на исходные коды универсального узла приёмника данных от многоканальных схем АЦП. Код простой и гибкий в конфигурировании, он представлен на языке VHDL и заточен на микросхемы ПЛИС Xilinx 7 серии и выше, но может быть применен и в других кристаллах ПЛИС.
Читать полностью »
Как я создавал бесшовный Wi-Fi
2016-10-18 в 9:07, admin, рубрики: 802.11k, 802.11r, edimax, wi-fi, бесшовный роуминг, разработка мобильных приложений, Разработка систем передачи данных, Тестирование IT-систем, точка доступа, метки: бесшовный роуминг
У нас в конторе не так давно назрела задача сделать бесшовное Wi-Fi-покрытие, долго терпели и перетаптывались, но в итоге его сделали. Поделюсь опытом, как это было. Началось с того, что два года назад мы полностью перешли на IP-АТС и почти извели аналоговые телефоны включая, в итоге и DECT. Однако, переносные трубки нужны и помимо настольных SIP-телефонов купили несколько Wi-Fi телефонов Tecom. Я и сам, как ответственный за техническую часть в компании постоянно хожу по офису с различными Wi-Fi-ными девайсами, ну и манагеры тоже. У многих на руках упомянутые Wi-Fi SIP-телефоны, + у складских пару Wi-Fi терминалов, есть просто Андроиды и Яблоки с установленными SIP-клиентами от АТС. Раньше все решалось несколькими Wi-Fi роутерами, в принципе, тоже было приемлемо (офис небольшой), но ровно пока ты сидишь на месте – пошел, все, кончился разговор, а Skype-соединение еще быстрее слетает. Это стало изрядно раздражать руководство и менеджеров и пошли наезды что вай-фай не вай-фай. Попытки просто увеличить количество роутеров ясное дело задачу не решило.
Стал читать и таки вычитал, что все уже давно придумано до нас. Есть Wi-Fi точки, которые могут делать переход клиента между собой без разрыва или почти без разрыва соединения. Причем оборудования такого достаточно много на рынке, осталось только выбрать по бюджету и адекватности. Оказалось, на эту тему очень много публикаций в зарубежном интернете, у нас поменьше. Огромным минусом этих систем, что все они хотят контроллера, который стоит как чугунный мост и у некоторых особо жадных еще и лицензии требуются на подключение каждой точки. Я принес смету на наш офис на одном таком уважаемом оборудовании, у генерального глаза округлились и ответ был виден на его лице еще до того, как он дочитал эту калькуляцию.
В общем, по мере изучения задачи проснулся уже спортивный интерес – можно ли сделать гладкое WiFi-покрытие (прям как на форумах) в нормальные деньги и так чтобы без этих контроллеров? Оказалось, можно.
Читать полностью »