Рубрика «фильтрация» - 3

В последнее время всё чаще и чаще слышишь мнение, что сейчас происходит технологическая революция. Бытует мнение, что мир стремительно меняется.
Нейрореволюция в головах и сёлах - 1
На мой взгляд такое и правда происходит. И одна из главных движущих сил — новые алгоритмы обучения, позволяющие обрабатывать большие объёмы информации. Современные разработки в области компьютерного зрения и алгоритмов машинного обучения могут быстро принимать решения с точностью не хуже профессионалов.
Я работаю в области связанной с анализом изображений. Это одна из областей которую новые идеи затронули сильнее всего. Одна из таких идей — свёрточные нейронные сети. Четыре года назад с их помощью впервые начали выигрывать конкурсы по обработке изображений. Победы не остались незамеченными. Нейронными сетями, до тех пор стоящими на вторых ролях, стали заниматься и пользоваться десятки тысяч последователей. В результате, полтора-два года назад начался бум, породивший множество идей, алгоритмов, статей.
В своём рассказе я сделаю обзор тех идей, которые появились за последние пару лет и зацепили мою тематику. Почему происходящее — революция и чего от неё ждать.
Кто лишиться в ближайшие лет десять работы, а у кого будут новые перспективные вакансии.
Читать полностью »

Информационный шум

Место действия – интернет, время действия – наши дни, количество новых данных появляющихся каждую минуту – тысячи гигабайт! Поток данных, который сваливается сегодня на человека – огромен. Различные агрегаторы тиражируют информацию, социальные сети все в репостах, новостные сайты делают рерайты, потом всё это приходит в виде мобильных уведомлений… Конечно, я немного утрирую, но выбрать то, что действительно необходимо и интересно, среди информационного шума, действительно становится всё сложнее.
Читать полностью »

image
Фото: World Bank Photo Collection/Flickr

Очистить или опреснять воду, чтобы она стала пригодной для питья и орошения — занятие не простое и не дешевое. Даже в Калифорнии, которая страдает от засух и остро ощущает нехватку воды, финансовый аспект имеет решающее значение. Развивающиеся же страны имеют еще меньше возможностей по получению чистой воды, но недавно был изобретен ультра-дешевый процесс очистки, который выглядит весьма многообещающе.

Команда исследователей из университета Александрии, Египет, разработала метод опреснения воды под названием первапорация, который позволяет удалить из морской воды лишние соли и сделать ее питьевой. Для этого используются специально изготовленные синтетические мембраны, которые фильтруют крупные частицы соли и примеси. Для окончательной очистки после фильтрации применяется классическое выпаривание и сбор «питьевого» конденсата.
Читать полностью »

Елена Мизулина через своего представителя передала Ведомостям информацию о приостановке работы над законопроектом о предварительной фильтрации рунета. Основные причины: не определено, кто будет финансировать реализацию законопроекта, и как это сделать технически. Если эксперты отрасли прояснят эти вопросы — работа продолжится.
Читать полностью »

В предыдущей теме я лишь сделал краткий обзор требований к разработчику, который хочет выпустить свое приложение на рынке КНР. Из всех полученных вопросов два основных касались именно блок-листов и вывода денег из Китая. Первый пункт я и хочу рассмотреть более подробно.
Локализация приложений для китайского рынка-2. Блок-листы - 1
禁 — значит «запрещено»

Читать полностью »

Всем привет!

В этой статье я хочу рассказать вам про одну полезную фичу, которая есть в сетевой карте Intel 82599.
Речь пойдёт об аппаратном ограничении скорости выходного потока пакетов.

К сожалению, она не доступна в линуксе «из коробки» и требуются некоторые усилия, чтобы её задействовать.
Кому интересно — добро пожаловать под кат.

Intel 82599: ограничиваем выходную скорость

Читать полностью »

Недавно у меня появилась необходимость в простом и функциональном диспетчере событий. После непродолжительных поисков на Packagist-е я нашел пакет Evenement, который почти полностью подходил под мои требования. Но все же отбор он не прошел из-за двух параметров:

  • была нужна возможность порождать события по шаблону;
  • интерфейс библиотеки визуально не понравился.

Конечно же, я принял решение доделать и причесать библиотеку «под себя».

Порождение событий по шаблону

Мне нужна была возможность с помощью шаблона порождать нужные события, имена которых представляют собой иерархические ключи (foo.bar.baz).
Например, для такого списка событий:

  • some.event
  • another.event
  • yet.another.event
  • something.new

Нужно породить все события, заканчивающиеся на «event». Или начинающиеся на «yet» и заканчивающиеся на «event», и не важно, что в середине.
Читать полностью »

Много копий было сломано вокруг 149-ФЗ, 187-ФЗ («антипиратский закон»). По мнению интернет-пользователей «все плохо», по мнению чиновников «все замечательно и эффективно работает». Эффективность работы законов пользователи временами ощущают на собственной шкуре, особенно когда по «антипиратскому» закону блокируется вместо одной страницы весь сайт целиком. Кроме интернет-пользователей заложниками сложившейся ситуации оказались интернет-провайдеры. С одной стороны недовольные пользователи, а с другой Роскомнадзор с угрозами штрафов и отзыва лицензий. Кроме Роскомнадзора с реестром запрещенных сайтов, на интернет-провайдеров еще валятся решения местных судов, по искам прокуратуры. Как удовлетворить требования федеральных законов, судов и при этом не вызывать негатива пользователей? Ответ простой — начать уже фильтровать по URL. Подробности под хабракатом.Читать полностью »

Введение

Математические модели цифровых сигналов — вектора и матрицы, элементами которых являются числа. Числа могут быть двоичными (бинарный сигнал), десятичными («обычный» сигнал) и так далее. Любой звук, любое изображение и видео могут быть преобразованы в цифровой сигнал1: звук — в вектор, изображение — в матрицу, а видео — в последовательный набор матриц. Поэтому цифровой сигнал — это, можно сказать, универсальный объект для представления информации.

Задача сглаживания — это, по сути, задача фильтрации сигнала от высокочастотных составляющих (попросту говоря, от шума). Поэтому для разработанного алгоритма сглаживания в первую очередь необходимо определить как сильно ослабляются разные частотные составляющие. Другими словами, необходимо построить амплитудно-частотную характеристику соответствующего фильтра, иначе велика вероятность «нарваться» на артефакты.

Например, при попытке сгладить звуковой сигнал по двум соседним отсчётам весьма вероятно, что в голову придёт формула вроде

       v[i] = (s[i+1] + s[i] + s[i-1])/3. 

Казалось бы, обычное усреднение и мощность шума должна уменьшиться… Да, уровень шума после фильтрации будет меньше, но где гарантия того, что в вышеприведённом алгоритме справедливо следующее утверждение: чем выше частота шума, тем в большей степени он будет ослаблен? Ведь, по логике, немонотонная характеристика (то — убывающая, то — возрастающая) ничем не оправдана… Как построить зависимость ослабления от частоты для конкретного алгоритма? Как подобрать коэффициенты сглаживающего фильтра (в вышеприведённом алгоритме коэффициенты равны по 1/3)? А может быть взять не три слагаемых, а пять? Как найти свой (то есть для конкретной задачи) оптимум?

На эти и некоторые другие вопросы я постараюсь ответить так, чтобы обычный программист смог обосновать свой алгоритм, — надеюсь, не только алгоритм на тему «Сглаживание», так как идеи будут излагаться весьма общие, заставляющие думать самому…
Читать полностью »

В одном из российских регионов скоро начнётся эксперимент: по умолчанию провайдеры и операторы связи начнут предоставлять пользователям доступ только к тем ресурсам, которые одобрила Лига Безопасного Интернета.

image
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js