В последнее время всё чаще и чаще слышишь мнение, что сейчас происходит технологическая революция. Бытует мнение, что мир стремительно меняется.
На мой взгляд такое и правда происходит. И одна из главных движущих сил — новые алгоритмы обучения, позволяющие обрабатывать большие объёмы информации. Современные разработки в области компьютерного зрения и алгоритмов машинного обучения могут быстро принимать решения с точностью не хуже профессионалов.
Я работаю в области связанной с анализом изображений. Это одна из областей которую новые идеи затронули сильнее всего. Одна из таких идей — свёрточные нейронные сети. Четыре года назад с их помощью впервые начали выигрывать конкурсы по обработке изображений. Победы не остались незамеченными. Нейронными сетями, до тех пор стоящими на вторых ролях, стали заниматься и пользоваться десятки тысяч последователей. В результате, полтора-два года назад начался бум, породивший множество идей, алгоритмов, статей.
В своём рассказе я сделаю обзор тех идей, которые появились за последние пару лет и зацепили мою тематику. Почему происходящее — революция и чего от неё ждать.
Кто лишиться в ближайшие лет десять работы, а у кого будут новые перспективные вакансии.
Читать полностью »
Рубрика «фильтрация» - 3
Нейрореволюция в головах и сёлах
2016-02-12 в 0:51, admin, рубрики: cnn, DNN, Алгоритмы, глубокое обучение, машинное обучение, нейронные сети, обработка изображений, свёрточные сети, фильтрация, метки: свёрточные сетиКак избавиться от информационного шума
2015-12-08 в 8:14, admin, рубрики: gtd, Блог компании Riddut, информационный шум, контекстная реклама, контент, Медиа, расширения для браузера, фильтрация
Место действия – интернет, время действия – наши дни, количество новых данных появляющихся каждую минуту – тысячи гигабайт! Поток данных, который сваливается сегодня на человека – огромен. Различные агрегаторы тиражируют информацию, социальные сети все в репостах, новостные сайты делают рерайты, потом всё это приходит в виде мобильных уведомлений… Конечно, я немного утрирую, но выбрать то, что действительно необходимо и интересно, среди информационного шума, действительно становится всё сложнее.
Читать полностью »
Ученые разработали новый метод очистки воды с применением синтетических мембран
2015-09-17 в 10:30, admin, рубрики: вода, Научно-популярное, опреснение, пресная вода, разработки, фильтрация, экология
Фото: World Bank Photo Collection/Flickr
Очистить или опреснять воду, чтобы она стала пригодной для питья и орошения — занятие не простое и не дешевое. Даже в Калифорнии, которая страдает от засух и остро ощущает нехватку воды, финансовый аспект имеет решающее значение. Развивающиеся же страны имеют еще меньше возможностей по получению чистой воды, но недавно был изобретен ультра-дешевый процесс очистки, который выглядит весьма многообещающе.
Команда исследователей из университета Александрии, Египет, разработала метод опреснения воды под названием первапорация, который позволяет удалить из морской воды лишние соли и сделать ее питьевой. Для этого используются специально изготовленные синтетические мембраны, которые фильтруют крупные частицы соли и примеси. Для окончательной очистки после фильтрации применяется классическое выпаривание и сбор «питьевого» конденсата.
Читать полностью »
Работа над законопроктом о предварительной фильтрации рунета приостановлена: неясно, как её реализовать и кто будет платить
2015-04-03 в 18:55, admin, рубрики: Законодательство и IT-бизнес, интернет, лига безопасного интернета, операторы связи, провайдеры, фильтрация Елена Мизулина через своего представителя передала Ведомостям информацию о приостановке работы над законопроектом о предварительной фильтрации рунета. Основные причины: не определено, кто будет финансировать реализацию законопроекта, и как это сделать технически. Если эксперты отрасли прояснят эти вопросы — работа продолжится.
Читать полностью »
Локализация приложений для китайского рынка-2. Блок-листы
2014-12-04 в 14:47, admin, рубрики: китай, Разработка под android, разработка под iOS, фильтрация, цензура В предыдущей теме я лишь сделал краткий обзор требований к разработчику, который хочет выпустить свое приложение на рынке КНР. Из всех полученных вопросов два основных касались именно блок-листов и вывода денег из Китая. Первый пункт я и хочу рассмотреть более подробно.
禁 — значит «запрещено»
Intel 82599: ограничиваем выходную скорость
2014-08-01 в 9:14, admin, рубрики: 10g, 10gbe, cетевые технологии, linux, Сетевые технологии, системное администрирование, фильтрацияВсем привет!
В этой статье я хочу рассказать вам про одну полезную фичу, которая есть в сетевой карте Intel 82599.
Речь пойдёт об аппаратном ограничении скорости выходного потока пакетов.
К сожалению, она не доступна в линуксе «из коробки» и требуются некоторые усилия, чтобы её задействовать.
Кому интересно — добро пожаловать под кат.
Диспетчер событий с фильтрацией по шаблону
2013-11-15 в 9:34, admin, рубрики: Events, php, Программирование, фильтрация, метки: Events, фильтрацияНедавно у меня появилась необходимость в простом и функциональном диспетчере событий. После непродолжительных поисков на Packagist-е я нашел пакет Evenement, который почти полностью подходил под мои требования. Но все же отбор он не прошел из-за двух параметров:
- была нужна возможность порождать события по шаблону;
- интерфейс библиотеки визуально не понравился.
Конечно же, я принял решение доделать и причесать библиотеку «под себя».
Порождение событий по шаблону
Мне нужна была возможность с помощью шаблона порождать нужные события, имена которых представляют собой иерархические ключи (foo.bar.baz
).
Например, для такого списка событий:
some.event
another.event
yet.another.event
something.new
Нужно породить все события, заканчивающиеся на «event». Или начинающиеся на «yet» и заканчивающиеся на «event», и не важно, что в середине.
Читать полностью »
Фильтрация по реестру запрещенных сайтов для интернет-провайдеров
2013-11-06 в 6:54, admin, рубрики: 187-ФЗ, антипиратский закон, реестр запрещенных сайтов, фильтрация, я пиарюсь, метки: 187-ФЗ, антипиратский закон, реестр запрещенных сайтов, фильтрацияМного копий было сломано вокруг 149-ФЗ, 187-ФЗ («антипиратский закон»). По мнению интернет-пользователей «все плохо», по мнению чиновников «все замечательно и эффективно работает». Эффективность работы законов пользователи временами ощущают на собственной шкуре, особенно когда по «антипиратскому» закону блокируется вместо одной страницы весь сайт целиком. Кроме интернет-пользователей заложниками сложившейся ситуации оказались интернет-провайдеры. С одной стороны недовольные пользователи, а с другой Роскомнадзор с угрозами штрафов и отзыва лицензий. Кроме Роскомнадзора с реестром запрещенных сайтов, на интернет-провайдеров еще валятся решения местных судов, по искам прокуратуры. Как удовлетворить требования федеральных законов, судов и при этом не вызывать негатива пользователей? Ответ простой — начать уже фильтровать по URL. Подробности под хабракатом.Читать полностью »
Сглаживание цифровых сигналов
2013-06-26 в 12:02, admin, рубрики: Алгоритмы, фильтрация, метки: фильтрацияВведение
Математические модели цифровых сигналов — вектора и матрицы, элементами которых являются числа. Числа могут быть двоичными (бинарный сигнал), десятичными («обычный» сигнал) и так далее. Любой звук, любое изображение и видео могут быть преобразованы в цифровой сигнал1: звук — в вектор, изображение — в матрицу, а видео — в последовательный набор матриц. Поэтому цифровой сигнал — это, можно сказать, универсальный объект для представления информации.
Задача сглаживания — это, по сути, задача фильтрации сигнала от высокочастотных составляющих (попросту говоря, от шума). Поэтому для разработанного алгоритма сглаживания в первую очередь необходимо определить как сильно ослабляются разные частотные составляющие. Другими словами, необходимо построить амплитудно-частотную характеристику соответствующего фильтра, иначе велика вероятность «нарваться» на артефакты.
Например, при попытке сгладить звуковой сигнал по двум соседним отсчётам весьма вероятно, что в голову придёт формула вроде
v[i] = (s[i+1] + s[i] + s[i-1])/3.
Казалось бы, обычное усреднение и мощность шума должна уменьшиться… Да, уровень шума после фильтрации будет меньше, но где гарантия того, что в вышеприведённом алгоритме справедливо следующее утверждение: чем выше частота шума, тем в большей степени он будет ослаблен? Ведь, по логике, немонотонная характеристика (то — убывающая, то — возрастающая) ничем не оправдана… Как построить зависимость ослабления от частоты для конкретного алгоритма? Как подобрать коэффициенты сглаживающего фильтра (в вышеприведённом алгоритме коэффициенты равны по 1/3)? А может быть взять не три слагаемых, а пять? Как найти свой (то есть для конкретной задачи) оптимум?
На эти и некоторые другие вопросы я постараюсь ответить так, чтобы обычный программист смог обосновать свой алгоритм, — надеюсь, не только алгоритм на тему «Сглаживание», так как идеи будут излагаться весьма общие, заставляющие думать самому…
Читать полностью »
«Чистый интернет» в одном из регионов
2013-01-30 в 9:16, admin, рубрики: Dura Lex, белый список, интернет, провайдер, провайдеры, фильтрация, цензура, чистый интернет, метки: белый список, интернет, провайдер, провайдеры, фильтрация, цензура, чистый интернетВ одном из российских регионов скоро начнётся эксперимент: по умолчанию провайдеры и операторы связи начнут предоставлять пользователям доступ только к тем ресурсам, которые одобрила Лига Безопасного Интернета.