Бинарная классификация — одна из самых распространённых задач машинного обучения, встречающаяся во множестве прикладных областей.
Однако, на практике цель таких задач часто выходит за рамки простого предсказания класса. Гораздо более важным оказывается умение модели оценить вероятность принадлежности объекта к тому или иному классу. Иными словами, нас интересует не только, какой класс выбрать, но и с какой вероятностью это решение принято.
Одним из самых коварных и гадких заболеваний у человека является рак. Независимо от его локализации, он может нанести колоссальный ущерб здоровью или привести к летальному исходу. Одним из самых распространенных считается рак кожи, а именно меланома. Проблема этого типа рака заключается в том, что он может быть на видном месте и не вызывать каких-либо ощутимых симптомов до момента, когда уже будет поздно что-либо делать. Именно потому людям, которые входят в группу риска, необходимо регулярно проверяться у дерматоонколога. Однако даже самый опытный специалист все равно остается человеком, который может упустить малозаметные признаки, тем самым подарив раку шанс на развитие. По этой причине человечество начало изобретать множество разнообразных инструментов диагностики, помогающие врачам найти рак вовремя. Одним из потенциально полезных инструментов в данном начинании может быть искусственный интеллект. Ученые из Университета им. Раскина (Великобритания) провели исследование, в котором обучили систему ИИ определять ранние признаки меланомы. Как именно проходило это обучение, и насколько эффективен ИИ в качестве диагноста? Ответы на эти вопросы мы найдем в докладе ученых.Читать полностью »
Предисловие
Автор и бравый товарищ сообщества Фанерозой, врач Артемий Липилин
Первопроходцем в попытках систематизировать животное царство был Аристотель. В течение многих веков, вплоть до появления Линнея, систематика Аристотеля считалась непререкаемой догмой.
Привет! Меня зовут Александр Соловьев, я программист компании DataLine.
Хочу поделиться опытом внедрения модных нынче нейронных сетей в нашей компании. Все началось с того, что мы решили строить свой Service Desk. Зачем и почему именно свой, можно почитать моего коллегу Алексея Волкова (cface) тут.
Я же расскажу о недавнем новшестве в системе: нейросеть в помощь диспетчеру первой линии поддержки. Если интересно, добро пожаловать под кат.
Вот бывает же в жизни такое. Сидишь себе не шалишь, никого не трогаешь, починяешь примус, а тут из этого примуса, из телевизора, да и вообще из каждого утюга, до тебя доносится: «нейронные сети, глубокое обучение, искусственный интеллект, цифровая экономика…».
Я — человек, а значит существо любопытное и алчное . В очередной раз не удержался и решил узнать на практике, что такое нейронные сети и с чем их едят.
Как говориться: «Хочешь научиться сам — начни учить других», на этом я перестану сыпать цитатами и перейдем к делу.
В данной статье мы вместе с вами попробуем, решить задачу, которая как оказалось будоражит не только мой ум.
Не имея достаточных фундаментальных знаний в области математики и программирования мы попробуем в реальном времени классифицировать изображения с веб-камеры, с помощью OpenCV и библиотеки машинного обучения для языка Python — PyTorch. По пути узнаем о некоторых моментах, которые могли бы быть полезны новичкам в применении нейронных сетей.
Вам интересно сможет ли наш классификатор отличить Arduino-совместимые контроллеры от малины? Тогда милости прошу под кат.
Прошло чуть больше года, с тех пор как MIT объявил о релизе высокопроизводительного языка общего назначения Julia. С тех пор язык набирает популярность: он используется в более чем 1500 университетах (в некоторых преподается в качестве первого ЯП), а области применения охватывают от медицинской диагностики и планирования космических миссий до таких насущных проблем, как оптимизация трафика школьных автобусов.
Одним из ключевым полей деятельности многих проектов, как не трудно догадаться, является машинное обучение, для которого на Julia есть множество мощных инструментов, а недавно вышел в свет довольно интересный проект — Система вероятностного программирования общего назначения "GEN".
Сегодня же мы обратим внимание на, как понятно из названия, пакет Flux, предоставляющий всю мощь нейронных сетей. Постараемся пройти путь от обработки и исследования наборов изображений до обученной нейронной сети, чтобы получить полноценный классификатор!
Есть только это пространство, полностью знакомое, в котором нет никаких неожиданностей.
Оно полностью освещено, каждый сантиметр под присмотром.
Но за границей периметра непроглядная тьма такая, что и на метр ничего не разглядеть.
И из этой тьмы тянутся руки. Вооруженные руки. С одной целью — уничтожить весь этот свет.
И вот из тьмы показывается пистолет. Хорошо известно как он выглядит и на что он способен. Desert Eagle.
Но как понять чья рука его держит?
Это наёмник, который и глазом не моргнёт перед выстрелом, или дошкольник, который едва удерживает пистолет, и выстрел из которого его самого убьёт?
Читать полностью »
Это пошаговая инструкция по классификации мультиспектральных снимков со спутника Landsat 5. Сегодня в ряде сфер глубокое обучение доминирует как инструмент для решения сложных проблем, в том числе геопространственных. Надеюсь, вы знакомы с датасетами спутниковых снимков, в частности, Landsat 5 TM. Если вы немного разбираетесь в работе алгоритмов машинного обучения, то это поможет вам быстро освоить это руководство. А для тех, кто не разбирается, будет достаточным знать, что, по сути, машинное обучение заключается в установлении взаимосвязей между несколькими характеристиками (набором признаков Х) объекта с другим его свойством (значением или меткой, — целевой переменной Y). Мы подаём на вход модели много объектов, для которых известны признаки и значение целевого показателя/класса объекта (размеченные данные) и обучаем ее так, чтобы она могла спрогнозировать значение целевой переменной Y для новых данных (неразмеченных).
Читать полностью »
Нейронная сеть может опознать котика на фотографии, найти диван, улучшить видеозапись, нарисовать картинку из щенят или простого наброска. К этому мы уже привыкли. Новости о нейросетях появляются почти каждый день и стали обыденными. Компании Grid Dynamics поставили задачу не обыденную, а сложную — научить нейросеть находить специфический шуруп или болт в огромном каталоге интернет-магазина по одной фотографии. Задачка сложнее, чем найти котика.
Проблема интернет-магазина шурупов — в ассортименте. Тысячи или десятки тысяч моделей. У каждого шурупа свое описание и характеристики, поэтому на фильтры нет надежды. Что делать? Искать вручную или искать в гипермаркете на полках? В обоих случаях это потеря времени. В итоге клиент устанет и пойдет забивать гвоздь. Чтобы помочь ему, воспользуемся нейросетью. Если она может находить котиков или диваны, то пусть занимается чем-то полезным — подбирает шурупы и болты. Как научить нейросеть подбирать для пользователя шурупы быстро и точно, расскажем в расшифровке доклада Марии Мацкевичус, которая в компании Grid Dynamics занимается анализом данных и машинным обучением.
Читать полностью »
