В новом дайджесте 10 лет первому Android-смартфону, правильная анимация, Flutter и React Native, самые эффективные рекламные сети для приложений, заработки iOS и Android. Добро пожаловать!
Рубрика «машинное обучение» - 133
Дайджест интересных материалов для мобильного разработчика #272 (24 сентября— 30 сентября)
2018-09-30 в 12:44, admin, рубрики: App Store, apple, flutter, react native, UX, ux дизайн, анимации, Блог компании Everyday Tools, макретинг мобильных приложений, машинное обучение, портирование приложений, разработка игр, разработка мобильных приложений, Разработка под android, разработка под iOS, трудоустройство
Идентификация мошенничества с использованием Enron dataset. Часть 1-ая, подготовка данных и отбор признков
2018-09-30 в 9:57, admin, рубрики: enron, pandas, python, seaborn, классификация, машинное обучениеКорпорация Enron — это одна из наиболее известных фигур в американском бизнесе 2000-ых годов. Этому способствовала не их сфера деятельности (электроэнергия и контракты на ее поставку), а резонанс в связи с мошенничеством в ней. В течении 15 лет доходы корпорации стремительно росли, а работа в ней сулила неплохую заработную плату. Но закончилось всё так же быстротечно: в период 2000-2001гг. цена акций упала с 90$/шт практически до нуля по причине вскрывшегося мошенничества с декларируемыми доходами. С тех пор слово "Enron" стало нарицательным и выступает в качестве ярлыка для компаний, которые действуют по аналогичной схеме.
В ходе судебного разбирательства, 18 человек (в том числе крупнейшие фигуранты данного дела: Эндрю Фастов, Джефф Скиллинг и Кеннет Лей) были осуждены.
](https://www.pvsm.ru/images/2018/09/30/identifikaciya-moshennichestva-s-ispolzovaniem-Enron-dataset-chast-1-aya-podgotovka-dannyh-i-otbor-priznkov.jpeg "Идентификация мошенничества с использованием Enron dataset. Часть 1-ая, подготовка данных и отбор признков - 1")
Вместе с тем были опубликованы архив электронной переписки между сотрудниками компании, более известный как Enron Email Dataset, и инсайдерская информация о доходах сотрудников данной компании.
В статье будут рассмотрены источники этих данных и на основе их построена модель, позволяющая определить, является ли человек подозреваемым в мошенничестве. Звучит интересно? Тогда, добро пожаловать под хабракат. Читать полностью »
Как поступить на PhD программу по машинному обучению
2018-09-28 в 11:00, admin, рубрики: artificial intelligence, big data, machine learning, open data science, PhD, анализ данных, Блог компании Open Data Science, искусственный интеллект, машинное обучение, образование в ит, образование за рубежом1. Введение
Этот текст — небольшое обобщение моего опыта подачи заявок на Computer Science PhD с уклоном в machine learning в Северной Америке. Я постарался собрать в этом гайде свои просчеты (учиться лучше на чужих ошибках) и более-менее универсальные вещи, полезные всем. Но все равно нужно понимать, что это довольно индивидуальный опыт, поэтому ваша личная стратегия может отличаться. Например, в случае выбора вузов/научных руководителей или в написании statement of purpose. Ну или вы находитесь в других стартовых условиях по сравнению со мной (оценки, статьи, рекомендации).
Имейте в виду, что основная часть гайда писалась до получения результатов, потому что мне хотелось избежать «ошибки выживших» (survivorship bias) и проанализировать свой опыт безотносительно того, поступил я или нет. В конце руководства есть мои результаты: я поступил в 2 из 11 вузов, в которые подавался. На мой взгляд, все равно стоит избегать ошибок, которые я здесь буду описывать. Ну и нужно понимать, что в процессе подачи на ML PhD очень много шума, поэтому можно сделать все хорошо и пролететь и наверное даже наоборот.
Реализация минимизации логических функций методом Квайна-Мак’Класки при неполном входном наборе
2018-09-26 в 15:16, admin, рубрики: .net, big data, C#, data mining, Алгоритмы, квайн, Мак-Класки, машинное обучение, минимизация логических функций, усеченный набор данныхДанная статья является, в некоторой степени, продолжением моей статьи по минимизации логических функций методом Квайна-Мак’Класки. В ней рассматривался случай с полностью определёнными логическими функциями (хотя этого в ней прямо не упоминалось, а только подразумевалось). В реальности такой случай встречается достаточно редко, когда количество входных переменных мало. Частично или не полностью определенными называются логические функции, значения которых заданы лишь для части Q из полного множества P=
возможных наборов (термов) их аргументов (переменных) количеством N, т. е. Q < P. Такая ситуация встречается на практике в большинстве случаев применений алгоритмов оптимизации логических функций. Действительно, например, если число входных переменных N=30, что является заурядным случаем, например на финансовых рынках, то объём входной обучающей выборки должен составлять порядка 
>
элементарных уникальных термов. Такой массив данных встречается не в каждой даже очень крупной организации, не говоря уже о частных лицах, т. е. это уже сфера BigData, использования ЦОД-ов и т. д.
Поэтому на практике чаще всего минимизируемые логические функции будут определены не полностью просто в силу отсутствия необходимого количества накопленных данных или в силу разных других объективных причин (например, не хватает места для их хранения). Возникает вопрос о возможности «обхода» этой неприятности при использовании алгоритма, работающего с полностью определённым набором терм логической функции, таким как, например, из предыдущей моей статьи.
Читать полностью »
Не потерять себя: новый метод диагностики деменции
2018-09-26 в 8:00, admin, рубрики: аватар, Блог компании ua-hosting.company, болезнь альцгеймера, деменция, диагностика болезней, здоровье, Здоровье гика, математика, машинное обучение, мозг, Научно-популярное
На вопрос «что делает вас вами?» кто-то скажет семья, работа, друзья, характер, таланты и т.д. Но самым универсальным для всех вариантов является наш разум. Именно он делает нас теми, кем мы есть. Однако, как и любой другой орган или система в организме человека, мозг не вечен. Потерять руку это ужасно, но потерять свой разум еще ужаснее, особенно если карьера человека всегда опиралась именно на умственную деятельность, то есть он был ученым, преподавателем, писателем, философом и т.д. Дегенеративные процессы головного мозга, часто именуемые деменцией, проще всего лечить на ранних этапах развития заболевания. Но для этого нужно сначала диагностировать эту самую деменцию, что является весьма непростой задачей.
Сегодня мы поговорим об исследовании нового метода диагностики деменции с использованием машинного обучения, визуального/звукового анализа и виртуального собеседника-диагноста. Насколько эффективен этот метод и какие, ранее неизвестные, симптомы он обнаружил мы узнаем из доклада ученых. Поехали.Читать полностью »
Где и как врубиться в эмбеддинги графов
2018-09-25 в 11:00, admin, рубрики: graphSAGE, it-рекрутмент, neo4j, node2vec, pagerank, python, SAP HANA, snap, Алгоритмы, Блог компании Open Data Science, глубокое обучение, графовые сверточные сети, графы, командообразование, математика, машинное обучение, образование за рубежом, развлечения в интернете, рекомендательные системы, самообразование, Управление продуктом, управление проектами, эмбеддингиПривет!
Три года назад на сайте Леонида Жукова я ткнул ссылку на курс Юре Лесковека cs224w Analysis of Networks и теперь мы будем его проходить вместе со всеми желающими в нашем уютном чате в канале #class_cs224w. Cразу же после разминки с открытым курсом машинного обучения, который начнётся через несколько дней.
Вопрос: Что там начитывают?
Ответ: Современную математику. Покажем на примере улучшения процесса IT-рекрутинга.
Под катом читателя ждёт история о том, как руководителя проектов дискретная математика до нейросетей довела, почему внедряющим ERP и управляющим продуктами стоит почитывать журнал Биоинформатика, как появилась и решается задача рекомендации связей, кому нужны графовые эмбеддинги и откуда взялись, а также мнение о том, как перестать бояться вопросов про деревья на собеседованиях, и чего всё это может стоить. Погнали!Читать полностью »
Как Яндекс применил компьютерное зрение для повышения качества видеотрансляций. Технология DeepHD
2018-09-25 в 7:05, admin, рубрики: computer vision, deephd, Блог компании Яндекс, искусственный интеллект, Компьютерное зрение, машинное обучение, обработка изображений, яндексКогда люди ищут в интернете картинку или видео, они часто прибавляют к запросу фразу «в хорошем качестве». Под качеством обычно имеется в виду разрешение — пользователи хотят, чтобы изображение было большим и при этом хорошо выглядело на экране современного компьютера, смартфона или телевизора. Но что делать, если источника в хорошем качестве просто не существует?
Сегодня мы расскажем читателям Хабра о том, как с помощью нейронных сетей нам удается повышать разрешение видео в режиме реального времени. Вы также узнаете, чем отличается теоретический подход к решению этой задачи от практического. Если вам не интересны технические детали, то можно смело пролистать пост – в конце вас ждут примеры нашей работы.
В интернете много видеоконтента в низком качестве и разрешении. Это могут быть фильмы, снятые десятки лет назад, или трансляции тв-каналов, которые по разным причинам проводятся не в лучшем качестве. Когда пользователи растягивают такое видео на весь экран, то изображение становится мутным и нечётким. Идеальным решением для старых фильмов было бы найти оригинал плёнки, отсканировать на современном оборудовании и отреставрировать вручную, но это не всегда возможно. С трансляциями всё ещё сложнее – их нужно обрабатывать в прямом эфире. В связи с этим наиболее приемлемый для нас вариант работы — увеличивать разрешение и вычищать артефакты, используя технологии компьютерного зрения.
Равномерно распределяем точки по сфере в pytorch и tensorflow
2018-09-24 в 12:11, admin, рубрики: backpropagation, function minimization, ml, povray, pytorch, TensorFlow, vapory, Блог компании HeadHunter, глубокое обучение, искусственный интеллект, математика, машинное обучение, оптимизацияЭтот текст написан для тех, кто интересуется глубоким обучением, кто хочет использовать разные методы библиотек pytorch и tensorflow для минимизации функции многих переменных, кому интересно научиться превращать последовательно выполняющуюся программу в выполняемые с помощью numpy векторизованные матричные вычисления. А ещё можно научиться делать мультфильм из данных, визуализированных с помощью PovRay и vapory.
Как машинное обучение помогло мне понять некоторые аспекты раннего развития детей
2018-09-24 в 11:13, admin, рубрики: гении, машинное обучение, раннее развитие детейКогда моему первому сыну было всего два, он уже любил машины, знал все марки и модели (даже больше, чем я, благодаря моим друзьям), мог их распознавать по небольшой части изображения. Все говорили: гений. Хотя и отмечали полную бесполезность этих знаний. А сын тем временем спал с ними, катал их, расставлял ровно в ряд или квадратиком.
Просто и качественно определяем язык сообщений
2018-09-24 в 9:54, admin, рубрики: language-identification, nlp, open source, python, машинное обучение
У нас в компании YouScan в день обрабатывается около 100 млн. сообщений, на которых применяется много правил и разных смарт-функций. Для корректной их работы нужно правильно определить язык, потому что не все функции можно сделать агностическими относительно языка. В данной статье мы коротко расскажем про наше исследование данной задачи и покажем оценку качества на датасете из соц. сетей.