0. Предисловие
Предлагаю вашему вниманию, статью из Бразилии, в которой рассматривается не самый популярный, но возможно очень прибыльный рынок ставок на футбол: "both team to score" или "обе забьют".
Рубрика «байесовский подход»
Прогнозирование результатов футбольных матчей и использование ставки «Обе забьют» (BTTS)
2024-12-20 в 11:30, admin, рубрики: байесовский подход, букмекер, машинное обучение, Пуассон, ставки на спорт, трейдинг, трейдинг на фондовом рынке, футбол, футбольная аналитикаПонять статистику нам мешает наше нежелание меняться
2018-10-29 в 7:00, admin, рубрики: байесовский подход, вероятность, Занимательные задачки, математика, мозгИсследование показало, что люди предпочитают сложные методы, потому что привыкли к ним
Незаконное обвинение Салли Кларк в убийстве двоих её сыновей – знаменитый пример неправильного использования статистики в суде
В 1999 году британский солиситор Салли Кларк попала под суд за убийство двух своих малолетних сыновей. Она утверждала, что оба они стали жертвами синдрома внезапной младенческой смерти. Эксперт, свидетель обвинения, Рой Мидоу, утверждал, что шансы на то, что этот синдром заберёт жизни двух младенцев из богатой семьи, составляли 1 к 73 млн, что уравнивало их с шансом ставить на скачках на лошадь с коэффициентом 80 к 1 четыре года подряд и всё время выигрывать. Жюри присяжных приговорило Кларк к пожизненному заключению.
Читать полностью »
Оценка связанности событий с помощью Байеса
2017-06-30 в 6:28, admin, рубрики: Алгоритмы, байесовский подход, вероятность, Занимательные задачки, математика, оценка связанности событийВ своей книге Нейт Сильвер приводит такой пример: допустим требуется разместить инвестиции в нескольких предприятиях, которые могут обанкротиться с вероятностью 
. Требуется оценить свои риски. Чем выше вероятность банкротства, тем меньше мы будем вкладывать денег. И наоборот, если вероятность банкротства стремится к нулю, то можно инвестировать без ограничений.
Если имеется 2 предприятия, тогда вероятность того, что они оба обанкротятся и мы потеряем все вложения 
. Так учит стандартная теория вероятности. Но что будет, если предприятия связаны и банкротство одного ведет к банкротству другого?
Крайним случаем является ситуация, когда предприятия полностью зависимы. Вероятность двойного банкротства 
( банкрот1 & банкрот2 ) = 
( банкрот1 ), тогда вероятность потери всех вложений равна 
. Методика оценки риска имеет большой разброс 
от 0.05 до 0.0025 и реальное значение зависит от того насколько правильно мы оценили связанность двух событий.
При оценке инвестиций в 
предприятий имеем 
от 
до 
. То есть максимальная возможная вероятность остается большой 
и старая поговорка «не клади яйца в одну корзину» не сработает, если упадет прилавок со всеми корзинами сразу.
Таким образом наши оценки имеют колоссальный разброс, и сколько куда вкладывать остается вопросом. А ведь надо хорошо считать, прежде чем вкладывать. Нейт Сильвер говорит, что незнание этих простых законов аналитиками привело к крахам фондового рынка в 2008 году, когда рейтинговые агенства США оценивали риски, но не оценивали связанность рисков. Что в конце концов привело к эффекту домино, когда сначала свалился крупный игрок и увлек за собой других.
Попробуем разобрать эту проблему, решив простую математическую задачу после ката.
Читать полностью »
Очень грубый подход к определению языка человека (ли как понять язык человека по обычной корпоративной базе)
2017-06-12 в 18:24, admin, рубрики: email-рассылки, growth hacking, анализ данных, байесовский подход, веб-аналитика, интернет-маркетинг, определение языка, Повышение конверсии
Что общего у этой картинки, Excel и прикладной работы с базами данных? Правильно — байесовский подход к анализу данных.
Если я не заинтриговал вас картинкой выше, то давайте я расскажу вам самую малость про байесовы сети и как использовать их на коленке (и почему их мало используют на практике). Этот предмет довольно технический (вот условно бесплатный курс от Стенфорда, он немного скучноват и очень технический, но зато в тему. Там еще есть странность — пройти курс и все понять можно за 10 часов, а чтобы решить задачи в матлабе, нужно часов 50 — такое ощущение, что задачи — это PhD автора курса...).Читать полностью »
Вероятностное программирование на Scala
2017-02-28 в 6:38, admin, рубрики: scala, Алгоритмы, байесовский подход, Блог компании Издательский дом «Питер», вероятностное программирование, машинное обучение, Программирование, метки: вероятностное программированиеЗдравствуйте, дорогие читатели. Сегодня мы публикуем внеочередной перевод — это будет обзорная статья блистательного Ноэля Уэлша о принципах вероятностного программирования. Статья публикуется по заявкам читателей, которые задают нашему блогу все более высокую планку — и это, безусловно, здорово!
Читать полностью »
Нейробайесовский подход к задачам машинного обучения. Лекция Дмитрия Ветрова в Яндексе
2017-02-08 в 12:02, admin, рубрики: байесовские сети, байесовский вывод, байесовский подход, Блог компании Яндекс, задача оптимизации, латентность, математика, машинное обучение, метод главных компонент, нейронные сети, регуляризация, теорема БайесаЭтим постом мы завершаем серию лекций с Data Fest. Одним из центральных событий конференции стал доклад Дмитрия Ветрова — профессора факультета компьютерных наук НИУ ВШЭ. Дмитрий входит в число самых известных в России специалистов по машинному обучению и, начиная с прошлого года, работает в Яндексе ведущим исследователем. В докладе он рассказывает об основах байесовского подхода и объясняет, какие преимущества дает этот подход при использовании нейронных сетей.
Под катом — расшифровка и часть слайдов.
Байесовская нейронная сеть — теперь апельсиновая (часть 2)
2016-04-04 в 6:10, admin, рубрики: bayes by backprop, python, Алгоритмы, байесовский подход, математика, машинное обучение, нейронные сети, теория вероятностейКак вы думаете, чего в апельсине больше — кожуры, или, хм, апельсина?
Предлагаю, если есть возможность, пойти на кухню, взять апельсин, очистить и проверить. Если лень или нет под рукой — воспользуемся скучной математикой: объем шара мы помним из школы. Пусть, скажем, толщина кожуры равна 
Как насчет апельсина в тысячемерном пространстве?
Пойти на кухню на этот раз не получится; подозреваю, что формулу наизусть тоже не все знают, но Википедия нам в помощь. Повторяем аналогичные вычисления, и с интересом обнаруживаем, что:
- во-первых, в тысячемерном гиперапельсине кожуры больше, чем мякоти
- а во-вторых, ее больше примерно в 246993291800602563115535632700000000000000 раз
То есть, каким бы странным и противоречивым это ни казалось, но почти весь объем гиперапельсина содержится в ничтожно тонком слое прямо под его поверхностью.
Начнем с этого, пожалуй.
Байесовская нейронная сеть — потому что а почему бы и нет, черт возьми (часть 1)
2016-02-29 в 6:24, admin, рубрики: bayes by backprop, python, Алгоритмы, байесовский подход, математика, машинное обучение, теория вероятностейТо, о чем я попытаюсь сейчас рассказать, выглядит как настоящая магия.
Если вы что-то знали о нейронных сетях до этого — забудьте это и не вспоминайте, как страшный сон.
Если вы не знали ничего — вам же легче, полпути уже пройдено.
Если вы на «ты» с байесовской статистикой, читали вот эту и вот эту статьи из Deepmind — не обращайте внимания на предыдущие две строчки и разрешите потом записаться к вам на консультацию по одному богословскому вопросу.
Итак, магия:
Слева — обычная и всем знакомая нейронная сеть, у которой каждая связь между парой нейронов задана каким-то числом (весом). Справа — нейронная сеть, веса которой представлены не числами, а демоническими облаками вероятности, колеблющимися всякий раз, когда дьявол играет в кости со вселенной. Именно ее мы в итоге и хотим получить. И если вы, как и я, озадаченно трясете головой и спрашиваете «а нафига все это нужно» — добро пожаловать под кат.
О формуле Байеса, прогнозах и доверительных интервалах
2014-08-10 в 0:13, admin, рубрики: Алгоритмы, Байес, байесовский подход, математика, теория вероятностей, теория вероятности, терверНа Хабре много статей по этой теме, но они не рассматривают практических задач. Я попытаюсь исправить это досадное недоразумение. Формула Байеса применяется для фильтрации спама, в рекомендательных сервисах и в рейтингах. Без нее значительное число алгоритмов нечеткого поиска было бы невозможно. Кроме того, это формула явилась причиной холивара среди математиков.
Байесовский анализ в Python
2013-02-26 в 9:29, admin, рубрики: python, Алгоритмы, анализ данных, Байес, байесовский подход, искусственный интеллект, математика, метки: python, анализ данных, Байес, байесовский подход Этот пост является логическим продолжением моего первого поста о Байесовских методах, который можно найти тут.
Я бы хотел подробно рассказать о том, как проводить анализ на практике.
Читать полностью »