Рубрика «теория вероятностей» - 2

Вместо введения

В статье описывается исследование, проведенное с целью проверки утверждения центральной предельной теоремы о том, что сумма N независимых и одинаково распределенных случайных величин, отобранных практически из любого распределения, имеет распределение, близкое к нормальному. Однако, прежде чем мы перейдем к описанию исследования и более подробному раскрытию смысла центральной предельной теоремы, не лишним будет сообщить, зачем вообще проводилось исследование и кому может быть полезна статья.

В первую очередь, статья может быть полезна всем начинающим постигать основы машинного обучения, в особенности если уважаемый читатель еще и на первом курсе специализации «Машинное обучение и анализ данных». Именно подобного рода исследование требуется провести на заключительной неделе первого курса, указанной выше специализации, чтобы получить заветный сертификат.
Читать полностью »

Совершая очередную транзакцию в моем любимом банке Тинькофф, получил уже привычное сообщение:

Никому не говорите код: 3131! Перевод с карты ****. Сумма ***.00 RUB

Если будут спрашивать — я вам его не говорил.

И снова взгляд зацепился за интересное совпадение цифр в «случайном» одноразовом коде (вспомнился Нео с чёрной кошкой). В итоге решил поднять всю историю сообщений, чтобы посмотреть, насколько случаен «случайный» одноразовый код и чем это может грозить.

Читать полностью »

Как жульничать при игре в кости – советы игрового эксперта - 1

Недавно археологи раскопали игровой кубик 600-летнего возраста, который, вероятно, использовался для жульничества. На гранях деревянного кубика из средневековой Норвегии находились две пятёрки, две четвёрки, тройка и шестерка – а единички и двойки не было. Считается, что этот кубик использовался для обмана при игре в кости, а не в какой-то особой игре, в которой нужны были определённые комбинации чисел.

Сегодня подобные кубики известны, как «верхи и низы» [tops and bottoms]. Они полезны для нечестной игры, если вы склонны к подобным действиям, хотя не гарантируют постоянного выигрыша, и не выдерживают тщательного осмотра со стороны подозрительных соперников (им стоит только попросить рассмотреть кубик – и вас раскроют). Но при игре в кости есть несколько других вариантов жульничества, о некоторых из которых я вам расскажу.

Стоит отметить, что эти методы запрещено использовать в казино, и я не рекомендую вам использовать их в подобных заведениях – это лишь интересный метод изучения вероятностей.
Читать полностью »

Статья с разбором игры известной торговой сети вызвала у нас в Cloud4Y живой интерес. Вот небольшие отрывки, чтобы ввести вас в курс дела:

Однажды, солнечным весенним утром, почитывая городской форум, я наткнулся на ссылку с простенькой игрой от известной торговой сети. Игра (акция), посвящённая чемпионату мира по футболу, представляла собой незамысловатое поле три на три, заполненное футбольными мячами. Кликая по мячу, мы открывали картинку с тем или иным товаром. При открытии трёх одинаковых картинок участнику гарантировалось бесплатное получение данного товара в одном из магазинов сети. Также под одним из мячей имелось изображение красной карточки, открытие которой означало конец игры.

Рассчитываем вероятности для статьи «Нечестная игра, или как нас обманывают организаторы розыгрышей» - 1

Автор статьи принялся расследовать причины своего проигрыша и по результатам расчетов выяснил следующее:

Быстрый набросок формул на салфетке, и выяснилось, что вероятность выигрыша — 1/4. Для 5 полей пришлось повозиться, но расчётная вероятность получилась также 25%.
...
Запустив скрипт, я получил неожиданный результат — 25% выигрышей. Поиграв с количеством выигрышных элементов и общим количеством полей, я выяснил, что вероятность выигрыша в подобной игре не зависит от количества полей и равна единице, поделенной на количество выигрышных элементов, увеличенных на единицу.

Нас заинтересовала правильность такого расчета и, заменив салфетку на Excel, мы взялись за дело в поисках математической истины. Читателей, увлекающихся теорией вероятности, приглашаем под кат, дабы проверить правильность наших вычислений.
Читать полностью »

Эта статья имеет целью продолжить дискуссию начатую статьей «Больше, чем государство: Британская Ост-индская торговая компания» и является личным мнением автора.

Viva Las Vegas

Больше, чем государство: внешний долг США - 1

Для многих очевидно, что игра с казино убыточна. Исходя из установленных там правил и имея небольшое представление о теории вероятности, становится понятно, что при достаточно большом количестве попыток среднее значение выигрыша будет близко к математическому ожиданию выигрыша. Перевес казино в европейской рулетке (с одним «зеро») составляет 1 — 36/37 = 2,7%, что для игрока означает потерю в среднем 2,7% от ставки.

Помимо рассуждений о положительном или отрицательном математическом ожидании следует понимать, что разные правила игры будут характеризоваться различной дисперсией. На практике получается, что при ограниченном количестве испытаний игрок может быстро проиграться или получить крупный выигрыш. Однако, в первом случае продолжить играть «за свои» не получится, а во втором азарт или жадность может привести к быстрой потере выигрыша. Такие жизненные уроки быстро дают понимание, что «дорога в счастливую жизнь проходит мимо казино».

Дело не только в казино. Институциональный анализ развития экономических систем позволяет нам увидеть правила игры, которые создаются и изменяются людьми.Читать полностью »

Оказавшись перед трудным выбором, стоит доверять интуиции или тщательно просчитать все сопутствующие риски?

Когда вероятность встречается с реальностью: три задачки на теорию вероятностей - 1

Для людей с научным складом ума естественно пытаться применять рациональные методы для оценки рисков повседневной жизни. К примеру, надо ли делать прививку от гриппа, если вам нет 40 лет и вы здоровы? Нужно ли выпрыгивать из самолёта (с парашютом)? Благородная цель, применение логики для оценки рисков, однако, сталкивается с двумя препятствиями. Во-первых, в отсутствии определённости мы обычно принимаем решения на основании комбинации из интуиции и целесообразности, и довольно часто это срабатывает. Во-вторых, нас постоянно атакует множество всё время изменяющихся случайных событий. "Как случайность управляет нашей жизнью" – такой подзаголовок был у весьма поучительного бестселлера Леонарда Млодинова. Эти постоянные тычки от случайных сил красочно продемонстрированы в этом отрывке, перефразированном из гораздо более длинной детской сказки 1964 года под названием "К счастью" Реми Чарлипа, который вдохновил нашу первую задачу.
Читать полностью »

В прошлой статье мы рассмотрели простейшую линейную генеративную модель PPCA. Вторая генеративная модель, которую мы рассмотрим — Generative Adversarial Networks, сокращенно GAN. В этой статье мы рассмотрим самую базовую версию этой модели, оставив продвинутые версии и сравнение с другими подходами в генеративном моделировании на следующие главы.

Generative adversarial networks - 1

Читать полностью »

image
(source)

Иногда мне приходится рассказывать другим людям как работает машинное обучение и, в частности, нейронные сети. Обычно я начинаю с градиентного спуска и линейной регрессии, постепенно переходя к многослойным перцептронам, автокодировщикам и свёрточным сетям. Все понимающе кивают головой, но в какой-то момент кто-нибудь прозорливый обязательно спрашивает:

А почему так важно, чтобы переменные в линейной регрессии были независимы?

или

А почему для изображений используются именно свёрточные сети, а не обычные полносвязные?

"О, это просто", — хочу ответить я. — "потому что если бы переменные были зависимыми, то нам пришлось бы моделировать условное распределение вероятностей между ними" или "потому что в небольшой локальной области гораздо проще выучить совместное распределение пикселей". Но вот проблема: мои слушатели ещё ничего не знают про распределения вероятностей и случайные переменные, поэтому приходится выкручиваться другими способами, объясняя сложнее, но с меньшим количеством понятий и терминов. А что делать, если попросят рассказать про батч нормализацию или генеративные модели, так вообще ума не приложу.

Так давайте не будем мучить себя и других и просто вспомним основные понятия теории вероятностей.

Читать полностью »

Интересный факт: в 1912 году итальянский статистик и демограф Коррадо Джини написал знаменитый труд «Вариативность и изменчивость признака», и в этом же году «Титаник» затонул в водах Атлантики. Казалось бы, что общего между этими двумя событиями? Всё просто, их последствия нашли широкое применение в области машинного обучения. И если датасет «Титаник» в представлении не нуждается, то об одной замечательной статистике, впервые опубликованной в труде итальянского учёного, мы поговорим поподробней. Сразу хочу заметить, что статья не имеет никакого отношения к коэффициенту Джини (Gini Impurity), который используется в деревьях решений как критерий качества разбиения в задачах классификации. Эти коэффициенты никак не связаны друг с другом и общего между ними примерно столько же, сколько общего между трактором в Брянской области и газонокосилкой в Оклахоме.

Коэффициент Джини (Gini coefficient) — метрика качества, которая часто используется при оценке предсказательных моделей в задачах бинарной классификации в условиях сильной несбалансированности классов целевой переменной. Именно она широко применяется в задачах банковского кредитования, страхования и целевом маркетинге. Для полного понимания этой метрики нам для начала необходимо окунуться в экономику и разобраться, для чего она используется там.
Читать полностью »

Проблематика вопроса сформулирована в предыдущей статье.

А именно: как оценить влияние определенного допущения модели Блэка-Шоулза на расчетную величину премии по европейскому опциону? Допущения о том, что цена торгуемого актива имеет логнормальное распределение. Как альтернативу расчета по формуле Блэка-Шоулза я использовал подход — прогнозирование выплат покупателю опциона методом Монте-Карло. На вход программе я подавал:

  • “эталонные данные” (моделирование логнормального распределения”),
  • случайный ряд, характеризующийся распределением с “толстыми хвостами”,
  • и, наконец, цены нескольких биржевых активов — валютных пар и криптовалют.

В каждом случае я рассчитал премию опциона по формуле Б-Ш и методом Монте-Карло. Сравнил результаты и сделал(?) выводы:
Расчет премии по опциону методом Монте-Карло vs формула Блэка-Шоулза - 1

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js