Рубрика «nag»

Внезапно для многих, в конце июля в Москве наступило лето. Вообще для многих лето — почти как зима для коммунальных и дорожных служб, ни разу не было и вот опять.
Одновременно в комментариях к заметке написали про необходимость помнить и про инженерные системы.

Исправляюсь, и пишу про них.

tl/dr: всякие мелочи, которыми админ заниматься не должен, но порой приходится, особенно в малом офисе. Или в дата-центре.

Итак — инженерные системы малого офиса.
Читать полностью »

В подавляющем большинстве источников информации о нейронных сетях под «а теперь давайте обучим нашу сеть» понимается «скормим целевую функцию оптимизатору» лишь с минимальной настройкой скорости обучения. Иногда говорится, что обновлять веса сети можно не только стохастическим градиентным спуском, но безо всякого объяснения, чем же примечательны другие алгоритмы и что означают загадочные inline beta и inline gamma в их параметрах. Даже преподаватели на курсах машинного обучения зачастую не заостряют на этом внимание. Я бы хотел исправить недостаток информации в рунете о различных оптимизаторах, которые могут встретиться вам в современных пакетах машинного обучения. Надеюсь, моя статья будет полезна людям, которые хотят углубить своё понимание машинного обучения или даже изобрести что-то своё.

image

Под катом много картинок, в том числе анимированных gif.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js