Предисловие
Рубрика «SVM»
Анализ и моделирование футбольных результатов английской Премьер-лиги с использованием методов машинного обучения
2024-10-04 в 10:24, admin, рубрики: feature engineering, naive bayes, random forest, SVM, xgboost, градиентный бустинг, классификация, машинное обучение, отбор признаков, случайный лесSVM. Объяснение с нуля, имплементация и подробный разбор
2020-01-23 в 11:00, admin, рубрики: classification, data mining, loss function, machine learning, margin, ods, ods.ai, open data science, python, support vectors, SVM, Алгоритмы, Блог компании Open Data Science, машинное обучение, опорные вектораПривет всем, кто выбрал путь ML-самурая!
Введение:
В данной статье рассмотрим метод опорных векторов (англ. SVM, Support Vector Machine) для задачи классификации. Будет представлена основная идея алгоритма, вывод настройки его весов и разобрана простая реализация своими руками. На примере датасета будет продемонстрирована работа написанного алгоритма с линейно разделимыми/неразделимыми данными в пространстве и визуализация обучения/прогноза. Дополнительно будут озвучены плюсы и минусы алгоритма, его модификации.
Рисунок 1. Фото цветка ириса из открытых источников
Общие принципы работы QEMU-KVM
2019-09-06 в 20:30, admin, рубрики: amd, emulation, hardware, intel, kernel, kvm, linux, paravirtualization, qemu, SVM, virtualization, vt-x, виртуализация, виртуальная машина, Компьютерное железо, паравиртуализация, эмуляция
Мое текущее понимание:
1) KVM
KVM (Kernel-based Virtual Machine) – гипервизор (VMM – Virtual Machine Manager), работающий в виде модуля на ОС Linux. Гипервизор нужен для того, чтобы запускать некий софт в несуществующей (виртуальной) среде и при этом, скрывать от этого софта реальное физическое железо, на котором этот софт работает. Гипервизор работает в роли «прокладки» между физическим железом (хостом) и виртуальной ОС (гостем).
Поскольку KVM является стандартным модулем ядра Linux, он получает от ядра все положенные ништяки (работа с памятью, планировщик и пр.). А соответственно, в конечном итоге, все эти преимущества достаются и гостям (т.к. гости работают на гипервизоре, которые работает на/в ядре ОС Linux).
KVM очень быстрый, но его самого по себе недостаточно для запуска виртуальной ОС, т.к. для этого нужна эмуляция I/O. Для I/O (процессор, диски, сеть, видео, PCI, USB, серийные порты и т.д.) KVM использует QEMU.
Читать полностью »
[Javawatch Live] История одного pull request. `os.version` в SubstrateVM
2018-08-17 в 9:15, admin, рубрики: graal, graalvm, habracast, java, javawatch, podcast, substratevm, SVM, Блог компании JUG.ru Group, Компиляторы, Программирование, системное программированиеПрошел год с тех пор, как удалась предыдущая выходка: опубликовать вместо поста ролик на YouTube. «Стыдный разговор о синглтонах» набрал 7к просмотров на YouTube и вдвое больше на самом Хабре в текстовой версии. Для статьи, написанной в совершенно упоротом состоянии и рассказывающей о древнейшем баяне — это что-то вроде успеха.
Сегодня я всю ночь монтировал новый выпуск. На этот раз тема куда более свежая: история коммита в экспериментальную технологию — SubstrateVM. А вот градус упоротости поднялся на новый уровень.
Очень жду ваших комментариев! Напоминаю, что если вы хотите действительно что-то улучшить в этом посте, то лучше всего зафайлить ишшую на Github. Хотел бы сказать «ставьте лайки и подписывайтесь на новый канал», но ведь все его выпуски и так будут у вас в хабе Java?
Технически: в видео есть одна склейка ближе к концу. Просто я писал несжатое видео, и мой m2 ssd размером всего в пятьсот гигабайт быстро переполнился. А ни один другой жесткий диск не смог выдержать такого напора данных. Поэтому пришлось отключиться на полчаса и изголившись найти дополнительные пятьдесят гигов на запись последних нескольких минут. Это было достигнуто удалением файлов собранного GoogleChrome. Мнение о записывающем софте отписал в ФБ прямо в момент записи, там очень много боли.
Ещё из технически интересного: YouTube почему-то заблокировало мне live streaming. При этом на аккаунте нет ни единого страйка и клейма. Будем надеяться, что это просто косяк, и через 90 дней всё вернут назад.
Текстонезависимая идентификация по голосу
2017-08-28 в 7:41, admin, рубрики: dsp, Matlab, mfcc, nnet, speaker identification, SVM, Алгоритмы, машинное обучение, ПрограммированиеЯ люблю истории про апокалипсис, про то, как нашу планету порабощают пришельцы, обезьяны или терминаторы, и с детства мечтал приблизить последний день человечества.
Однако, я не умею строить летающие тарелки или синтезировать вирусы, а потому речь пойдет про терминаторов, а точнее о том как этим трудягам помочь отыскать Джона Коннора.
Мой рукодельный терминатор будет несколько упрощён — он не сможет ходить, стрелять, говорить "I'll be back". Единственное на что он будет способен — распознать голос Коннора, ежели он его услышит (ну или, например, Черчилля, если его тоже надо будет найти).
NetApp ONTAP: SnapMirror for SVM
2016-07-14 в 8:12, admin, рубрики: DataOntap, dataontap Edge, NetApp, NetAPp SnapMirror, ONTAP, Ontap Edge, ONTAP Select, SAN, Snap-to-Cloud, snapmirror, SnapMirror for SVM, SVM, Восстановление данных, ит-инфраструктура, Облачные вычисления, хранение данныхНачиная с версии 8.3.1 в Data ONTAP был презентован новый функционал под названием SnapMirror for SVM. SnapMirror for SVM это возможность отреплицировать все данные на СХД и все настройки или только часть данных или настроек на запасную площадку.
Чтобы мочь запустить все ваши сервисы на резервной системе, логично чтобы основная и запасная системы были более-менее одинаковые по производительности. Если же на резервной площадке система стоит слабее, стоит заранее задаться вопросом, какие самые критичные сервисы необходимо будет запустить, а какие будут не запущены. Можно реплицировать как весь SVM со всеми его вольюмами, так и исключить из реплики часть вольюмов и сетевых интерфейсов (начиная с ONTAP 9).
Существует два режима работы SnapMirror for SVM: Identity Preserve и Identity Discard.
Читать полностью »
SDS от NetApp: ONTAP Select
2016-06-30 в 9:59, admin, рубрики: CIFS, disaster recovery, DR, HA, high availability, IP SAN, iscsi, kvm, NAS, NetApp, NetApp SnapCreator, nfs, ONTAP, ONTAP Select, SAN, SDS, SnapCreator, snapmirror, SVM, Veeam, virtual storage appliance, VMware, VSA, vSphere, vVOL, ит-инфраструктура, системное администрирование, хранение данных, хранилища данных, метки: ONTAP SelectONTAP Select это логическое развитие линейки Data ONTAP-v
Как и предшественник, этот продукт живёт и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Также отсутствует поддержка FCP. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы.
Из ожидаемых новшеств:
- Поддержка High Avalability
- Поддержка кластеризации до 4 нод
- Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)
На ряду с High Avalability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.
Читать полностью »
Применение методов машинного обучения в задаче оценки действий лётчика на этапе посадки
2016-04-14 в 13:32, admin, рубрики: data mining, gradient boosted trees, SVM, авиационное оборудование, безопасность полетов, классификация, машинное обучение, оценка людейВВЕДЕНИЕ
Статистика аварийных происшествий показывает, что в настоящее время наиболее опасным участком полёта по-прежнему остаётся посадка. Причём в большинстве случаев аварийные происшествия происходят по вине личного состава (рис. 1). Таким образом, задача оценки действий летчика по управлению воздушным судном на этапе посадки является актуальной как для гражданской, так и для военной авиации, поскольку позволяет повысить безопасность полётов.
Рис. 1. Диаграммы распределения аварийных происшествий по этапам полёта и по видам нарушений личного состава
Выполненный анализ существующих способов оценивания качества пилотирования на основе информации бортовых устройств регистрации (БУР) показал их недостаточную эффективность.
В соответствии с Курсом боевой подготовки (КБП) оценка качества выполнения посадочного маневра определяется на основании данных бортовых и наземных средств объективного контроля, а также наблюдений инструктора и лиц группы руководства полетами (рис. 2).
Рис. 2. Структура формирования оценки
По КБП оценка техники пилотирования на этапе посадки по материалам бортовых СОК выполняется путем анализа параметров полета в 4-х контрольных сечениях глиссады (рис. 3): вход в глиссаду, прохождение дальнего приводного радиомаяка (ДПРМ), прохождение ближнего приводного радиомаяка (БПРМ), касание взлетно-посадочной полосы.
Рис. 3. Снижение самолёта по глиссаде
При этом полетные данные используются не в полном объеме: из 14 нормативных параметров, установленных КБП для оценки качества выполнения посадки, только 5 параметров определяются по материалам БУР, что составляет всего 35,7 %. Остальные параметры определяются на основании наблюдений инструктора и лиц группы руководства полетами, что вносит значительную долю субъективизма в итоговую оценку.
Таким образом, существует необходимость дополнения методики КБП параметрами, учитывающими характер пилотирования самолета на протяжении всего этапа снижения по глиссаде и регистрируемыми штатными БУР.
Читать полностью »
Про волнения в головах
2016-01-11 в 20:27, admin, рубрики: mindwave, SVM, Алгоритмы, Беспроводные технологии, интерфейсы, машинное обучение, мозговые волны, нейроинтерфейс, разработка
Пару месяцев назад мне захотелось поэкспериментировать с нейроинтерфейсом. Никогда этой темой не занимался, но вдруг стало любопытно. Вроде как лет 5-10 назад обещали бум нейроустройств, а всё что мы сейчас имеем на рынке — устройство чтобы махать ушами, устройство чтобы светить камешком, да устройство чтобы левитировать шаром. Где-то на подходе устройство чтобы будить вовремя. Вот тут есть неплохая статья про всё это дело. В то же время регулярно появляются какие-то исследования, где рассказывают, что люди могут научиться двигать роботическими руками-ногами или писать тексты (1, 2, 3, вот тут есть подборка). Но это всё опытное, в единственном экземпляре, со стоимостью аппаратуры как хорошее авто.
А где что-то посередине? Что-то полезное обычному пользователю? Пусть даже не везде, а в каких-то отдельных применениях. Ведь даже навскидку придумывается несколько вещей: детектор засыпания для водителя, повышение работоспособности (например через выбор музыки, или управление перерывами!). Можно выбрать что-то более специфическое. Например смотреть и анализировать своё состояние в киберспорте. Для этого же даже трекеры зрачков выпускают и используют. Почему нет таких применений? Этот вопрос мучил меня. В итоге решил почитать куда наука движется, а так же купить простенькую нейрогарнитуру и затестить. В статье — попытка разобраться в теме, немного исходников и много анализа текущих достижений потребительской электроники.
Читать полностью »
Клиническая обработка сигналов речи и машинное обучение. Часть 1
2014-08-21 в 3:53, admin, рубрики: 8 лет, DIY, diy или сделай сам, GP-EM, open source, PVI, SVM, Аарон Шварц, Алгоритмы, биоинформатика, здоровье, Паркинсон, Работа со звуком, распознавание речи
Из выступления Max Little (основателя PVI) на конференции TED в 2012 году.
Здравствуй, Хабрахабр. Данный цикл статей будет посвящен рассмотрению возможности и построению Open Source универсального анализатора нарушений речи.
В данной статье будет рассказано о проекте Parkinson Voice Initiative, посвященному ранней диагностике Болезни Паркинсона по голосу (успешность распознавания составляет 98,6± 2.1% за 30 секунд по телефонному разговору).
Будет произведено сравнение точности используемых в нем алгоритмов выбора особенностей (ВО) – Feature Selection Algorithm – LASSO, mRMR, RELIEF, LLBFS.
Битва между Random Forest (RF) и Supported Vector Machine (SVM) за звание лучшего анализатора в данного рода приложениях.
Начало
Читая статьи по синтезу и распознаванию речи, нашел упоминание о том, что при болезни изменяется голос. Проверив очевидность факта, что я не первый догадался использовать распознавание речи для диагностики болезней (первые клиницисты определили некоторые features — особенности еще в 40-х годах прошлого века, записывая на магнитофонную ленту, а потом вручную анализируя), пошел по ссылкам Гугла. Одна из первых указывала на проект PVI.