В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer. Она включает обнаружение DGA-доменов — задача, решаемая с помощью базовых инструментов машинного обучения. Мы покажем, как с ней справиться, применяя самые простые методы. Знание сложных алгоритмов важно, но куда важнее — понимать базовые концепции и уметь применять их на практике, чтобы успешно демонстрировать свои навыки.
Рубрика «tf-idf»
Обнаружение DGA доменов или тестовое задание на позицию intern ML-engineer
2024-09-23 в 15:35, admin, рубрики: data science, machine learning, python3, rag, tf-idf, информационная безопасность, стажировка, тестовое заданиеКак найти иголку в стоге сена? Или обозор Retrieval Algorithms
2024-09-02 в 9:15, admin, рубрики: ANN, bm25, hnsw, hnswlib, k-d tree, LSH, product quantization, tf-idf
Появление трансформеров, а впоследствии LLM (Large Language Models) привело к активному распространению чат-ботов и различных ассистентов помогающих в получении информации или генерации контента. Но несмотря на то что LLM способны по запросу генерировать человекоподобные тексты, они подвержены галлюцинациямЧитать полностью »
Deep Learning vs common sense: разрабатываем чат-бота
2019-08-21 в 8:40, admin, рубрики: elmo, natural language processing, t-sne, tf-idf, usedataconf, Алгоритмы, Блог компании Конференции Олега Бунина (Онтико), визуализация данных, искусственный интеллект, косинусное расстояние, машинное обучение, сиамские сети, Чат-ботыЧем больше пользователей у вашего сервиса, тем выше вероятность, что им понадобится помощь. Чат с техподдержкой — очевидное, но довольно дорогое решение. Но если применить технологии машинного обучения, можно неплохо сэкономить.
Отвечать на простые вопросы сейчас может и бот. Более того, чат-бота можно научить определять намерения пользователя и улавливать контекст так, чтобы он мог решить большинство проблем пользователей без участия человека. Как это сделать, помогут разобраться Владислав Блинов и Валерия Баранова — разработчики популярного помощника Олега.
Двигаясь от простых методов к более сложным в задаче разработки чат-бота, разберем вопросы практической реализации и посмотрим, какой прирост качества можно получить и сколько это будет стоить.
Читать полностью »
Приложение на API hh.ru. Рекомендуем вакансии по вашему резюме
2016-06-21 в 9:21, admin, рубрики: api, cosine similarity, data mining, headhunter, HH, hh.ru, python, redis, tf-idf, Блог компании HeadHunter, машинное обучение, Программирование, рекомендации
Недавно я опубликовал пост, рассказывающий, как можно просто начать использовать наше API. Мне самому захотелось поиграться с данными, которые можно из него получить, и я решил написать приложение, рекомендующее актуальные вакансии на основе информации из резюме. В конце статьи будет ссылка на результат, где каждый сможет получить список рекомендаций по своему резюме.
Читать полностью »