Для тех, кто досмотрел все сезоны новых и любимых сериалов, у нас есть кое-что поинтереснее — видео с Elasticsearch meetup в OZON. Читать полностью »
Рубрика «elasticsearch» - 6
Кое-что нашли: доклады с Elasticsearch Moscow meetup в OZON
2019-01-07 в 11:50, admin, рубрики: e-commerce, elasticsearch, javascript, ozon.ru, Блог компании OZON: life in tech, митап, Разработка веб-сайтовКак отличить шампунь от шампиньонов, а шампуры от шампанского… Elasticsearch — поиск товаров в магазинных базах данных
2018-12-13 в 14:12, admin, рубрики: data mining, elasticsearch, natural language processing, nlp, search engineЗадача
Одна из больших задач приложения для хранения и анализа покупок — поиск одинаковых или очень близких продуктов в базе данных, где собраны разномастные и непонятные наименования продуктов, полученные из чеков. Есть два вида входного запроса:
- Специфичное название с сокращениями, которое может быть понятно только кассирам местного супермаркета, либо заядлым покупателям.
- Запрос на естественном языке, введенный пользователем в поисковую строку
Запросы первого вида как правило исходят из продуктов в самом чеке, когда пользователю нужно подыскать продукты подешевле. Наша задача заключается в том, чтобы подобрать максимально похожий аналог товара из чека в других магазинах поблизости. Здесь важно подобрать наиболее соответствующую марку продукта и по возможности объём.
Высокодоступный и масштабируемый Elasticsearch в Kubernetes
2018-12-07 в 8:27, admin, рубрики: devops, elasticsearch, HA, kibana, kubernetes, Блог компании Southbridge, Серверное администрирование, системное программирование
В предыдущем посте мы масштабировали набор реплик MongoDB и познакомились со StatefulSet. Сейчас мы займемся оркестрацией кластера высокой доступности Elasticsearch (с другими мастер-нодами, нодами данных и клиентскими нодами) и задействуем ES-HQ и Kibana.
Вам понадобятся:
- Базовое представление об Elasticsearch, его типах нод и их ролях.
- Работающий кластер Kubernetes как минимум с тремя нодами (не меньше четырех ядер, 4 ГБ).
- Умение работать с Kibana.Читать полностью »
Подержанное авто в кредит за 1 минуту
2018-12-04 в 17:10, admin, рубрики: api, elasticsearch, highload, mongodb, mysql, php, yii, yii2, Блог компании «Колёса Крыша Маркет»
Вместо введения
Как и все интересные истории, эта началась достаточно давно и неожиданно. Однажды наш банк-партнер пришел к нам и сказал: “Ребята, мы научились делать скоринг в нашей системе за одну минуту. Как насчет того, чтобы объединить наши усилия и интегрировать проекты? С нас – решение и кредит, с вас – машины”. Сказать, что мы воодушевились, – ничего не сказать! Мы имели все шансы стать первыми чуть ли не в мире, кто может дать кредит онлайн на подержанное авто за одну минуту (ОДНУ МИНУТУ, КАРЛ)! Ниже я расскажу, что из этого получилось, но для начала расскажу вам, кто такие, собственно, МЫ.Читать полностью »
Поднимаем IDS-NMS: Mikrotik и Suricata c web-интерфейсом
2018-11-30 в 10:46, admin, рубрики: elasticsearch, filebeat, IDS, kibana, mikrotik, NMS, Suricata, информационная безопасность, системное администрированиеУ меня, видимо, такая карма: как ни возьмусь за реализацию какого-нибудь сервиса на опенсорсе, так обязательно найду кучу мануалов, каждый по отдельности из которых в моем конкретном случае не сработает, готовое решение толком не заведется или не понравится, случится еще какая-нибудь неудобоваримость, и в итоге приходится самому пробиваться к результату.
В этот раз все мануалы были на ELK5 или еще старше, а мне не очень хотелось ставить софтину пред-предыдущих версий. Мне хотелось взять софтину с наиболее перспективными сроками поддержки: желательно самое свежее из стабильного.
В итоге, чтобы в дальнейшем иметь возможность повторить совершенный подвиг без повтора всех мучений, приходится писать такие пошаговые шпаргалки, которыми и делюсь с вами.
Итак, сегодня Mikrotik (RouterOS), Suricata 4.1, Elasticsearch+Filebeat+Kibana 6.5.
Читать полностью »
Grafana как еще один инструмент для технического мониторинга создаваемых нами программных продуктов
2018-11-26 в 12:20, admin, рубрики: devops, elasticsearch, Grafana, graylog, Блог компании Southbridge, Серверное администрирование, системное администрированиеОчередная статья в серии «Инструменты мониторинга Logicify» рассказывает о Grafana. Это программное средство мы используем для визуализации и анализа данных как внутренних, так и внешних проектов. Статья может быть полезна техническим директорам, разработчикам, DevOps, системным администраторам, менеджерам проектов, а также всем заинтересованным лицам.
Оптимальное расположение шардов в петабайтном кластере Elasticsearch: линейное программирование
2018-11-13 в 13:23, admin, рубрики: elasticsearch, jvm, Shardonnay, Алгоритмы, высокая производительность, индексирование по времени, линейная оптимизация, Линейное программирование, линейный солвер, математика, Проектирование и рефакторинг, Серверная оптимизация, стек ELK
В самом сердце информационно-поисковых систем Meltwater и Fairhair.ai работает набор кластеров Elasticsearch с миллиардами статей из СМИ и социальных медиа.
Индексные шарды в кластерах сильно отличаются по структуре доступа, рабочей нагрузке и размеру, что поднимает некоторые очень интересные проблемы.
В этой статье мы расскажем, как применили линейное программирование (линейную оптимизацию) для максимально равномерного распределения рабочей нагрузки поиска и индексирования по всем узлам в кластерах. Это решение уменьшает вероятность, что один узел станет узким местом в системе. В результате мы увеличили скорость поиска и сэкономили на инфраструктуре.
Читать полностью »
Сопоставление товаров при помощи Elasticsearch для сервиса мониторинга цен конкурентов
2018-11-05 в 15:42, admin, рубрики: data mining, elasticsearch, интернет-маркетинг, поисковые технологии, Разработка веб-сайтов, Разработка под e-commerceВ далеком 2017 году, возникла идея разработать сервис мониторинга цен конкурентов. Его отличительной фишкой от остальных подобных сервисов должна была стать функция ежесуточного автоматического сопоставления товаров. Видимо из — за почти полного отсутствия информации о том, как это делать, сервисы по мониторингу цен предлагали лишь возможность ручного сопоставления силами самих клиентов, либо операторов сервиса с ценой от 0.2 до 1 рубля за факт сопоставления. Реальная же ситуация с, например, 10 сайтами и 20 000 товаров на каждом, неминуемо требует автоматизации процесса, так как ручное сопоставление уже слишком долгое и дорогое.
Ниже будет описан подход к автоматическому сопоставлению на примере ряда конкурирующих аптек с использованием технологии Elaticsearch.
Читать полностью »
ELK Stack для хранения логов Django приложения
2018-08-31 в 9:12, admin, рубрики: django, docker, elasticsearch, elk, kibana, logstash, системное администрированиеКаждый из проектов, который перерастает этап прототипа, нуждается в организации логирования. Грамотное логирования решает уйму проблем и помогает понять состояние проекта. На начальном этапе логирование в файл меня устраивало пока проект не разросся и поиск по логам не начал отнимать время.
Решением было создание централизованного лог хранилища с агрегацией логов и поиском. Выбор пал на ELK стек. ELK — сочетание трех OpenSource проектов: ElasticSearch, Logstash и Kibana. ELK хранит логи, строит графики и есть поддержка полнотекстового поиска с фильтрами. В статье описывается процесс настройки ELK стека для хранения логов Django приложения.Читать полностью »
Девять граблей Elasticsearch, на которые я наступил
2018-08-22 в 11:06, admin, рубрики: big data, data-node, elasticsearch, gudim, xms, xmx, Блог компании Яндекс.Деньги, кластер, Серверное администрирование, системное администрирование
«Подготовленный человек тоже наступает на грабли.
Но с другой стороны — там, где ручка.»
Elasticsearch — прекрасный инструмент, но каждый инструмент требует не только настройки и ухода, но и внимания к мелочам. Некоторые — незначительны и лежат на поверхности, а другие спрятаны так глубоко, что на поиск уйдет не один день, не один десяток кружек кофе и не один километр нервов. В этой статье расскажу про девять замечательных граблей в настройке эластика, на которые я наступил.
Читать полностью »