В контексте событий про Open Distro, открытие исходников X-Pack, а также статьи «The Cloud and Open Source Powder Keg» — перевод поста Шейя Бэнона (основатель и CEO Elastic).
Рубрика «elasticsearch» - 6
Про «Open» Distros, Open Source, и создание компании Elastic
2019-03-29 в 14:52, admin, рубрики: elastic, elasticsearch, open source
PVS-Studio for Java отправляется в путь. Следующая остановка — Elasticsearch
2019-03-28 в 7:02, admin, рубрики: elasticsearch, java, open source, pvs-studio, static code analysis, Блог компании PVS-Studio, поисковые технологии
Далеко не первый год команда PVS-Studio ведет блог о проверках open-source проектов одноименным статическим анализатором кода. На сегодняшний момент проверено более 300 проектов, а в базу найденных ошибок выписано более 12000 случаев. Изначально анализатор был реализован для проверки C и C++ кода, далее появилась поддержка языка C#. Поэтому среди проверенных проектов большая часть (> 80%) приходится именно на C и C++. Совсем недавно к поддерживаемым языкам прибавился Java, а это значит, что перед PVS-Studio открываются двери в новый мир, и пора дополнять базу ошибками из Java проектов.
Java мир огромен и многообразен, поэтому глаза разбегаются при выборе проекта для испытания нового анализатора. В конечном итоге, выбор пал на движок полнотекстового поиска и аналитики Elasticsearch. Это достаточно успешный проект, а в успешных проектах находить ошибки вдвойне, а то и втройне приятнее. Так что, какие же дефекты обнаружил PVS-Studio для Java? О результате проверки и пойдет речь в статье.
Читать полностью »
Облака и пороховая бочка Open Source
2019-03-23 в 11:54, admin, рубрики: amazon, Commons Clause, elastic, elasticsearch, open source, бизнес-модели, облачные сервисы, первая мировая война, свободная лицензия
«Европа сегодня похожа на пороховой погреб, а лидеры — словно люди, курящие внутри. Одна искра вызовет взрыв, который погребёт нас всех. Я не знаю, когда это произойдёт, но знаю, где. Всё испортит какое-нибудь дурацкое событие на Балканах» — Отто фон Бисмарк, 1878
Сто лет назад 11 ноября 1918 года было подписано перемирие, положившее конец Первой мировой войне. Число потерянных жизней в той войне сейчас трудно себе представить. Например, в Америке по праву считают вьетнамскую войну военной катастрофой. За двадцать лет боевых действий США потеряли 58 318 бойцов. Для сравнения, только в первой битве на Марне в 1914 году союзники потеряли вчетверо больше. За пять дней.
Читать полностью »
Amazon выпустила Open Distro for Elasticsearch
2019-03-13 в 4:13, admin, рубрики: amazon, AWS, elastic, elasticsearch, elk, open sourceЭта статья — обзор новостей о том, как:
- Amazon выпустила Open Distro for Elasticsearch
- почему они это сделали?
- что это значит для компании Elastic и для Open Source вообще?
Elastic
Жила была компания Elastic.
Было у них несколько Open Source продуктов:
- сам Elasticsearch: сервер, который получает, хранит логи и позволяет по ним делать поиск
- Kibana: frontend движок, который берёт данные из Elasticsearch и из них рисует красивые репорты
- ещё несколько утилит, которые собирают логи. Например LogStash
Elasticsearch бывают называют ELK (лось), как акроним основных элементов:
— Elasticsearch
— LogStash
— Kibana
Хотя компоненты «L» и «K» в общем-то можно заменять на другие: Beats, Grafana,…
Ещё у Elastic есть X-Pack.
Это коммерческий продукт. Часть из возможностей X-Pack — платная (довольно дорогая) и часть — бесплатная (но лицензия всё равно коммерческая).
X-Pack расширяет возможности ELK:
— security
— alerting
— monitoring
— reporting
— graph
— …
Причём если не ставить X-Pack, то отсутствуют некоторые довольно существенные возможности. Например, по умолчанию ELK отсутствует аутентификация, то все данные «торчат» наружу. Можно прикрутить обратный прокси и сделать basic authentication (так себе вариант), а можно купить X-Pack.
Ход 1: Elastic хитро меняет лицензию
How to Discover MongoDB and Elasticsearch Open Databases
2019-03-10 в 7:48, admin, рубрики: data breach, data loss, elasticsearch, mongodb, shodan, Администрирование баз данных, информационная безопасность, поисковые технологии, системное администрированиеSome time ago among security researchers, it was very “fashionable” to find improperly configured AWS cloud storages with various kinds of confidential information. At that time, I even published a small note about how Amazon S3 open cloud storage is discovered.
However, time passes and the focus in research has shifted to the search for unsecured and exposed public domain databases. More than half of the known cases of large data leaks over the past year are leaks from open databases.
Today we will try to figure out how such databases are discovered by security researchers...
Как мы находим проблемные релизы с помощью Graphite и Moira. Опыт Яндекс.Денег
2019-01-18 в 7:28, admin, рубрики: devops, elasticsearch, grafana dsl, heka, java, kibana, log4j, moira, open source, Блог компании Яндекс.Деньги, мониторинг инфраструктуры, релиз-менеджмент, системное администрирование, яндекс.деньгиПривет! Вдоволь наотдыхавшись после длинных праздников, мы снова готовы причинять вам пользу всеми доступными способами. Коллегам из IT-департамента всегда есть что рассказать, и сегодня мы делимся с вами докладом Александра Призова, системного администратора Яндекс.Денег, с митапа JavaJam.
Как мы выстроили поток обратной связи для обнаружения проблемных релизов с помощью Graphite и Moira. Расскажем, как собирать и анализировать метрики о количестве ошибок в приложении.
Кое-что нашли: доклады с Elasticsearch Moscow meetup в OZON
2019-01-07 в 11:50, admin, рубрики: e-commerce, elasticsearch, javascript, ozon.ru, Блог компании OZON: life in tech, митап, Разработка веб-сайтов
Для тех, кто досмотрел все сезоны новых и любимых сериалов, у нас есть кое-что поинтереснее — видео с Elasticsearch meetup в OZON. Читать полностью »
Как отличить шампунь от шампиньонов, а шампуры от шампанского… Elasticsearch — поиск товаров в магазинных базах данных
2018-12-13 в 14:12, admin, рубрики: data mining, elasticsearch, natural language processing, nlp, search engineЗадача
Одна из больших задач приложения для хранения и анализа покупок — поиск одинаковых или очень близких продуктов в базе данных, где собраны разномастные и непонятные наименования продуктов, полученные из чеков. Есть два вида входного запроса:
- Специфичное название с сокращениями, которое может быть понятно только кассирам местного супермаркета, либо заядлым покупателям.
- Запрос на естественном языке, введенный пользователем в поисковую строку
Запросы первого вида как правило исходят из продуктов в самом чеке, когда пользователю нужно подыскать продукты подешевле. Наша задача заключается в том, чтобы подобрать максимально похожий аналог товара из чека в других магазинах поблизости. Здесь важно подобрать наиболее соответствующую марку продукта и по возможности объём.
Высокодоступный и масштабируемый Elasticsearch в Kubernetes
2018-12-07 в 8:27, admin, рубрики: devops, elasticsearch, HA, kibana, kubernetes, Блог компании Southbridge, Серверное администрирование, системное программирование
В предыдущем посте мы масштабировали набор реплик MongoDB и познакомились со StatefulSet. Сейчас мы займемся оркестрацией кластера высокой доступности Elasticsearch (с другими мастер-нодами, нодами данных и клиентскими нодами) и задействуем ES-HQ и Kibana.
Вам понадобятся:
- Базовое представление об Elasticsearch, его типах нод и их ролях.
- Работающий кластер Kubernetes как минимум с тремя нодами (не меньше четырех ядер, 4 ГБ).
- Умение работать с Kibana.Читать полностью »
Подержанное авто в кредит за 1 минуту
2018-12-04 в 17:10, admin, рубрики: api, elasticsearch, highload, mongodb, mysql, php, yii, yii2, Блог компании «Колёса Крыша Маркет»
Вместо введения
Как и все интересные истории, эта началась достаточно давно и неожиданно. Однажды наш банк-партнер пришел к нам и сказал: “Ребята, мы научились делать скоринг в нашей системе за одну минуту. Как насчет того, чтобы объединить наши усилия и интегрировать проекты? С нас – решение и кредит, с вас – машины”. Сказать, что мы воодушевились, – ничего не сказать! Мы имели все шансы стать первыми чуть ли не в мире, кто может дать кредит онлайн на подержанное авто за одну минуту (ОДНУ МИНУТУ, КАРЛ)! Ниже я расскажу, что из этого получилось, но для начала расскажу вам, кто такие, собственно, МЫ.Читать полностью »