5 лет назад мы сделали форк Manticore из open source версии некогда популярного open source поискового движка Sphinx 2.3.2. У нас было два пакетика травы, семьдесят пять ампул мескалинаЧитать полностью »
Рубрика «sphinxsearch»
Manticore — альтернатива Эластику на C++ с 21-летней историей
2022-07-18 в 7:33, admin, рубрики: elasticsearch, search engines, sphinx, sphinxsearch, Администрирование баз данных, поисковые технологииСвой велосипед для синхронизации MariaDB и Sphinx
2019-04-11 в 9:12, admin, рубрики: Go, golang, mariadb, sphinx, sphinxsearch, Блог компании Superjob.ru, поисковые технологии
28 февраля я выступал с докладом на SphinxSearch-meetup, который проходил в нашем офисе. Рассказывал о том, как мы пришли от регулярного перестроения индексов для полнотекстового поиска и отправки обновлений в коде «по месту» к рейлтайм-индексам и автоматической синхронизации состояния индекса и базы данных MariaDB. По ссылке доступна видеозапись моего доклада, а для тех, кто предпочитает чтение просмотру видео, я написал эту статью.
Эволюция поиска — как купить пианино в три клика
2018-11-27 в 11:04, admin, рубрики: golang, highload, kubernetes, php, sphinx, sphinxsearch, поисковые технологииРаньше на Авито можно было найти нужный товар, используя фильтрацию по ключевым словам или навигацию по дереву категорий. Этот способ, хоть и казался привычным, был не всегда удобен — чтобы найти товар или услугу, нужно было сделать большое количество кликов. Более года назад у нас появилась релевантность, благодаря которой поиск стал лучше, и найти товар или услугу теперь проще и удобнее даже на главной странице. С этим нововведением в выдачу перестали попадать неподходящие, откровенно «мусорные» товары. И это только один из шагов, чтобы сделать поиск лучше. Мы постепенно изменяем инфраструктуру, что позволяет нам работать над качеством поиска более интенсивно, быстрее улучшать его и выкатывать новые фичи, приносящие пользу продавцам и покупателям на Авито.
В статье я расскажу, как менялся поиск на Авито: с чего начинали и как мы сейчас движемся по пути к улучшению жизни наших пользователей, поделюсь нашими нововведениями как в продукте, так и в его начинке — технической части. Совсем хардкорного мяса здесь не будет, но, надеюсь, вам понравится.
Нечеткий поиск (fuzzy search) в реляционных базах данных
2018-04-22 в 13:26, admin, рубрики: elasticsearch, h2, java, lucene, mongodb, orientdb, sphinxsearch, Администрирование баз данных, Разработка веб-сайтовДля поиска нужной информации на веб-сайтах и в мобильных приложениях часто используется поиск по словам или фразам, которые пользователь свободно вводит с клавиатуры (а не выбирает например из списка). Естественно, что пользователь может допускать ошибки и опечатки. В этом случае полнотекстовый поиск, полнотекстовые индексы, которые реализованы в большинстве базы данных не дают ожидаемого результата и практически бесполезны. Такой функционал все чаще реализуют на основе elasticsearch.
Решения с использованием elasticsearch имеют один существенный недостаток — очень большая вероятность рассогласования основной базы данных, например PostgreSQL, MySQL, mongodb и elasticsearch, в которой хранятся индексы для поиска.
Читать полностью »
Видео докладов с Go 1.8 release party Moscow
2017-02-22 в 9:58, admin, рубрики: Go, golang, goreleaseparty, meetup, php, sphinx, sphinxsearch, Блог компании Avito
16 февраля Golang-сообщество устроило глобальный сбор в честь релиза версии 1.8. На московскую release party в офисе Avito собрались более 150 «гоферов» и сегодня мы публикуем видео-записи докладов.
Читать полностью »
Devconf 2016: Интервью с разработчиком SphinxSearch
2016-06-08 в 10:28, admin, рубрики: 3d графика, devconf, devconf 2016, game development, sphinx, sphinxsearch, Блог компании DevConf, Программирование, разработка игр
Мы любим делать интервью с нашими докладчиками. На этот раз — интервью с Андреем shodan Аксеновым, создателем поискового движка SphinxSearch(не знаю как сейчас, но раньше хабр использовал именно этот движок для поиска по сайту) и, как оказалось, еще пары движков. На нашей конференции он будет рассуждать на извечную тему: Devs vs CTO vs CEO. Само интервью вышло довольно интересным. Андрей честно и откровенно ответил на вопросы, за что ему большой респект :)
Я тебя знаю как разработчика Sphinxsearch, но, как показывает твоя краткая биография, которую ты дал в описании доклада, похоже компьютерная графика — твоя главная страсть?
Все одновременно проще и сложнее, какой-то главной мегастрасти нету :) Есть сколько-то интересные области, есть безразличные. Делать всякий низкий уровень, типа поискового движка, 3D игры, обработки видеозахвата, крохотного недогипервизора (V8086), патчить MySQL или ядро операционки, писать спецмодули к Апачику, улучшать известный алгоритм сжатия или даже просто ковыряться с особо толстыми и тормозными SQL запросами — все это бывает довольно интересно (а бывает нет! но чаще интересно). А вот рисовать формочки для GUI, неважно, на моднейшем Node.js или дохлом Delphi, или там править унылые отчеты в 1C — таки не очень. Говорю по личному опыту, тк. в какой-то мере занимался всем вышеперечисленным и еще всяким.
Читать полностью »
Чем заменить ELK для просмотра логов?
2016-05-05 в 15:24, admin, рубрики: elasticsearch, kibana, logging, python, RabbitMQ, sphinx, sphinxsearch, поисковые технологииЧто обычно делает python-программист, когда его отправляют воевать с ошибкой?
Сначала он лезет в sentry. Здесь можно найти время, сервер, подробности сообщения об ошибке, traceback и, может быть, какой-нибудь полезный контекст. Затем, если этих данных недостаточно, программист идет c бутылкой к админам. Те залезают на сервер, ищут это сообщение в файловых логах, и, может быть, находят его и некоторые предшествующие ошибке записи, которые в редких случаях могут помочь в расследовании.
А что делать, если в логах только loglevel=ERROR, а ошибка настолько крута, что ее локализация требует сопоставления логики поведения нескольких различных демонов, которые запущены на десятке серверов?
Решение — централизованное хранилище логов. В самом простом случае — syslog (за 5 лет, что был развернут в rutube, не использовался ни разу), для более сложных целей — ELK. Скажу честно, "ластик" — крут, и позволяет быстро крутить разнообразную аналитику, но вы интерфейс Kibana видели? Этой штуке так же далеко до консольных less/grep, как винде до линукса. Поэтому мы решили сделать свой велосипед, без Java и Node.js, зато с sphinxsearch и Python.
DevConf 2014: Андрей Аксенов, автор Sphinx — расскажет как устроены внутри NoSQL хранилища
2014-05-23 в 7:39, admin, рубрики: devconf, mongodb, nosql, sphinxsearch, Блог компании DevConf, Веб-разработка, конференция для разработчиков, разработка, метки: devconf, mongodb, nosql, sphinxsearch, конференция для разработчиков 
Если вы уже знаете, что такое B+tree, Fractal tree, LSM, SSTable, columnar storage, Bloom filter, read/write amplification, что значат буквы No в слове NoSQL, каким чудом поколоночные базы жмут данные в 100+ раз, и почему файл на диске тоже NoSQL, только маленький и злой, вам совершенно нечего делать на этом докладе. Для всех остальных мы устроим краткий обзор всего цветничка разных структур хранения данных, использующихся в современных постреляционных БД и, понятное дело, попытаемся еще сильнее запутать ответы на главные вопросы бытия («Так все же SQL или NoSQL победит?», «Какую базу брать?» Читать полностью »
Sphinx / Презентация: «Sphinx — полнотекстовый поиск на сайте, просто и доступно»
2012-02-08 в 6:48, admin, рубрики: sphinxsearch, интернет-магазин, презентация, метки: sphinxsearch, интернет-магазин, презентация Вкратце: хочу сделать презентацию и пару раз выступить на конференциях интернет магазинов. Написал текст презентации, нужны отзывы. Надеюсь на вашу помощь в составлении грамотного и доступного текста.
Текущий текст презентации под катом
Общие сведения о полнотекстовом поиске
Полнотекстовый поиск – это по сути гугл и яндекс технологии: пользователь вводит поисковый запрос – получает ответ в виде определенного набора страниц. На сайте интернет магазина это скорее всего будет список продуктов, наиболее близко подходящих под поисковый запрос. Есть такое понятие – релевантность, так вот, она важна. ТакжеЧитать полностью »