Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.
Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.
Рубрика «Блог компании Конференции Олега Бунина (Онтико)» - 44
Текстовая трансляция HighLoad++ 2016. День первый
2016-11-07 в 6:34, admin, рубрики: highload, mysql, Алгоритмы, Блог компании Конференции Олега Бунина (Онтико), высоконагруженные приложения, высоконагруженные системы, Программирование, системное программирование
Масштабируемая конфигурация nginx
2016-10-26 в 12:09, admin, рубрики: nginx, Блог компании Конференции Олега Бунина (Онтико), игорь сысоев, системное администрирование
Игорь Сысоев ( isysoev )
Меня зовут Игорь Сысоев, я автор nginx и сооснователь одноименной компании.
Мы продолжаем разработку open source. С момента основания компании темпы разработки существенно увеличились, поскольку над продуктом работает множество людей. В рамках open source мы оказываем платную поддержку.
Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим «авто», поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра — это гораздо более глобальная задача, чем просто настройка nginx. Поэтому я буду рассказывать о другой масштабируемости — о масштабируемости конфигурации nginx, т.е. о том, как обеспечить рост конфигурации от сотни строчек до нескольких тысяч и при этом тратить минимальное (желательно константное) время на сопровождение этой конфигурации.Читать полностью »
Асинхронная репликация без цензуры
2016-10-25 в 18:56, admin, рубрики: mysql, postgresql, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, Олег Царёв, репликация, метки: олег царёв
Олег Царёв ( zabivator )
Есть мастер, мастер неожиданно упал, но система продолжает работать. Клиенты мигрируют на вторую базу. Нужно делать резервные копии базы. Если делать резервные копии на основной базе, мы можем получить какие-то проблемы производительности, увеличение времени отклика. Это плохо. Поэтому достаточно распространенный пример асинхронной репликации — это снятие резервной копии со слэйва. Другой пример — это миграция тяжелых запросов с мастера на слэйв, с основной базы на вторую. Например, построение отчетов.
Иногда бывает необходимо, чтобы приложение могло получать все обновления из базы и желательно в режиме реального времени. Этим занимается оpen source библиотека, которая называется libslave.
Читать полностью »
Sharding – patterns and antipatterns
2016-10-22 в 20:16, admin, рубрики: mysql, postgresql, алексей рыбак, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, константин осипов, Программирование, шардирование, метки: алексей рыбак, константин осипов, шардирование
Константин Осипов (
kostja ), Алексей Рыбак (
fisher )
Константин Осипов: Доклад родился из следующего разговора. Я, как всегда, пытался убедить Алексея больше использовать Tarantool, а он сказал, что там до сих пор нет шардинга и, вообще, неинтересно. Тогда мы стали рассуждать о том, почему нет. Я стал рассказывать, что тут нет одного универсального решения, автоматика полная за вас работает, а вы только кофе на работе пьете и все…
Поэтому родился этот доклад — чтобы посмотреть на то, какой бывает шардинг, какие методы в каких системах используются, какие преимущества и недостатки, почему нельзя одной «серебряной пулей» все решить?
Опыт построения и эксплуатации большого файлового хранилища
2016-10-22 в 19:56, admin, рубрики: Блог компании Конференции Олега Бунина (Онтико), даниил подольский, системное администрирование, СХД, файловые хранилища, хранение данных, хранилища данных
Даниил Подольский (Git in Sky)
Рассказ о том, что каждый инженер должен сделать в своей жизни после того, как он родил ребенка, посадил дерево и построил дом – это сделать свое файловое хранилище.
Доклад мой называется «Опыт построения и эксплуатации большого файлового хранилища». Большое файловое хранилище мы строим и эксплуатируем последние три года. В тот момент, когда я подавал тезисы, доклад назывался «Ночью через лес. Опыт построения эксплуатации бла-бла-бла». Но программный комитет попросил меня быть серьезнее, тем не менее, на самом деле это доклад «Ночью через лес».
Читать полностью »
Бинарные (файловые) хранилища, страшная сказка с мрачным концом
2016-10-21 в 21:31, admin, рубрики: Блог компании Конференции Олега Бунина (Онтико), даниил подольский, системное администрирование, СХД, файловые хранилища, хранение данных, хранилища данных, метки: даниил подольский, файловые хранилища
Даниил Подольский (Git in Sky)
Доклад мой называется «Бинарные, они же файловые, хранилища», но, на самом деле, мы имеем дело со страшной сказкой. Проблема в том (и это тезис моего доклада), что сейчас не существует не то что хорошей, а хотя бы приемлемой системы хранения файлов.
Что такое файл? Файл – это кусок данных с именем. Что важно? Почему файл – это не строка в базе данных?
Файл слишком большой, чтоб можно было обращаться с ним как с одним куском. Почему? Есть у вас сервис, раз у нас HighLoad конференция, у вас сервис, который держит одновременно 100 тыс. соединений. Это не так уж много, если по каждому из соединений мы отдаем файл в 1 Мбайт размером, но нам нужно примерно 100 Гбайт памяти для буферов под эти файлы.
Читать полностью »
Сага о кластере. Все, что вы хотели знать про горизонтальное масштабирование в Postgres‘е
2016-10-12 в 18:41, admin, рубрики: postgresql, sql, александр коротков, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, кластер, олег бартунов, федор сигаев, метки: александр коротков, олег бартунов, федор сигаев
Олег Бартунов (@zen), Александр Коротков (@smagen), Федор Сигаев
Илья Космодемьянский: Сейчас будет самая животрепещущая тема по PostgreSQL. Все годы, что мы занимаемся консалтингом, первое, что спрашивают люди: «Как сделать мультимастер-репликацию, как добиться волшебства?». Много профессиональных волшебников будут рассказывать о том, как это сейчас хорошо и здорово реализовано в PostgreSQL — ребята из Postgres Professional в рамках этого доклада расскажут про кластер все. Название соответствующее — «Сага» — что-то эпическое и монументальное. Сейчас ребята из Postgres Professional начнут свою сагу, и это будет интересно и хорошо.
Итак, Олег Бартунов, Александр Коротков и Федор Сигаев.
Читать полностью »
Как выбрать In-memory NoSQL базу данных с умом. Тестируем производительность
2016-10-07 в 15:26, admin, рубрики: nosql, tarantool, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, дмитрий калугин-балашов, метки: дмитрий калугин-балашов
Дмитрий Калугин-Балашов (Mail.RU)
Доклад у меня по базам данных In-Memory NoSQL. Кто знает, что такое In-Memory NoSQL база данных? Поднимите руки, пожалуйста… Как вам не стыдно? Зал по базам данных, и только половина знает, что это такое.
Если вы выбираете базу данных, ориентируясь на ее популярность, то так делать не надо. Как, вообще, выбираем базы данных?
Docker в работе взгляд на его использование в Badoo (год спустя)
2016-10-05 в 17:39, admin, рубрики: devops, docker, антон турецкий, Блог компании Конференции Олега Бунина (Онтико), виртуализация, системное администрирование, метки: антон турецкийАнтон Турецкий (Badoo)
Сегодня я приглашу вас на такую внутреннюю кухню Badoo расскажу о том, нужен ли Docker нам. Вы попробуете сделать выводы для себя, нужен ли он вам. Этой информации на просторах Интернета, соответственно, нет, потому что она вся вот такая – в нашем тесном узком кругу.
В течение доклада я расскажу про самую значимую вещь, которая касается того, с чего надо начинать выполнение любой задачи. Надо решить, зачем вы ее делаете, зачем вы за это беретесь?
Для себя мы на эти вопросы ответили, без проблем у нас не было бы никакого внедрения. Какую-то часть проблем мы решаем. Я выделил основные из них, я расскажу вам о них и о том, как мы с ними справились. В конце я порекламирую нас, какие мы замечательные, как мы любим всякие-разные новые велосипеды, как мы их делаем, смотрим, изобретаем. Я вам их покажу, про них расскажу, вы составите какое-то свое мнение. Итак, поехали!
Читать полностью »
Как перестать отлаживать асинхронный код и начать жить
2016-10-02 в 22:10, admin, рубрики: frontendconf, javascript, Schlecht!Script, андрей саломатин, Блог компании Конференции Олега Бунина (Онтико), параллельное программирование, Программирование, метки: frontendconf, Schlecht!Script, андрей саломатинАндрей Саломатин ( filipovskii_off)
Сегодня каждый день появляются новые языки программирования — Go, Rust, CoffeeScript — все, что угодно. Я решил, что я тоже горазд придумать свой язык программирования, что миру не хватает какого-то нового языка…
Дамы и господа, я представляю вам сегодня Schlecht!Script — чумовой язык программирования. Мы все должны начать им пользоваться прямо сейчас. В нем есть все то, к чему мы привыкли — в нем есть условные операторы, есть циклы, есть функции и функции высших порядков. В общем, в нем есть все, что нужно нормальному языку программирования.
Что в нем не очень обычно, что может даже оттолкнуть, на первый взгляд, — это то, что в Schlecht!Script функции имеют цвет.Читать полностью »