В этой статье мы подробно рассмотрим, как сделано B+ дерево в распределенной БД Apache Ignite.
Рубрика «Блог компании Сбербанк» - 6
B+ дерево в реальном проекте
2018-07-02 в 7:00, admin, рубрики: java, open source, Алгоритмы, базы данных, Блог компании Сбербанк, разработка
Мониторинг работы систем загородного дома: первые шаги к умному дому
2018-06-28 в 7:06, admin, рубрики: arduino, diy или сделай сам, internet of things, Блог компании Сбербанк, Интернет вещей, Разработка под Arduino, умный дом
Предыдущая заметка вызвала довольно бурную дискуссию и это обстоятельство убедило меня в необходимости продолжения того, что мы называем «делиться опытом». Итак, мы остановились на том, что после появления в доме альтернативных источников энергии, в первую очередь солнечного коллектора, захотелось измерять параметры, сопровождающие их работу. Например, для того, чтобы видеть, как меняется температура солнечного теплоносителя, не перегревается ли вода в бойлере и т.д. Понятно, что само по себе измерение чего-либо и даже передача этой информации к месту потребления (телеметрия) не увеличивают комфорт или безопасность, поэтому сразу же в «ТЗ» внесен пункт об удаленном управлении различными исполнительными устройствами. В этой статье я не буду приводить листинги кода, детализировать до мелочей все технические решения. Моя цель – показать ход мысли и принятые технические решения, а также их результат. Тому, кто захочет пойти похожим путем всё равно придется самостоятельно решать множество задач.
А нам все «вертикально» — СУБД Vertica
2018-06-25 в 6:48, admin, рубрики: big data, Vertica, Администрирование баз данных, Блог компании Сбербанк, СУБД, хранение данных, хранилища данныхПривет! Меня зовут Сергей, я работаю главным инженером в Сбертехе. В ИТ-сфере я примерно 10 лет, из которых 6 занимаюсь базами данных, ETL-процессами, DWH и всем, что связано с данными. В этом материале я расскажу о Vertica — аналитической и по-настоящему колоночной СУБД, которая эффективно сжимает, хранит, быстро отдает данные и отлично подходит в качестве big data решения.
Опыт использования солнечной энергии в московском регионе: за, против и кому это нужно
2018-06-18 в 7:00, admin, рубрики: diy или сделай сам, Блог компании Сбербанк, Сбертех, умный дом, энергия, Энергия и элементы питанияПривет! Меня зовут Ярослав Медокс, в Сбертехе я занимаюсь технологиями корпоративно-инвестиционного бизнеса. В этой заметке пойдет речь о вполне обычном подмосковном загородном доме, ставшем по прихоти его хозяина полигоном для проверки солнечной энергетики.
О будущем шеринга в России и в мире
2018-06-09 в 11:36, admin, рубрики: Startup Village, Блог компании Сбербанк, Исследования и прогнозы в IT, конференции, Сбербанк, шерингПочему для стартапов актуален принцип «Бей первым, Фредди», как спасти города от перманентных пробок и почему крупные компании все чаще хотят не продавать товары, а поставлять услуги – самые интересные тезисы и мысли в нашей подборке. Мы побывали на сессии «Шеринг и платформинг. Технологии, расширяющие радиус нашего взаимодействия» конференции Startup Village и делимся тезисами спикеров.
Догуглиться до senior-программиста за четыре года: метод «Школы 21»
2018-06-01 в 7:29, admin, рубрики: Блог компании Сбербанк, Карьера в IT-индустрии, обучение программированию, Сбербанк, Учебный процесс в IT, Школа 21, Школа 42Есть один простой способ научить человека плавать: добираетесь с ним туда, где поглубже, и бросаете в воду. Эффективность может быть колоссальной. В 2013 году в Париже была открыта частная некоммерческая школа программирования L’Ecole 42 (Школа 42), использующая аналогичный подход. Отсутствие учителей и строгого учебного плана — лишь глубокий проектный омут с дедлайнами на дне. Аналогичные школы открыли в Калифорнии, Румынии, Южной Африке, Украине, и практически везде проект стал успешным.
В России при поддержке Сбербанка открывается «Школа 21», использующая такой же подход. И в этом посте мы расскажем о ней абстрактному скептику.
Студенты Школы 42. Фото San Francisco Chronicle
Читать полностью »
Как выбрать инструмент для прототипирования в 2018 году?
2018-05-30 в 14:46, admin, рубрики: Блог компании Сбербанк, веб-дизайн, дизайн, дизайн мобильных приложений, прототипирование, Сбербанк, СбертехЗдравствуй! Меня зовут Саша Отважный, я работаю команде Digital Business Platform Сбербанка и Сбертеха, и занимаюсь дизайном мобильных приложений и веб-проектов. Большая часть моей работы состоит из сборки прототипов разной степени детализации для разных целей. Новые инструменты и сервисы для дизайна и прототипирования выходят и обновляются каждый день. Я провёл полное и глубокое исследование инструментов, представленных сегодня на рынке, и помогу в них разобраться.
Я разбил список на три большие группы по функциональности и разберу каждую по отдельности:
Грузим терабайты бочками или SparkStreaming vs Spring+YARN+Java
2018-05-21 в 6:00, admin, рубрики: big data, Hadoop, java, spark streaming, spring boot, YARN, Блог компании Сбербанк, высокая производительность
В рамках проекта интеграции GridGain и хранилища на базе Hadoop (HDFS + HBASE) мы столкнулись с задачей получения и обработки существенного объема данных, примерно до 80 Тб в день. Это необходимо для построения витрин и для восстановления удаленных в GridGain данных после их выгрузки в наше долговременное хранилище. В общем виде, можно сказать, что мы передаём данные между двумя распределёнными системами обработки данных при помощи распределённой системы передачи данных. Соответственно, мы хотим рассказать о тех проблемах, с которыми столкнулась наша команда при реализации данной задачи и как они были решены.
Так как инструментом интеграции является кафка (весьма подробно об этом инструменте описано в статье Михаила Голованова), естественным и легким решением тут выглядит использование SparkStreaming. Легким, потому что не нужно особо беспокоиться о падениях, переподключениях, коммитах и т.д. Spark известен, как быстрая альтернатива классическому MapReduce, благодаря многочисленным оптимизациям. Нужно лишь настроиться на топик, обработать батч и сохранить в файл, что и было реализовано. Однако в ходе разработки и тестирования была замечена нестабильность работы модуля приема данных. Для того чтобы исключить влияние потенциальных ошибок в коде, был произведен следующий эксперимент. Был выпилен весь функционал обработки сообщений и оставлено только прямое сохранение сразу в avro:
Читать полностью »
Митапы в мае: блокчейн в Москве и тестирование в Санкт-Петербурге
2018-05-18 в 5:15, admin, рубрики: IBM, meetup, Блог компании Сбербанк, блокчейн, конференции, платежные системы, Сбербанк, тестирование, Тестирование IT-систем, Учебный процесс в ITПривет!
Приглашаем на митапы в мае:
- 24 мая в Москве лекция Сбербанка и IBM «Блокчейн: возможности и практики»
- 29 мая в Санкт-Петербурге митап «Automation&Load Testing»
Проблемы матчинга и как можно с ними бороться
2018-05-16 в 8:41, admin, рубрики: big data, Hadoop, java, matching, spark, Блог компании СбербанкДобрый день! Меня зовут Алексей Булавин, я представляю центр компетенций Сбертеха по Big Data. Представители бизнеса, владельцы продуктов и аналитики часто задают мне вопросы по одной и той же теме — матчинг. Что это такое? Зачем и как его делать? Особенно популярен вопрос «Почему он может не получиться?» В этой статье я постараюсь на них ответить.
