Рубрика «Блог компании Ростелеком» - 3

в 13:24, , рубрики: oracle, sql, Администрирование баз данных, Блог компании Ростелеком, качество данных (Data Quality), Ростелеком, хранение данных

В «Ростелекоме», как и в любой крупной компании, имеется корпоративное хранилище данных (ЦХД). Наше ЦХД постоянно разрастается и расширяется, мы строим на нем полезные витрины, отчеты и кубы данных. В какой-то момент мы столкнулись с тем, что некачественные данные мешают нам при построении витрин, получаемые агрегаты не сходятся с агрегатами систем источников и вызывают непонимание бизнеса. Например, данные с Null значениями в внешних ключах (foreign key) не соединяются с данными других таблиц.

Автоматизация качества данных корпоративного хранилища - 1

Мы понимали, что для обеспечения уверенности в качестве данных нам нужен регулярный процесс сверок. Конечно, автоматизированный и позволяющий каждому из технологических уровней быть уверенным в качестве данных и их сходимости, как по вертикали, так и по горизонтали. В итоге мы параллельно рассмотрели три готовые платформы для управления сверками от различных вендоров и написали свою собственную. Делимся опытом в этом посте.
Читать полностью »

в 9:27, , рубрики: big data, Hadoop, MapReduce, Блог компании Ростелеком, хранение данных

В «Ростелекоме» мы используем Hadoop для хранения и обработки данных, загруженных из многочисленных источников с помощью java-приложений. Сейчас мы переехали на новую версию hadoop с Kerberos Authentication. При переезде столкнулись с рядом проблем, в том числе и с использованием YARN API. Работа Hadoop с Kerberos Authentication заслуживает отдельной статьи, а в этой мы поговорим об отладке Hadoop MapReduce.

Тестирование и отладка MapReduce - 1
Читать полностью »

в 7:00, , рубрики: Apache, big data, etl, Hadoop, Блог компании Ростелеком, хранение данных

Сегодня на тематических зарубежных сайтах о Big Data можно встретить упоминание такого относительно нового для экосистемы Hadoop инструмента как Apache NiFi. Это современный open source ETL-инструмент. Распределенная архитектура для быстрой параллельной загрузки и обработки данных, большое количество плагинов для источников и преобразований, версионирование конфигураций – это только часть его преимуществ. При всей своей мощи NiFi остается достаточно простым в использовании.

image

Мы в «Ростелекоме» стремимся развивать работу с Hadoop, так что уже попробовали и оценили преимущества Apache NiFi по сравнению с другими решениями. В этой статье я расскажу, чем нас привлек этот инструмент и как мы его используем.
Читать полностью »

в 12:32, , рубрики: java, kotlin, Блог компании Ростелеком, поисковые технологии

Сегодня многие разрабатывают enterprise-приложения на Java с использованием spring boot. В ходе проектов часто возникают задачи по созданию поисковых систем разной сложности. Например, если вы разрабатываете систему, хранящую данные о пользователях и книгах, то рано или поздно в ней может потребоваться поиск по имени/фамилии пользователя, по названиям/аннотациям для книг.

Как начать работать с Hibernate Search - 1

В этом посте я вкратце расскажу об инструментах, которые могут помочь в решении таких задач. А затем представлю демо-проект поискового сервиса, где реализована более интересная и сложная фича — синхронизация сущностей, БД и поискового индекса. На примере этого демо-проекта вы сможете познакомиться с Hibernate Search — удобным способом общения с полнотекстовыми индексами Solr, Lucene, ElasticSearch.
Читать полностью »

в 15:26, , рубрики: agile, scrum, Блог компании Ростелеком, конференции, митап, Ростелеком, управление проектами, управление разработкой

13 ноября мы с компанией AgileVerse приглашаем всех в 19:00 в московский DI Telegraph на теплый ламповый вечер с настольными играми. Вместо D&D, Манчкина или какой-нибудь другой классики вас будет ждать Scrum Values Game — новая игра, которая поможет врубиться в ценности скрам — фреймворка и связать их с обычными кейсами. (Да, и при этом не запороть реальные проекты — игра же!)

Скрам-митап с настольной игрой: приглашаем на Scrum Values Game - 1

А после митапа AgileVerse раздаст сотню коробок с этой игрой, чтобы вы могли показать ее коллегам и друзьям. Подробности под катом.
Читать полностью »

в 14:35, , рубрики: Jenkins, oracle, python, sql, Администрирование баз данных, базы данных, Блог компании Ростелеком, Серверное администрирование, системы сборки

Все началось с того, что мы столкнулись с потребностью быстро и правильно формировать структуры EDWEX, JSON, DDL и затем раскатывать их на разных контурах реляционных БД. Под контурами я подразумеваю знакомые всем аббревиатуры — DEV, TST, UAT, PRD.

Как автоматизировать с Jenkins сборку и раскатку артефактов модели метаданных для таблиц в хранилище - 1

На тот момент мы делали практически все вручную: и генерировали DDL, и собирали edwex-ы и json-ы на основе метаданных из Oracle БД. Входных параметров множество. Упустишь один — и некорректно сформируешь сущность. А так как весь процесс формирования был последовательным и непрерывным, то ошибка обнаружится только в самом конце. О том, как мы все автоматизировали и побороли ошибки, читайте под катом.
Читать полностью »

в 14:45, , рубрики: agile, scrum, Блог компании Ростелеком, Ростелеком, Управление продуктом, управление проектами

8 октября в московском DI Telegraph пройдет Scrum Day 2018 — одна из конференций, которые по всему миру организует Scrum.org. Особенность Scrum Day в том, что точная программа конференции заранее неизвестна и упор делается на общение в малых группах. Каждый участник может заявить свою тему и затем обсудить ее с коллегами. Таким образом в течение дня параллельно раскрываются десятки актуальных тем. Подробная информация — под катом.
 
Scrum Day — конфа высокой концентрации смыслов - 1
Читать полностью »

в 13:50, , рубрики: банкинг, биометрия, Блог компании Ростелеком, Законодательство в IT, информационная безопасность, хранение данных

С начала июля в некоторых банках начала работать единая биометрическая система, созданная «Ростелекомом» по инициативе Министерства цифрового развития, связи и массовых коммуникаций и Центрального банка РФ. В этом посте мы подробно расскажем, как работает новая система, а в комментариях постараемся ответить на ваши вопросы, связанные с ней.  

Как работает Единая биометрическая система - 1
Читать полностью »

в 11:11, , рубрики: python, Блог компании Ростелеком, информационная безопасность, кибербезопасность, обучение, олимпиада школьников, Учебный процесс в IT, Хакатоны

Информация — один из столпов современного общества. Персональные данные граждан, коммерческие тайны организаций, инсайды и финансовые данные, платежные карты — всё это и многое другое должно храниться и обрабатываться в максимально защищенной среде.

Чем лакомее для потенциальных злоумышленников информация, тем более дорогими и изощренными могут быть методы взлома. Новые поколения киберугроз просто должны найти себе достойного соперника в виде нового поколения киберзащиты. И здесь под новым поколением защиты мы понимаем не просто программные средства и методы, но и самих людей.

Расти безопасника смолоду — образовательная программа Ростелекома и МФТИ - 1

С 1 по 24 ноября на базе образовательного центра «Сириус» в Сочи мы в партнерстве с МФТИ запускаем образовательную программу по кибербезопасности — с кучей практических занятий по реверс-инжинирингу, веб-безопасности, киберкриминалистике, криптографии, безопасности IoT, мобильных платформ. Выбирать участников будем с 11 по 15 сентября среди учеников 8–11 классов с помощью онлайн-олимпиады. Все подробности — под катом.
Читать полностью »

в 13:46, , рубрики: agile, less, scrum, Блог компании Ростелеком, конференции, конференция, Управление продуктом, управление разработкой

Методологию скрам постепенно осваивают все большие по масштабам команды. Такой опыт есть и у нашей компании. Совместно с Unusual Concepts мы планируем поделиться своими наработками со всеми желающими в рамках дня Large-Scale Scrum — LeSS Day 2018, который пройдет 16 июля в офисе Comcity в Москве.

Мероприятие бесплатное, а участники из других городов смогут посмотреть онлайн-трансляцию, которую мы запустим в нашем блоге.

Скрам в большие команды: LeSS Day 2018 - 1
Читать полностью »

1...234...5
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js