Все организации, которые имеют хоть какое-то отношение к данным, рано или поздно сталкиваются с вопросом хранения реляционных и неструктурированных баз. Непросто найти одновременно удобный, эффективный и недорогой подход к этой проблеме. А еще сделать так, чтобы на данных смогли успешно работать дата-сайентисты с моделями машинного обучения. У нас получилось – и хотя пришлось повозиться, итоговый профит оказался даже больше ожидаемого. Обо всех подробностях расскажем ниже.
Рубрика «Блог компании ВТБ» - 2
Из нагруженной MPP СУБД — бодрый Data Lake с аналитическими инструментами: делимся подробностями создания
2018-08-14 в 13:58, admin, рубрики: big data, data lake, Блог компании ВТБ, втб, машинное обучение, хранение данных, хранилища данных
Машинное обучение против кредитных рисков, или «давай, Джини, давай»
2018-07-23 в 9:44, admin, рубрики: big data, Hadoop, Блог компании ВТБ, машинное обучение, финтехБанк — это по определению «кредитно-денежная организация», и от того, насколько успешно эта организация выдает и возвращает кредиты, зависит ее будущее. Чтобы успешно работать с кредитами, нужно понимать финансовое положение заемщиков, в чем помогают факторы кредитного риска (ФКР). Кредитные аналитики выявляют их в огромных массивах банковской информации, обрабатывают эти факторы и прогнозируют дальнейшие изменения. Обычно для этого используется описательная и диагностическая аналитика, но мы решили подключить к работе инструменты машинного обучения. О том, что получилось, читайте в посте.
Как мы спасали карточный процессинг с помощью Exadata
2018-06-29 в 8:31, admin, рубрики: Exadata, Блог компании ВТБ, втб, процессинг, хранение данныхВ последние 10 лет ВТБ переживает мощный рост вычислительной нагрузки. Каждый год она увеличивалась в полтора раза, а объем учетных данных — в два. Службы поддержки очень старались, но угнаться за этими темпами было непросто: планы запросов отъезжали, дисковое пространство заканчивалось, обновления прикладного кода съедали все ресурсы. В этом посте мы расскажем, как решили проблему без больших трат на еще один IBM System p.
Изменили 30% техзадания и вдвое перевыполнили план: как ВТБ автоматизировал отчетность
2018-06-08 в 11:49, admin, рубрики: банки, Блог компании ВТБ, втб, отчетность, управление проектами, финансыБанк России постоянно разрабатывает новые требования к представляемой коммерческими банками информации и два раза в год вносит изменения в нормативные документы о порядке формирования и представления форм отчетности. Когда отчеты в банке хранятся в разных системах, вносить регулярные изменения неудобно. Так что мы наладили единую систему, в которой можно быстро обновлять нужные критерии и оптимизировать процесс сбора отчетности. В этом посте мы расскажем, как это делали.
Как упаковать три больших банка в один сайт
2018-05-17 в 10:34, admin, рубрики: Блог компании ВТБ, веб-дизайн, втб, интерфейсы, Разработка веб-сайтовДо недавнего времени сайт vtb.ru вполне отвечал требованиям банка ВТБ. Но после присоединения Банка Москвы и ВТБ24 он стал охватывать только небольшой сегмент разросшегося массива продуктов и услуг. Собственные сайты Банка Москвы и ВТБ24 должны были со временем прекратить свое существование. Поэтому нам нужно было придумать, как соединить всю информацию, чтобы пользователь четко понимал, что происходит у него на дисплее. В этом посте мы расскажем, как решили эту задачу и пришли к обновленному vtb.ru, запущенному в начале года.
Каким будет Web 3.0: блокчейн-маркетплейсы для машинного обучения
2018-04-05 в 7:40, admin, рубрики: machine learning, Блог компании ВТБ, втб, машинное обучениеКак создать мощнейший искусственный интеллект? Один из способов — использовать модели машинного обучения с данными, которые распространяются через маркетплейсы, основанные на блокчейне. Зачем здесь блокчейн? Именно с его помощью в будущем мы можем ожидать появления открытых электронных бирж, где каждый сможет продавать свои данные, не нарушая конфиденциальность. А разработчики — выбирать и приобретать наиболее полезную информацию для своих алгоритмов. В этом посте мы расскажем о развитии и перспективах таких площадок.
«Толик — лапочка», или как мы делали опрос IT-удовлетворенности на 20 тысяч человек
2018-03-23 в 9:49, admin, рубрики: Блог компании ВТБ, втб, сервис, системное администрирование, техническая поддержкаА вообще нормально ли нашим сотрудникам работается с внутренними системами? В небольшой компании это вопрос простой, всех сотрудников и их системы IT-служба знает почти наизусть. Но нашим айтишникам сложновато запомнить 20 тысяч человек — а именно столько в ВТБ используют IT-сервисы в работе. Мы задали всего один вопрос, но и этого было достаточно для получения большого количества информации о наших пользователях. В этом посте мы поделимся своим опытом организации массового опроса удовлетворенности — надеемся, он пригодится и вам.
MSA и не только: как мы создаем высоконагруженные сервисы для банка
2017-11-30 в 8:48, admin, рубрики: Блог компании ВТБ, высоконагруженные сервисы, Микросервисная архитектура, системное администрированиеПроектирование высоконагруженных сервисов уже не является таинственным мастерством, которым владеют лишь просвещенные сэнсеи. Сегодня для этого существуют вполне устоявшиеся практики, которые комбинируются и видоизменяются в зависимости от особенностей компании и ее бизнеса. Мы хотим рассказать о наших лучших методиках и инструментах создания высоконагруженных сервисов.
Частное облако: «синяя изолента» для сурового энтерпрайза
2017-11-17 в 10:25, admin, рубрики: iaas, paas, SaaS, Блог компании ВТБ, облако, Облачные вычисленияВот вроде бы облака — это здорово. Арендуешь себе виртуальные ресурсы на виртуальном сервере, размазанном по дата-центрам всей планеты. И ни о чем не беспокоишься, кроме пополнения счета — вся поддержка и т.п. automagically выполняется сама собой. Но в один «прекрасный день» Hetzner или даже Amazon вдруг извинится за совершенно форс-мажорно упавший сервер и безвозвратно потерянные данные. В качестве компенсации за простой вам обязательно перечислят $10, согласно пункту соглашения 122.3(d). Слабая поддержка против контрагентов и клиентов, собравшихся вокруг центрального офиса с факелами, канистрами и странным блеском в глазах.
В такие моменты хочется купить билет куда-нибудь в Эквадор или Пуэрто-Рико. А взгляд падает на уютный запылившийся сервер в глубине офиса. Что делать? Мы проанализируем проблему, а в качестве «лабораторной работы» попробуем развернуть кластер Syncthing.
Читать полностью »
«Короли математики»: аналитика Big Data в банке. Проект ГАУСС в ВТБ
2017-09-27 в 9:06, admin, рубрики: big data, Блог компании ВТБ, втбКакие банковские предложения по открытию текущих счетов и депозитов можно считать удачными, а какие стоит доработать? Что можно улучшить в процедуре проведения валютно-обменных операций и в дистанционном банковском обслуживании? Мы в Департаменте транзакционного бизнеса ВТБ постоянно работаем над поиском ответов на эти вопросы. Как нам в этом помогает использование IT-стратегии развития и как от этого выигрывают клиенты – читайте под катом.
