Привет! Меня зовут Андрей, я технологический предприниматель, работаю CTO в ИИ-стартапах и помогаю внедрять ИИ в компаниях. Одним из громких кейсов для меня стала ИИ-трансформация Сбера. Сегодня хочу рассказать, как проходила ИИ-трансформация, и какие уроки стоит извлечь из этого опыта.
До ИИ-трансформации банка (2020 год) я работал в роли Chief Data Officer и Chief Data Scientist стратегического блока Сбера. Тогда ChatGPT еще не было, а об ИИ-революции всерьез почти не рассуждали. Конечно, в банках ИИ и ML активно использовались в кредитном скоринге и рекомендательных системах.
В наши задачи входило макроэкономическое стресс-тестирование банка, анализ и прогнозирование банковских рынков, вывод новых продуктов на рынок, ресурсное планирование, анализ эффективности сотрудников, а также контроль над всеми процессами банка. Ежегодно наш блок формировал новую стратегию развития банка и экосистемы.
Одним из первых ИИ-проектов нашей команды до ИИ-трансформации была модель для прогнозирования эффективности сотрудников. Для обучения модели мы собрали большое количество данных из кадровых систем, систем контроля и учета доступов, социально-демографические показатели, психометрию, оценки сотрудников и другие данные. На тот момент это была единственная ИИ-модель в стратегическом блоке.
Направление было новым и использовалось для решения внутренних задач компании. Но все наработки пригодились, когда в компании объявили ИИ-трансформацию.
Подготовка к ИИ‑трансформации
Новость про то, что Сбер массово внедряет ИИ, объявили буквально одним днем. Каждый отдел нужно было оцифровать и внедрить ИИ в каждый описанный рабочий процесс. Сделать это предстояло мне и моей небольшой команде. На тот момент со мной работали шесть дата-инженеров, два дата-аналитика и два дата-сайентиста.
В Сбере уже было описано порядка 2500 процессов в нотации BPMN. О работе с процессами в Сбере есть хорошая статья, не буду углубляться. Описанием занимались сами отделы и менеджеры процессов, а потом они направлялись к нам на валидацию. Мы извлекли из них метрики и работали с ключевыми.
Сюрпризом оказался дедлайн: на работу нам выделили один квартал. Срок выглядел совершенно нереалистичным. Не думаю, что люди, ставившие этот KPI, сами считали его выполнимым. Но я отнесся к задаче как в личному вызову и упражнению в эффективности.
Индекс зрелости ИИ
Результаты оценивались с помощью индекса зрелости ИИ (AI Maturity Index), который мы совместно разработали на уровне банка. Метрики индекса зрелости ИИ включали 35 показателей в разрезе семи направлений по пятибалльной шкале. Для заинтересованных в деталях — загляните под спойлер, чтобы ознакомиться с метриками.
Стратегия и управление: процент финансового эффекта от ИИ в бизнес-процессах; качество разработки стратегии; качество управления ИИ-трансформацией; self-learning при постановке задач; осведомленность и вовлеченность менеджмента. Люди и культура: Time2Hire; производительность работы специалистов по данным; качество управления талантами; качество популяризации data-функции; качество компетенций data-специалистов и бизнес-заказчиков Инфраструктура: доля дата-сайентистов, разрабатывающих модели в Cloud; доля моделей в проде в Cloud; доступность инфраструктуры для data-специалистов; доступность open source библиотек; доля процессов на единых AI платформах. Данные: доля АС банка, подключенных к Фабрике Данных (ФД); доля моделей в проде, использующих данные ФД; доля пайплайнов с проверками качества в процессах с ИИ; качество процесса управления данными; Time2Market данных. Модели: доля моделей с качеством выше AutoML-baseline, Доля «красных» моделей средней и высокой степени значимости в эксплуатации, Time to Market моделей, доля моделей, внедряемых не на промышленных средах, доля моделей в проде на автомониторинге. R&D: партнерства с ВУЗами и НИИ; качество процесса R&D; доля R&D инициатив; результаты и применимость R&D; участие в конференциях и публикация статей.
Внедрение: доля процессов с ИИ в проде; проникновение ИИ в процессы; доля моделей высокой и средней значимости в проде; равномерность внедрения ИИ в бизнес-блоке по процессам; качество процесса внедрения ИИ.Метрики для оценки индекса зрелости ИИ
Внедрение ИИ в стратегические процессы
Для внедрения ИИ в процессы мы использовали методологию CRISP-DM (Cross-Industry Standard Process for Data Mining). Процессы в Сбере делятся на поддерживающие, бизнес-процессы и управленческие. Наш блок занимался 30 ключевыми управленческими процессами. Их нужно было не только описать, но и рассчитать экономический эффект.
Задача крайне нетривиальная: как оцифровать принятие решения руководителем? А подготовку отчета, основанного на субъективных ощущениях экспертов? В большинстве случаев вопрос: «что именно ты делаешь на работе» ставит людей в тупик. Но как подтвердил наш опыт, любая задача решается декомпозицией на элементы.
Шаг 1. Определение процессов
Прежде чем начать что-то трансформировать, необходимо было понять текущее состояние процессов, каких целей мы хотим достичь и как достичь их правильно. Мы проанализировали текущее положение дел: индекс зрелости ИИ в стратегическом блоке оказался равен нулю. Целевым же показателем было 90 пунктов в среднем по банку.
Процессы состояли из операций, сначала казавшихся неуловимыми. Как оценить интуицию сотрудника, составляющего макроэкономический прогноз? Приходилось преодолевать огромное сопротивление и непонимание.
После десятков глубоких интервью мы определили все стратегические процессы со своими метриками, разбили процессы на отдельные операции и выяснили, какие операции являются самыми ресурсоемкими.
Далее мы оценили, насколько возможно и оправдано внедрение ИИ в каждую операцию, и спрогнозировали потенциальный финансовый эффект от внедрения там, где это было возможно. Итогом стал наглядный и приоритезированный список процессов и операций, которые нуждались в ИИ-трансформации в первую очередь.
После анализа процессов, в которые мы должны были внедрить ИИ, встал вопрос: кто этим будет заниматься, если у нас в команде только два дата-сайентиста? Я запустил поиск еще десяти дата-сайентистов. За квартал до старта работ мне удалось закрыть найм и мы запустили ИИ-трансформацию стратегических процессов.
Шаг 2. Сбор данных
Для того, чтобы разрабатывать любые модели, нужны данные. Поэтому мы занялись изучением датасетов, которые уже использовались в тех или иных процессах.
В Сбере большинство данных доступно в централизованной Фабрике Данных. Проблема в том, что данные, которые нужны были нам не хранились там, так как были строго конфиденциальны. Мы могли работать только с эмбеддингами из защищенного хранилища данных, которое до этого сами разработали совместно с коллегами из кибербезопасности.
Также мы получали сырые данные напрямую из систем учета доступов, либо автоматически парсили часть данных из открытого доступа. Всего мы использовали более пятидесяти источников данных, а сами мы поставляли десять источников в Фабрику Данных. Что из данных мы использовали в работе:
-
Макроэкономика: ВВП и динамика, уровень инфляции, уровень безработицы, курсы валют, процентные ставки, кредитные условия, и тд;
-
Банковские рынки: процентные ставки по депозитам и кредитам, данные по объему кредитования и депозитов, конкурентные банковские предложения, отзывы клиентов, доля рынка различных банковских продуктов, и другие;
-
Эффективность деятельности: HR-данные о сотрудниках и их взаимодействии, психометрия, социально-демографические характеристики, цели, задачи и KPI сотрудников, тематики встреч, и другие;
-
Клиентские пути и процессы: данные о взаимодействии с клиентами, описание и метрики процессов, и другие данные.
Шаг 3. Подготовка и валидация данных
Даже очень подробный массив данных содержит ошибки, которые нам пришлось найти и исправить перед началом работы. Например, мы нашли ошибки при учете времени в данных систем контроля и управления доступами. Часто бывало, что у сотрудников был зафиксирован вход в офис без выхода, или наоборот. Это могло сильно исказить картину оценки внутренней эффективности. Турникеты находились на разных площадках, поэтому часто бывали ошибки в самих выгрузках - сотрудника можно было совсем не найти в офисе, но он был активен в других системах: имел встречи в календаре или закрывал рабочие задаче в таск-трекере; по таким критериям мы могли оценивать рабочее время сотрудников.
Мы определяли общие проблемы в данных и автоматизировали процесс подготовки датасетов для обучения моделей. Часто приходилось работать с текстом (еще до эпохи LLM), что также требовало особого навыка в подготовке данных: токенизация, нормализация и векторизация. В процессе подготовки данных мы отобрали наиболее релевантные, исключив дубли и пропуски. Также для наших задач мы сгенерировали новые признаки.
Шаг 4. Моделирование
На этапе моделирования мы выбрали подходящие алгоритмы машинного обучения. Для наших задач подошли логистическая регрессия, деревья решений, нейросети, модели дожития и другие методы. Исходя из характера задачи и структуры данных, приходилось варьировать подход и инструментарий. Для быстрой разработки моделей я управлял ресурсами суперкомпьютера Кристофари, (входит в первую сотню TOP-500 суперкомпьютеров мира). Итогом работы стали более шестидесяти различных моделей. Под спойлером — большой, но далеко не полный список:
Скрытый текст
-
Модель стресс-тестирования банка, которая позволила банку заранее подготовиться к потенциальным экономическим потрясениям, а также выявить уязвимые области и разработать стратегии по их укреплению.
-
Интеллектуальный анализ банковского регулирования позволил банку адаптироваться к изменениям со стороны регулятора и снизил правовые и операционные риски. Эту задачу мы решали совместно с НИУ ВШЭ в рамках НИОКР.
-
Модели для прогнозов банковских рынков помогли аналитикам лучше понять, какие факторы больше влияют на рынки, для улучшения точности экспертных прогнозов.
-
Анализ обратной связи о продуктах позволил оперативно улучшать предложения банка на основе мнений клиентов. Модели сегментации клиентов позволили аналитикам предлагать продукты, максимально соответствующие потребностям каждого клиента.
-
Результаты модели эффективности позволили объективно оценивать эффективность сотрудников, выявлять сильные и слабые стороны, а также разрабатывать программы повышения квалификации и мотивации.
-
Модель оттока сотрудников позволила принять превентивные меры для удержания ключевых кадров, снижая текучесть и затраты на найм новых специалистов.
-
ONA (Organizational Network Analysis) использовался для анализа функционально-организационной структуры через графовый анализ на основе данных о коммуникациях сотрудников. Она выявила неэффективность, улучшив распределение ресурсов и снизив дублирование функций.
-
Интеллектуальный календарь позволил оптимизировать расписание для руководителей на основе анализа задач и приоритетов, повысив их продуктивность.
-
Рекомендательная система идей от сотрудников, а также генерация идей на базе ruGPT-3 позволили топ-менеджерам находить новые решения актуальным проблемам.
-
Интеллектуальный поиск документов и их классификация ускорили доступ к информации и принятие решений.
-
Интеллектуальный анализ и прогнозирование метрик бизнес-процессов позволили автоматически выявлять неэффективные этапы и оптимизировать процессы, что значительно улучшило общую эффективность работы банка.
Шаг 5. Оценка моделей
Техническая оценка разработанных моделей осуществлялась с помощью метрик, таких как точность, F1, MAE, ROC-AUC и коэффициент Джини в зависимости от задачи.
После того как модели разработаны, они должны пройти A/B-тест. Мы фиксировали метрики процесса и запускали пилот моделей. Если в результате использования модели метрики процесса становились лучше, то модель отправлялась на дальнейшую валидацию и последующее внедрение. Также все модели проходили валидацию у аудиторов для того, чтобы выявить потенциальные риски для банка.
Шаг 6 Внедрение моделей
Для развертывания моделей мы использовали единую ИИ-платформу — SberCloud. Все модели проходили стандартный MLOps-цикл и переобучались на основе новых данных. Мы настроили систему автомониторинга моделей в проде для того, чтобы своевременно реагировать на инциденты. Также мы использовали инструменты AutoML и Process Mining для быстрого внедрения ИИ в процессы.
Для автоматического создания и переобучения моделей мы использовали AutoML. Этот инструмент хорошо работает с табличными данными и бинарной классификацией. Для банковских рынков мы строили композитные модели бинарной классификацией, где AutoML сильно пригодился и ускорил процесс внедрения.
Сроки поджимали, и каждый из моих сотрудников внедрял в прод минимум по одной разработанной модели в месяц. Process Mining, поставленный на прямые рельсы, позволил в кратчайшие сроки на основе логов систем моделировать процессы, а также искать в них аномалии, определяя потенциальную операцию для автоматизации.
Финансовый эффект от внедрения ИИ
Модель ONA (Organizational Network Analysis) для анализа функционально-организационной структуры стала одной из самых успешных моделей. Она позволяла топ-менеджменту понимать истинную структуру коммуникаций на основе данных о взаимодействии сотрудников для принятия решений о численности банка.
Оптимизация дублирующихся функций также оказалась значимой в финальной оценке нашего финансового эффекта. Мы обнаружили 30 команд, разрабатывающих похожих чат-ботов. Выявление команд, не знающих друг о друге и оптимизация численности позволили избежать дублирования работы и сэкономило банку порядка 3 млрд рублей.
Выводы
В итоге нам удалось не только выполнить невозможный KPI, но и довести рейтинг зрелости ИИ до 93 пунктов, перевыполнив план. За это президент банка признал меня одним из лучших руководителей 2021 года. В будущем все эти модели использовались в стратегическом дашборде и ассистенте руководителя.
Справиться с этой задачей нам помог системный подход, четкое планирование и грамотная расстановка приоритетов. Удача, энтузиазм и софт-скилы для общения с коллегами тоже сильно пригодились.
Работа в Сбере стала для меня невероятным опытом благодаря вызову, который представляла собой ИИ-трансформация. Этот процесс — не разовое событие, а непрерывная адаптация и улучшение, требующая не только внедрения технологий и работы с данными, но и изменений в культуре, подходах и готовности команды меняться. Это сложный, но необходимый шаг для компаний, стремящихся оставаться конкурентоспособными в современном мире.
Одним из ключевых факторов успеха для меня стала отличная команда, с которой мне посчастливилось работать. Я убедился, что успех ИИ-проектов определяется не только качеством данных и моделей, но и поддержкой со стороны команды, четким управлением и эффективной коммуникацией.
Если вам интересна тема ИИ, мои кейсы и опыт, подписывайтесь на мой телеграм-канал, где я делюсь инсайтами, практическими советами и последними новостями из мира искусственного интеллекта. До встречи!
Автор: Dataist
