Наверняка каждому из вас знакома ситуация, когда организация начинала вести внутреннюю аналитику в Excel, потому что его возможностей было более чем достаточно. Но с ростом компании задачи усложняются, объёмы данных растут, и Excel начинает сначала кряхтеть, а затем превращается в «небесного тихохода», по вине которого ежедневно впустую теряется масса оплачиваемого рабочего времени.
Наш сегодняшний рассказ про то, как компания федерального уровня с большим документооборотом переходила с реестра в виде громоздких Excel-файлов на нормальный, вменяемый BI-инструмент. Ну хорошо – про наше видение, как компания должна переходить (клиент пока ещё не принял окончательного решения).
Проблематика вопроса
Чтобы была понятней суть проблемы: сейчас в компании подготовка и консолидация данных через Excel занимает порядка 80 % рабочего времени сотрудников, причем 79 % — это ожидание реакции самой программы. То есть человек выполнил какие-то манипуляции, написал формулу или значение, нажал клавишу Enter и идёт курить, пить кофе или обедать: некоторые операции консолидации и обновления данных занимают от 40 минут до 2 часов.
Главной проблемой является заложенный в стародавние времена механизм консолидации данных — куча сложных перекрёстных формул, в которых чёрт ногу сломит. Когда-то этот механизм придумал какой-то «гуру» Excel, но он явно не предполагал, что будет обрабатываться такой объём данных. Раньше всё работало без тормозов, и файлы с прописанными формулами просто копировались из проекта в проект. И когда через несколько лет начались проблемы, никто уже точно не знал, как работает консолидация. А найти специалиста, который смог бы её переделать, не удалось, что не удивительно: разработчики обычно не изучают формульный язык Excel да и не пользуются им.
Трудоёмкость и длительность расчётов в Excel привела к тому, что по мере увеличения объёмов данных приходилось постепенно нанимать в отдел всё больше сотрудников, так как уже имеющиеся работники переставали справляться с обработкой документов.
Сложилась эта ситуация далеко не сразу и не на днях. И в результате заказчик решил: пора мигрировать. Основным требованием было то, чтобы новая система оказывала как можно меньше влияния на технологический процесс. То есть заказчик, конечно, недоволен, что Excel тормозит, но и менять привычные операции из-за нового инструмента очень не хочет. Весь технологический процесс можно разделить на два основных этапа:
- подготовка данных из разных источников, в основном из бумажных документов,
- внесение в реестр в виде Excel-файлов и консолидация.
Технологический процесс у заказчика выглядит так:
Второй нюанс: при введении данных в реестр сотрудники проверяют, не вводился ли этот документ раньше. Для этого выполняют поиск по совокупности реквизитов. Мы предложили автоматизировать эту процедуру и выявлять дубликаты уже на этапе ввода. То есть приходит новый документ, его начинают вбивать без всяких фильтров. Если система находит дубликат по каким-либо параметрам (к примеру, по назначению и дате платежа), эта запись подсвечивается красным цветом, чтобы пользователь выяснил: нет ли ошибки во вносимых или уже внесённых данных. Таким образом реализуется контроль дублирования записей и корректности ввода средствами Excel.
Мы решили не создавать зоопарк из разных вендоров. Решение Microsoft было в данном случае лучше не потому, что эта компания разработала и Excel, и Power BI. И даже не потому, что они хорошо интегрированы друг с другом. Просто Power BI позволяет использовать в качестве источника данных целую папку, в которую пользователь может сложить разные файлы по своему усмотрению (в том числе и текстовые). И обработать их буквально одним щелчком мыши. Ну и добавить другие источники информации, если понадобится (1С, автоматизированные учётные системы других подразделений и т. п.).
Power BI и Power Query буквально в сотни раз ускоряют работу и позволяют обойти ограничение на количество данных, которыми оперирует Excel. Сначала это было 64 тыс. строк, теперь счёт идёт на миллионы. Так что если вы упёрлись в возможности Excel, то следующим логическим шагом может быть переход или на Power Pivot или на Power BI: они используют те же самые подходы и механизмы. Если для обработки данных вы применяли какие-то формулы на языке М (в Power Query) или DAX в Power Pivot, то всё это будет практически без изменений работать и в Power BI.
Power BI, как единый интегрированный продукт, позволяет соединить в себе все те технологии, которые годами «навешивались» на Excel, как игрушки на елку. Пусть в него нельзя вводить данные (ну почти), нельзя считать А + Б, как это делается в Excel, но зато его можно использовать в качестве обработчика больших объёмов данных. Например, если нужно произвести какие-то вычисления над колоссальным количеством столбцов или строк. Excel тоже справится, но за часы, а Power BI — за секунды.
Есть два–три конкурирующих продукта, которые, гипотетически, могут выполнять те же вычисления столь же быстро, но они будут не так хорошо интегрироваться с Excel и, что не менее важно, потребуется развернуть дополнительную ИТ-инфраструктуру.
Кроме того, нельзя сбрасывать со счётов и финансовую составляющую: Microsoft предоставляет Power Pivot Desktop бесплатно, если вы хотите использовать этот механизм только для интеграции своих собственных Excel-файлов и будете готовить отчеты или анализировать данные в одиночку или в составе небольшой группы.
При этом создаваемые Power BI файлы можно свободно перемещать между компьютерами, как Excel-отчёты. В результате пользователи получают в руки не просто какие-то рассчитываемые, фиксированные данные, Power BI предоставляет широкие возможности для построения различных интерактивных, моментально пересчитывающихся графиков и диаграмм.
После внедрения Power BI по самым пессимистичным оценкам длительность этапа расчётов уменьшилась в 200–300 раз (!). Учитывая, что в отделе на данный момент трудится 12 человек, которые тратят кучу времени на обработку документов, можно смело сокращать штат раза в 4. А это уже заметная экономия на ФОТ и налогах.
Но экономия рабочего времени и денег – не единственное преимущество этого решения. Раньше в компании никогда не анализировался весь объем данных – только для каждого бизнес-направления или проекта в отдельности. Excel просто не справился бы с такой нагрузкой. А теперь станет возможной не только перекрёстная аналитика по проектам. При дальнейшем расширении этой линейки до, например, Power BI Pro, Power BI RS или даже Power BI Premium, появится возможность готовить интерактивные отчёты для различных категорий пользователей, управлять уровнями доступа к конфиденциальным данным и предоставлять доступ через web или мобильные устройства.
То есть, практически не меняя рабочего процесса, обеспечить всех ЛПР в компании информацией, что называется, на кончиках пальцев.
Юрий Колмаков, старший аналитик Центра внедрения бизнес-систем, «Инфосистемы Джет»
Автор: JetHabr
