Федеральный производитель минеральной воды: несколько скважин в разных регионах, собранные последовательным выкупом независимых площадок. У каждой — своё юрлицо, свои базы, своя история учёта. Собственник получал консолидированную картину с лагом в месяц. Мы собрали единую модель данных поверх всего этого зоопарка.
Холдинг сложился из скупки независимых производств — по одному юрлицу на каждую скважину. Каждая площадка десятилетиями жила в своём контуре: свой план счетов, свои справочники номенклатуры, свои методики. После объединения ничего из этого не унифицировали — поверх поставили общую 1С:ERP для операционной деятельности, но 6–8 баз 1С:Бухгалтерии и столько же баз 1С:ЗУП остались на местах. Плюс ещё несколько справочных и технологических баз.
Результат: одна и та же бутылка в базе региона А называлась не так, как в базе региона Б. Чтобы сверстать консолидированный P&L, финансовый отдел брал выгрузки из каждой базы, ручником матчил номенклатуру через Excel, клеил в сводную таблицу. На один отчёт уходило 3–5 дней; на полный периодный пакет — 3 недели. Когда собственник задавал вопрос про прошлый месяц, ему отвечали по позапрошлому.
Параллельно встала задача подключить обязательные внешние источники: ЦРПТ (оборот маркированной продукции) и Nielsen (доли рынка и дистрибуция). В Excel это уже не помещалось физически.
Задача — не переделывать учёт на местах (никто не даст), а построить семантический слой, в котором все 20+ баз говорят на одном языке. Ключевое звено — собственный мост номенклатуры.
Отдельная staging-схема на каждую базу 1С. SSIS-пакеты тянут инкремент ночью, историю храним целиком — пересобрать любой период можно без повторного обращения к источникам.
tb — единый справочник SKUКлюч связи — внешний код номенклатуры каждой базы, значение — канонический SKU холдинга. Маппинг ведёт товароведческая служба в отдельном интерфейсе; новые позиции попадают в очередь на согласование.
Из ЦРПТ забираем разбивки month × channel × SKU × region × city × brand × sub_brand. Python-загрузчик CRPTloader_fast.py работает ночью через SQLAlchemy с чанкингом — как устроен скрипт. Nielsen приходит выгрузками — их парсит отдельный SSIS.
Одна модель на всё: операционные цифры из 1С:ERP, бухгалтерская сверка из 1С:Бух, ФОТ из 1С:ЗУП, маркировочный оборот из ЦРПТ, доли рынка из Nielsen. Меры согласованы с финансовой дирекцией.
Собственник и финансовый директор видят консолидированный срез. Руководитель региона — только свои скважины и свои юрлица. Права настраиваются в Tabular по связке пользователь → регион.
Оркестрация через SQL Server Agent: сначала SSIS по всем источникам, потом Python-блок для ЦРПТ, потом обработка Tabular. Любой сбой падает алертом в Telegram дежурному инженеру.
Слева — десятки учётных систем и два внешних API. В центре — DWH со staging и единой моделью, где работает мост номенклатуры. Справа — Tabular-куб и Power BI с ролями доступа.
Мост tb — сердце архитектуры: один физический SKU имеет одно имя во всех 20+ базах.
tb. Цифры в разрезах по регионам сходятся без ручной сверки.Мы впервые видим консолидированную картину в течение суток, а не ждём месяц. Раньше это значило — руководитель отвечает на вопросы собственника по прошлому кварталу. Теперь — по вчерашнему дню.
Финансовый директор холдингаПроизводство · Минеральная вода
Покажем, как собрать единую модель, не переделывая учёт на местах. Разберём ваши источники и прикинем, с чего стартовать.