Data engineering · OLAP · ETL · Hadoop

From raw data to reports the board trusts От сырых данных к отчётности, которой верит правлениеXom maʼlumotlardan rahbariyat ishonadigan hisobotlargacha

Coral Tools is a team of data engineers building corporate reporting platforms: Hadoop data lakes, ETL pipelines, data warehouses and OLAP cubes — for banks, telecom operators and transport companies. Coral Tools — команда инженеров данных. Строим платформы корпоративной отчётности: озёра данных на Hadoop, ETL-конвейеры, хранилища и OLAP-кубы — для банков, телеком-операторов и транспортных компаний.Coral Tools — maʼlumotlar muhandislari jamoasi. Korporativ hisobot platformalarini quramiz: Hadoop asosidagi maʼlumotlar koʻllari, ETL konveyerlari, maʼlumotlar omborlari va OLAP kublari — banklar, telekom operatorlari va transport kompaniyalari uchun.

cube: corp_reporting dims: time × region × product
op SLICE
WHERE time = 'Q3'
01SELECTservices

Everything between a source system and a report Всё, что лежит между учётной системой и отчётомManba tizimi va hisobot oraligʻidagi hamma narsa

olap.cubes

OLAP & semantic layerOLAP и семантический слойOLAP va semantik qatlam

Multidimensional and tabular cubes, measures, hierarchies and calculated KPIs that business users explore on their own — without writing SQL and without waiting for IT. Многомерные и табличные кубы, меры, иерархии и расчётные KPI, в которых бизнес работает сам — без SQL и без очереди в ИТ.Koʻp oʻlchovli va jadvalli kublar, oʻlchovlar, ierarxiyalar va hisoblanadigan KPIlar — biznes ular bilan oʻzi ishlaydi: SQL yozmasdan va IT navbatini kutmasdan.

SSASApache KylinDruidClickHouseCube
etl.pipelines

ETL / ELT pipelinesETL / ELT-конвейерыETL / ELT konveyerlari

Batch and streaming loads from dozens of source systems, with lineage, retries, alerts and load windows you can put an SLA on. Пакетная и потоковая загрузка из десятков систем-источников: lineage, перезапуски, алерты и окна загрузки, на которые можно дать SLA.Oʻnlab manba tizimlaridan paketli va oqimli yuklash: lineage, qayta ishga tushirish, ogohlantirishlar va SLA berish mumkin boʻlgan yuklash oynalari.

AirflowNiFiSparkInformaticadbt
hadoop.lake

Hadoop & data lakeHadoop и озеро данныхHadoop va maʼlumotlar koʻli

Design, tuning and modernisation of Hadoop clusters — from classic HDFS + Hive to an Iceberg + Trino lakehouse. Проектирование, тюнинг и модернизация Hadoop-кластеров — от классического HDFS + Hive до lakehouse на Iceberg + Trino.Hadoop klasterlarini loyihalash, sozlash va modernizatsiya qilish — klassik HDFS + Hive dan Iceberg + Trino asosidagi lakehouse gacha.

HDFSHiveImpalaKafkaIceberg
dwh.layers

Corporate data warehouseКорпоративное хранилищеKorporativ maʼlumotlar ombori

Layered architecture — staging, ODS, detail layer, data marts — on dimensional or Data Vault models. Слоистая архитектура — staging, ODS, детальный слой, витрины — на размерной модели или Data Vault.Qatlamli arxitektura — staging, ODS, batafsil qatlam, vitrinalar — oʻlchovli model yoki Data Vault asosida.

GreenplumOracleTeradataVertica
reports.close

Management & regulatory reportingУправленческая и регуляторная отчётностьBoshqaruv va regulyator hisobotlari

P&L, KPI packs, statutory and regulator forms — reconciled with source systems and closed on time, every period. P&L, KPI-пакеты, обязательные и регуляторные формы — сверенные с источниками и закрытые в срок каждый период.P&L, KPI paketlari, majburiy va regulyator shakllari — manbalar bilan solishtirilgan va har davrda oʻz vaqtida yopilgan.

dq.lineage

Data quality & governanceКачество данных и governanceMaʼlumotlar sifati va governance

Automated checks, reconciliations, a metadata catalog and lineage — so every number on a dashboard traces back to a source record. Автоматические проверки, сверки, каталог метаданных и lineage — каждую цифру на дашборде можно проследить до записи в источнике.Avtomatik tekshiruvlar, solishtirishlar, metamaʼlumotlar katalogi va lineage — dashborddagi har bir raqamni manbadagi yozuvgacha kuzatish mumkin.

02FROMsources → reports

One pipeline, end to end Один конвейер — от начала до концаBitta konveyer — boshidan oxirigacha

We take responsibility for the whole path of a number: from the moment a transaction appears in a source system to the cell of the report where the CFO reads it. Отвечаем за весь путь цифры: от момента, когда операция появилась в системе-источнике, до ячейки отчёта, где её читает финансовый директор.Raqamning butun yoʻli uchun javob beramiz: operatsiya manba tizimida paydo boʻlgan paytdan moliya direktori uni oʻqiydigan hisobot katakchasigacha.

  1. 01

    SourcesИсточникиManbalar

    core banking · billing · CDR · ERP · CRM · ticketing · telematics

  2. 02

    IngestЗахватQabul qilish

    Kafka · NiFi · Debezium CDC · Sqoop

  3. 03

    LakeОзероKoʻl

    HDFS · Hive · Iceberg · S3

  4. 04

    TransformТрансформацияTransformatsiya

    Spark · Airflow · dbt · SQL

  5. 05

    WarehouseХранилищеOmbor

    Greenplum · ClickHouse · Oracle

  6. 06

    OLAP

    SSAS · Kylin · Druid

  7. 07

    ReportsОтчётыHisobotlar

    Power BI · Superset · Tableau · SSRS

03JOINstack USING (task)

The periodic table of reporting Периодическая таблица отчётностиHisobotlarning davriy jadvali

Tools we work with every day. We pick them for the task and for your existing landscape — not the other way round. Инструменты, с которыми работаем каждый день. Выбираем их под задачу и под ваш текущий ландшафт — а не наоборот.Har kuni ishlatadigan vositalarimiz. Ularni vazifaga va mavjud infratuzilmangizga qarab tanlaymiz — aksincha emas.

Hadoop / lakeETL / streamingDWHOLAPBI
1HdHDFS
2HvHive
3ImImpala
4HbHBase
5IcIceberg
6TrTrino
7AdArenadata
8SpSpark
9KfKafka
10AfAirflow
11NfNiFi
12Dbdbt
13IfInformatica
14IsSSIS
15DzDebezium
16GpGreenplum
17ChClickHouse
18OrOracle
19TdTeradata
20VtVertica
21PgPostgreSQL
22MsMS SQL
23AsSSAS
24KyKylin
25DrDruid
26CbCube
27PbPower BI
28TaTableau
29SuSuperset
30QlQlik
31RsSSRS
32DlDataLens
04WHEREindustry IN ('banking', 'telecom', 'transport')

Where our pipelines run Где работают наши конвейерыKonveyerlarimiz qayerda ishlaydi

Our clients are large companies in three industries. Their names stay under NDA — the kind of work does not. Наши клиенты — крупные компании из трёх отраслей. Их названия закрыты NDA, а суть работы — нет.Mijozlarimiz — uchta sohadagi yirik kompaniyalar. Ularning nomlari NDA bilan yopiq, ishning mohiyati esa yoʻq.

BankingБанкиBanklar

NDA

client:клиент:mijoz: ████████████withheld under NDAзакрыто NDANDA bilan yopiq

  • Regulatory reporting to the central bankРегуляторная отчётность в ЦБMarkaziy bankka regulyator hisobotlari
  • IFRS and management P&LМСФО и управленческий P&LMHXS va boshqaruv P&L
  • Risk and liquidity data martsВитрины рисков и ликвидностиRisk va likvidlik vitrinalari
  • Treasury and ALM cubesКубы казначейства и ALMGʻaznachilik va ALM kublari
  • Customer and product profitabilityДоходность клиентов и продуктовMijozlar va mahsulotlar daromadliligi

TelecomТелекомTelekom

NDA

client:клиент:mijoz: ██████████withheld under NDAзакрыто NDANDA bilan yopiq

  • CDR and billing data processingОбработка CDR и биллинговых данныхCDR va billing maʼlumotlarini qayta ishlash
  • ARPU, churn and subscriber base analyticsАналитика ARPU, оттока и абонентской базыARPU, abonentlar ketishi va abonent bazasi tahlili
  • Network KPI and quality reportingОтчётность по KPI и качеству сетиTarmoq KPI va sifati boʻyicha hisobotlar
  • Revenue assuranceRevenue assurance — контроль доходовRevenue assurance — daromadlar nazorati
  • Interconnect and roaming settlementsВзаиморасчёты по интерконнекту и роумингуInterkonnekt va rouming boʻyicha oʻzaro hisob-kitoblar

TransportТранспортTransport

NDA

client:клиент:mijoz: █████████████withheld under NDAзакрыто NDANDA bilan yopiq

  • Ticketing and passenger flowБилетные продажи и пассажиропотокChipta sotuvi va yoʻlovchilar oqimi
  • Fleet telematics and GPS tracksТелематика и GPS-треки подвижного составаHarakatlanuvchi tarkib telematikasi va GPS-treklar
  • Route and depot profitabilityДоходность маршрутов и парковYoʻnalishlar va parklar daromadliligi
  • Operational dashboards for dispatchОперативные дашборды для диспетчеровDispetcherlar uchun operativ dashbordlar
  • Fuel and maintenance analyticsАналитика топлива и ТОYoqilgʻi va texnik xizmat tahlili

// details, architecture and references are shared after an NDA is signed // подробности, архитектуру и рекомендации показываем после подписания NDA// tafsilotlar, arxitektura va tavsiyalar NDA imzolangandan keyin taqdim etiladi

05GROUP BYstage

How a project runs Как идёт проектLoyiha qanday kechadi

01 AuditАудитAudit

Sources, existing reports and pain points. We agree on the target metrics and how the result will be accepted.Источники, существующие отчёты и болевые точки. Договариваемся о целевых метриках и о том, как будет приниматься результат.Manbalar, mavjud hisobotlar va muammoli nuqtalar. Maqsadli koʻrsatkichlar va natija qanday qabul qilinishini kelishib olamiz.

02 ModelМодельModel

Architecture, storage layers, data model and a glossary of metrics: one number — one definition.Архитектура, слои хранения, модель данных и глоссарий показателей: одна цифра — одно определение.Arxitektura, saqlash qatlamlari, maʼlumotlar modeli va koʻrsatkichlar glossariysi: bitta raqam — bitta taʼrif.

03 BuildРазработкаIshlab chiqish

Pipelines, marts, cubes and reports in short iterations, each reconciled against the figures you already trust.Конвейеры, витрины, кубы и отчёты короткими итерациями — каждая сверяется с цифрами, которым вы уже доверяете.Konveyerlar, vitrinalar, kublar va hisobotlar qisqa iteratsiyalarda — har biri siz ishonadigan raqamlar bilan solishtiriladi.

04 RunЭксплуатацияEkspluatatsiya
∞

Monitoring, load-window SLAs, support and documentation good enough to hand the system over to your team.Мониторинг, SLA на окна загрузки, сопровождение и документация, по которой систему можно передать вашей команде.Monitoring, yuklash oynalari uchun SLA, qoʻllab-quvvatlash va tizimni jamoangizga topshirish mumkin boʻlgan hujjatlar.

06ORDER BYpriority DESC
  1. 1

    Reconciled before releasedСначала сверка — потом релизAvval solishtirish — keyin reliz

    No report goes live until it matches the source systems.Ни один отчёт не выходит в работу, пока не сошёлся с источниками.Manbalar bilan mos kelmaguncha birorta ham hisobot ishga tushirilmaydi.

  2. 2

    One number, one definitionОдна цифра — одно определениеBitta raqam — bitta taʼrif

    Metrics are defined once and reused everywhere.Показатель описывается один раз и используется везде одинаково.Koʻrsatkich bir marta taʼriflanadi va hamma joyda bir xil ishlatiladi.

  3. 3

    Load windows with an SLAОкна загрузки с SLASLA bilan yuklash oynalari

    Data is ready by the time the business day starts.Данные готовы к началу рабочего дня.Maʼlumotlar ish kuni boshlanishiga tayyor boʻladi.

  4. 4

    Built to be handed overСделано, чтобы передатьTopshirish uchun yaratilgan

    Code, docs and runbooks — the system never depends on one person.Код, документация и регламенты — система не зависит от одного человека.Kod, hujjatlar va reglamentlar — tizim bitta odamga bogʻliq emas.

07LIMIT 1-- one conversation is enough to start-- для старта достаточно одного разговора-- boshlash uchun bitta suhbat kifoya

Tell us which report is late, wrong or slow Расскажите, какой отчёт опаздывает, расходится или тормозитQaysi hisobot kechikayotgani, mos kelmayotgani yoki sekin ishlayotganini aytib bering

We will come back with questions, a proposed architecture and an estimate. We are happy to sign an NDA before the first technical call. Вернёмся с вопросами, вариантом архитектуры и оценкой. Готовы подписать NDA до первого технического разговора.Savollar, arxitektura varianti va baho bilan qaytamiz. Birinchi texnik suhbatdan oldin NDA imzolashga tayyormiz.

info@coraltools.online