基于阿里 OneData 架构信贷业务数仓分层完整落地实践移除 DWM博客定稿版前言本文依托《大数据之路》OneData 核心理念结合信贷全业务链路授信 → 放款 → 还款 → 逾期 → 催收 → 不良处置采用最简落地分层DIM 公共维度层 ODS 贴源层 DWD 明细层 DWS 公共指标层 ADS 应用层。中小型信贷平台、持牌消金轻量化落地普遍可省略 DWM 层DWD 明细直接向上供给 DWS 汇总计算架构简洁、维护成本低、新手易落地。整体数据流流向业务源数据 → ODS 原始落地 → DWD 清洗标准化明细 → DWS 全局统一指标汇总 → ADS 业务定制输出DIM 维度表全程贯穿所有层级统一全局编码与历史快照一、DIM 公共维度层全局共享字典层1、构建方式信贷核心三张维表维度表存储客户、产品、机构这类属性会缓慢变更、全业务域重复使用的数据统一使用SCD2 拉链表记录历史状态固定字段start_dt、end_dt、is_valid永久保留每一个时间节点的属性快照。dim_customer_info 客户拉链维表来源信贷客户主库核心字段脱敏客户 ID、姓名、身份证、客户风控评级、授信等级、常驻城市、黑白名单标识、start_dt、end_dt变更场景客户风控评分升降级、个人资料修改、授信额度调整。dim_loan_product 信贷产品拉链维表来源产品配置中心核心字段产品 ID、产品名称、合同年化利率、分期期数、还款方式等额本息/先息后本、产品上下架状态业务刚需历史放款订单计息必须匹配放款当日的产品利率规则不能使用最新产品配置核算往期账务。通用静态维表dim_org营业部/催收机构、dim_date 日期维、dim_risk_code 风控拒绝码字典2、分层作用 信贷业务价值统一全局编码口径风控、账务、催收、财务所有部门共用一套客户 ID、产品 ID、机构编码从根源杜绝“各部门字典定义不一致导致数据对不上”。还原历史真实业务快照保障账务合规信贷计息、逾期测算、监管审计对历史数据精度要求极高拉链维表可以精准回溯任意放款日期对应的产品费率、客户等级不会因为后期产品改版、客户信息变更造成历史账目核算错误。解耦事实表与属性信息节省存储开销DWD/DWS 事实表只存储 ID 数值文字名称、分类、评级等属性统一放在 DIM事实表体积更小关联查询效率更高全平台一份维度多处复用。统一数据治理入口维度变更仅维护 DIM 即可全链路生效。二、ODS 贴源层原始数据保险柜1、构建方式数据接入方式MySQL 业务库通过Flink CDC 同步 Binlog 增量数据静态基础表使用 DataX 每日全量快照同步风控日志、催收埋点文件通过采集链路落地 ODS。严格遵循1:1 复刻源表结构不做任何清洗、转换、字段修改。信贷 ODS 核心数据表清单源业务表ODS 表命名存储数据内容customer 客户表ods_credit_customer_di客户原始全量字段credit_apply 授信申请表ods_credit_apply_di每一笔授信申请原始记录、审核结果loan_contract 放款合同表ods_credit_contract_di放款本金、合同期数、签约原始数据repay_record 还款流水表ods_credit_repay_di用户代扣、转账、主动还款原始流水overdue_info 逾期表ods_credit_overdue_di逾期天数、罚息、M1/M2/M3 逾期状态原始数据collect_record 催收记录表ods_credit_collect_di短信、电话、上门催收原始行为记录存储规则按dt日期分区存储原始数据长期归档留存仅做数据量波动监控告警脏数据、测试数据、重复 binlog 全部原样保存。2、分层作用 信贷业务价值隔离线上交易库保护放款、代扣核心系统稳定所有数据分析、报表计算全部读取 ODS不再频繁查询生产 MySQL避免数仓大批量查询压垮线上放款、扣款接口保障信贷系统资金交易链路稳定。唯一原始凭证支撑监管核查与账务差错溯源金融行业监管抽查、财务对账出现资金差异时ODS 原始 Binlog 是具备法律效力的原始依据上层所有数仓加工数据都无法作为举证资料业务库会定时归档清理冷数据ODS 永久保存全量流水兜底。统一收拢多源异构数据客户系统、放款系统、催收系统、风控系统分散独立ODS 作为统一数据入口把零散数据源汇总至数仓体系上层加工无需对接五花八门的源端。数据血缘最底层起点报表数据异常可反向溯源定位问题出在源头系统还是数仓加工逻辑。三、DWD 数据明细层清洗加工层全公司可信明细底座1、构建方式数据来源ODS 原始数据表 DIM 维度表仅关联 ID不冗余文本属性数据粒度最细业务原子粒度一行对应一次真实信贷行为是整个数仓最核心的标准数据源。加工统一执行四类标准化处理脏数据过滤、字段标准化、多业务表整合、数据脱敏。信贷四张核心 DWD 明细表dwd_credit_apply_detail_inc授信申请明细清洗规则剔除测试账号申请、空身份证无效数据、重复上报申请记录统一时间格式、标准化审核状态编码。dwd_credit_contract_detail_inc放款合同明细清洗规则过滤作废、撤销的无效合同统一本金、利率数值精度绑定授信 ID 与客户唯一标识。dwd_credit_repay_detail_inc还款明细账务核心表清洗规则去重重复代扣流水区分正常还款、提前结清、第三方代偿还款拆分本金、利息、罚息三类金额字段。dwd_credit_overdue_detail_inc逾期明细清洗规则清洗逾期天数为负数、状态错乱脏数据统一 M1~M3 不良阶段编码规范。2、分层作用 信贷业务价值一次全局清洗全业务线共用干净明细风控分析、账务核算、逾期统计、催收报表全部复用 DWD 标准明细。如果各个团队自行从 ODS 清洗数据过滤规则不一致会导致放款总额、回款金额多方数据打架DWD 收敛所有清洗规则保证底层明细唯一可信。完成字段、格式、枚举值全平台标准化各业务系统字段命名、时间格式、状态码不统一在 DWD 完成统一规范定义后续所有上层计算无需重复处理格式问题。保留最细粒度流水支撑明细对账、穿透式排查财务逐笔对账、单笔合同计息核对、不良资产逐笔排查都依赖 DWD 原始明细数据DWS 只是聚合汇总无法满足明细级核查需求。数据质量问题统一收口脏数据、异常数据统一在 DWD 拦截不会向上污染汇总指标。四、DWS 公共汇总宽表层OneData「一数一源」核心指标仓库1、构建方式数据来源DWD 标准明细数据 DIM 维度表此处关联带出产品名称、机构、客户地域等文本属性粒度按公共分析维度做聚合日期、信贷产品、营业部机构、客户分层构建业务域汇总宽表存储全公司统一标准经营指标。示例表dws_credit_product_day_agg产品日资产汇总宽表聚合维度dt loan_product_id 营业部 ID标准化指标分为三大类全公司口径强制统一规模指标当日授信总额、新增放款笔数、放款本金、在贷余额、有效合同总量回款指标应还本金、实收本金、实收利息、实收罚息、提前结清金额资产质量指标逾期本金、M1/M2/M3 逾期余额、整体逾期率、当期不良率2、分层作用 信贷业务价值实现一数一源彻底解决各部门指标口径冲突风控部门的不良率、财务部的不良率、管理层大屏不良率全部取自 DWS 同一套计算逻辑杜绝业务部门各自写 SQL 计算指标带来的数据差异是企业经营数据的官方唯一基准。高度聚合压缩数据量BI 大屏、经营报表秒级响应DWD 明细量级巨大直接查询明细聚合速度很慢DWS 完成预汇总后数据量大幅缩减管理后台、资产监控大屏直接读取 DWS查询性能极强。指标维护集中化降低迭代成本监管指标规则、资产统计口径发生变更时仅修改 DWS 一层计算脚本下游几十份报表、看板自动同步更新不用逐个修改所有业务脚本。承载企业公共资产指标区分公共标准指标与业务个性化指标守住数仓底层稳定性。五、ADS 应用数据层业务交付出口层1、构建方式数据来源优先读取 DWS 公共汇总指标账务对账、催收明细分析按需读取 DWD 原始明细。ADS 不约束统一规范完全贴合业务个性化需求开发计算衍生指标、定制化报表最终数据落地至 MySQL、Doris、ClickHouse 等 OLAP 引擎对外输出。信贷四大高频 ADS 应用表ads_regulatory_month_report监管月度报送报表监管存在特殊报送规则剔除测试账户、豁免类坏账扣减这类定制规则不能写入公共 DWS在 ADS 加工生成标准上报文件。ads_finance_month_account_check财务月度对账表财务需要对接银行流水、计提坏账准备金、税费核算财务口径和业务资产口径存在天然差异私有账务逻辑放置 ADS 实现。ads_collector_performance催收员业绩考核表基于逾期回款数据计算催收提成、回款达成率属于人事考核私有业务规则。ads_risk_user_label风控用户标签表基于用户历史放款、还款、逾期行为产出优质客户、高风险多头借贷标签推送给线上授信风控系统。2、分层作用 信贷业务价值隔离多变业务需求保护底层数仓架构稳定监管政策、财务制度、催收考核方案会频繁变动所有改动逻辑全部写在 ADSODS/DWD/DWS 底层代码长期无需改动数仓基座不会被频繁需求迭代改乱腐化。适配各类终端存储与访问场景Hive 数仓不支持高并发查询ADS 将计算结果下沉到关系库、OLAP 数据库支撑前端管理页面、风控接口的线上调用。统一数据流出管控满足金融数据合规要求所有对外输出、对外推送的数据统一经由 ADS 流出集中完成客户敏感信息脱敏、数据流出日志审计满足信贷行业的数据安全合规监管要求。承接各类临时报表、专项分析需求不污染企业级标准指标体系。六、信贷业务完整数据流转链路一笔放款全流程客户提交授信申请 → 业务 MySQL 写入交易数据 → CDC 采集数据原样落地ODS原始存档留痕调度任务对 ODS 数据清洗、去重、标准化产出干净可信放款/还款/逾期明细DWDDWD 明细关联 DIM 维度表按产品、机构维度汇总计算全公司统一资产指标存入DWS监管报表、财务对账、催收考核、风控标签等个性化业务需求基于 DWS/DWD 数据加工至ADS对外交付使用全程依靠 DIM 拉链维度表匹配对应时刻产品利率、客户风控等级保证计息、资产核算、历史分析数据精准无误七、各层级一句话核心定位博客总结金句DIM 维度层企业统一数据词典留存历史实体快照是所有数据口径统一的根基ODS 贴源层原始数据保险箱留存最真实业务流水用于溯源、审计、故障排查DWD 明细层数据清洗净化车间产出全公司唯一标准明细流水是所有指标计算的底层基石DWS 汇总层官方指标档案馆统一资产、逾期、放款核心口径对内经营分析的标准数据源ADS 应用层业务数据成品车间按需定制各类报表、标签、对接系统是数据价值落地的最终出口补充移除 DWM 层的适配场景说明适用中小信贷公司、日流水千万以内体量、团队人数不多的数仓架构架构轻量化、学习成本低、运维简单大规模持牌消金、每日亿级流水场景可按需增加 DWM 层做预关联、轻度聚合优化计算资源普通业务场景四层 DIM 完全足够落地使用。
