在芯片制造这一技术密集、数据量庞大的行业,数据治理的成熟度直接关系到生产效能与产品质量。某IDM模式芯片制造企业面对传统数仓建设困难、数据质量频发、资产规范缺失等挑战,通过构建一体化数据平台,实现了从数据采集、资产化管理到质量管控的全流程治理。
本文系统介绍该企业在数据治理平台建设中的架构设计、实施路径与落地成效。
案例已收录于《数据治理行业实践白皮书》,为高复杂制造行业提供可借鉴的数据治理实践参考。
一、案例背景某芯片制造企业是一家专注于3DNAND闪存设计制造一体化的IDM集成电路企业,同时也提供完整的存储器解决方案。该企业为全球合作伙伴供应3DNAND闪存晶圆及颗粒,嵌入式存储芯片以及消费级、企业级固态硬盘等产品和解决方案,广泛应用于移动通信、消费数码、计算机、服务器及数据中心。在企业的生产经营过程中面临大量的数据问题需要解决。
1.1传统数仓建设困难自建数据仓库前期需投入较多固定成本,项目周期长,运维难度高,专业运维人员成本高。扩容需要较长部署周期,资源利用率较低,需要自行实现可扩展性架构,容易形成单点故障。
展开剩余82%1.2数据质量问题频发数据模型设计不合理,数据开发人员水平参差不齐,数据质量问题难以及时暴露和溯源。
1.3数据资产不规范没有体系化地梳理数据资产,找不到想要的数据,缺乏元数据信息,找到却又不理解数据。无法统计数据使用情况,无法判断数据热度,缺乏数据血缘关系,难以掌握数据流转情况。
为解决某芯片制造企业集团统一数据管理和数据服务要求,必须打破数据孤岛,提供集团统一的数据服务标准和数据流程,通过企业全业务生产制造、经营、管理及服务数据采集、汇聚、加工和服务,建设统一数据资产平台进行数据管理,形成面向用户、面向管理、面向领导的全面数据管理视角。
二、解决方案根据某芯片制造企业建设需求,并充分考虑数据服务所需要的高稳定高可用、业务需求快速响应、大数据分析支持、灵活可扩展、全方位安全保障的技术能力要求,设计总体架构如下:
某芯片制造企业数据治理架构
2.1第一步建设离线平台采集数据通过建设离线开发平台采集某芯片制造企业30+种数据源,运用数据同步技术解决多节点并发读写、可视化配置、增量同步、整库迁移等问题,以及管理部分数据源分库分表、通道控制等;利用元数据采集、生命周期管理、血缘解析、访问权限控制、对接LDAP账号体系、数据脱敏技术,实现多租户权限隔离,生产测试环境隔离技术,从而保障用户数据访问安全;通过监控每个任务的运行情况,实现记录每个任务的运行日志;通过发布管理采用双项目模式,将一个项目中开发的任务发布至另一个项目,实现很好的隔离性,保障数据安全。
2.2第二步建设资产平台,管理数据通过建设数据资产平台来制定某芯片制造企业生产经营的元数据模型、数据标准等规范,采集并维护完整的元数据信息,打通数据关系网络,实现数据的标准化和资产化管理。通过规则配置监控数据质量,搭建起某芯片制造企业元数据中心,盘点数据资产,为数据价值挖掘提供“全、统、通”的元数据基础。
全面统计某芯片制造企业数据资产情况,让用户对生产类、订单类数据的分布、增长、使用、质量情况有直观的了解。包括300余数据库,6000余数据表、40余PB存储量、使用量、质量评分;趋势类的数据分布情况、数据增长趋势、数据使用趋势;元数据质量:规范趋势、规范排行等等。
某芯片制造企业数据资产门户示意图
2.3第三步建设数据质量平台,治理数据通过对某芯片制造企业生产经营数据事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的完整性、准确性、规范性、唯一性、一致性等方面进行多维度评估,保障企业数据服务,提高数据质量管理。
某芯片制造企业数据质量管理示意图
三、建设成果3.1一站式内网访问,提升工作效率避免用户使用多个系统反复登录,和企业集团内部统一登录打通,形成OSS平台。随着某芯片制造企业数据及业务系统越来越多,企业员工在日常工作中遇到的“难题”也越来越多。从牢记单个系统账密、频繁切换应用系统到复杂账密设置要求,每个系统都使用独立的登录和验证机制,降低了员工的工作效率、造成工作成本的浪费。而单点登录则为员工提供了一站式工作中心,仅需登录一次,即可在企业内部已被授权的应用系统资源里进行无感访问,极大地提升了员工工作效率。
3.2降低数据开发难度,提升企业运营价值实现40000张表管理,准确分析数据血缘和影响分析,数据开发人员除了进行数据同步和数据开发之外,监控每个任务的运行情况,并记录每个任务的运行日志,开发人员轻松排查各种异常问题。有效提高了开发人员排查问题的速率,降低了开发人员排查问题的成本,使开发任务更加平稳地运行,让企业有更多时间和精力在提高产能提升销量为企业带来更多价值。
3.3构建数据质量管理体系创建企业数据质量校验规则、管理质量校验流程,构建起企业质量管理体系。通过平台的内置规则模板、自动分析报告等功能的支撑,降低数据质量管理门槛,提高数据质量管理效率,实现数据质量管理的降本增效:通过质量校验及时发现数据问题,并且支持和开发平台联动,有效阻塞问题数据的落地,避免错误数据流入下游,提高企业数据质量。
四、结语通过本次数据治理平台的建设,该芯片制造企业不仅实现了30余种数据源的统一接入、4万余张数据表的资产化管理,更构建起覆盖全流程的数据质量标准与运维体系。平台上线后,数据开发效率显著提升,数据质量问题得以源头管控,为后续智能制造、良率分析等深度应用奠定了坚实基础。
芯片行业作为数据密集型产业,高质量的数据治理是支撑技术迭代与产能提升的关键基础设施。欢迎制造业企业与技术同行交流合作,共同推进工业数据治理的实践创新。
本文内容节选自《数据治理行业实践白皮书》,更多案例与架构详解详见白皮书完整版。
发布于:浙江省金富宝配资-配资平台推荐-十倍杠杆股票-配资安全平台提示:文章来自网络,不代表本站观点。