银行高质量发展的终极目标,是要满足企业和个人在社会发展新阶段的金融服务需求,目前数字经济已经深入企业生产和个人生活的方方面面,而数字经济的关键要素“数据”正成为经济社会发展的战略性资源,在2020年明确被国家列为与土地、劳动力、资本、技术一样的生产要素,并对加快培育数据要素市场进行部署。
商业银行本质上是经营数据的企业,银行收集、应用数据的能力将在很大程度上塑造未来的核心竞争能力。充分激活数据要素潜能,加快产品创新、客户服务、业务运营、风险管控、信息披露和管理决策等业务领域数字化转型,已成为各商业银行的必然选择。对银行来说,发挥数据要素价值的基础和前提是数据治理,随着银行数据应用程度的提升,数据逐渐在银行业务流程中扮演关键角色,对数据治理的要求也越来越高;监管机构对银行数据治理的要求也同样是越来越高,数据治理“强监管”已成为常态。数据治理工作的最终目标是提高数据质量,应对加速变化的外部商业环境,提升服务能力而提供良好的数据支持,发挥数据在业务经营管理中的价值。
但是,长久以来,数据治理都面临着单纯以组织架构、制度流程、标准等的制定为主要手段的治理方式与实际落地执行之间差距巨大的问题。尤其是在IT系统建设和应用过程中,没有行之有效的手段让治理发挥应有的管控作用,治理很多时候变成了流于形式,数据生产与消费脱节,使得“两张皮”的问题愈发严重,极大地掣肘着数据价值的发挥。
南海农商银行在多年的数据建设实践当中,对数据治理的痛点和难点体会非常深刻,基于自身积累的经验经过充分的思考,于2022年提出建设“以元数据驱动的、智能化的”数据治理及数据资产管理平台,致力于解决这亦“老大难”问题。同时,运用最新的智能化技术,提升数据治理的效率和质量。更希望通过该平台降低数据采集、加工和应用的门槛,全面支撑数据资产运营,充分挖掘数据价值,助力南海农商数字化时代的高质量发展。
本平台建设的主要思想是从数据资产管理意识形态、体系运营的角度入手,结合企业自身实践,建立一套科学、合理的长效机制,循序渐进的实现数据资产的管理、优化、升级和运营过程。
因此,我们在数据治理及数据资产管理平台启动之时,已经把它明确定位为:一个集数据治理和数据资产管理于一身的平台,既是满足监管“数据治理工作系统化、自动化和智能化”的要求,更是实现数据资产全面管理和应用,提升数据价值变现能力的重要举措,是一个从资源、资产、治理、管控以及安全等多视角切入的管理过程。
首先,“元数据驱动”是本平台建设的核心思想。一切以元数据为基础, 通过元数据串联所有数据活动,从技术层面保障,把数据治理内嵌系统中形成强关联,保障治理工作的有效性。
其次,在元数据驱动的基础上,运用AI大模型实现“智能定标贯标”和“数据资产智能盘点”,降低人工操作风险,提升数据标准和资产识别能力以及管理能力,强化自动化和智能化的建设目标。
最后,通过元数据构建的“元数据网”,让所有参与数据活动的人员以同一视角更好地理解数据、掌握数据、运用数据,配以南海农商自身出发的数据资产价值评估,促进数据有效良好运转和真正的资产化运营。
遵循上述平台的定位和核心思路,本平台的总体架构如下面所示的总体架构图(见图1)。平台是以元数据为整个平台的基础底座,贯穿始终;然后构建全平台共享使用的基础能力,如采集组件、通知组件等;在此之上则是元数据支撑起来的数据治理模块,主要包括元数据、数据标准、数据质量、数据安全几个核心治理领域;在治理模块之上,是同样充分利用元数据实现定义、识别、分类、管理的数据资产模块,最后,在有效的数据治理和数据资产管理的加持下,完成数据资产赋能业务的最终目标和其价值的评估。
数据治理模块是平台中一个最重要的组成部分之一,它主要包含元数据、数据标准、数据质量等几个子模块。其以元数据子模块作为底座支撑,以从业务侧出发制定并已明确责权利的数据标准作为规范指引,把整个数据管控串联起来,形成数据管控闭环和数据应用闭环,以此不断提升数据资产质量。同时合理引进先进技术,进一步提升数据资产管理的智能化水平,及时响应业务需求。
数据治理模块完成了南海农商数据治理体系的全面支撑,满足数据治理工作系统化、自动化和智能化的要求,为数据资产应用提供保障基础,同时在数据资产应用过程中真正实现“以用带治,以治促用”的业务闭环,提升数据服务能力,加速数据价值变现过程。
数据资产体系建设过程分为数据资源化和数据资产化两个环节,数据资源化是将“无序”原始数据转变为“有序”数据资源,完成业务数据化的过程,数据资产化则是将数据资源整合提炼成,并进行运营及服务,成为能够直接产生价值的数据资产过程,对内辅助企业管理,对外促进业务创新。
本次项目实施围绕着数据资源化到数据资产化进程进行开展,同时依托数据管控为基石完成基础能力以及业务应用能力两大方面的建设工作。
基础能力方面:通过整合业务能力统筹平台建设,以行业先进经验为依托,南海农商行业特色为抓手,并结合全行数据治理“以用带治,以治促用”的指导纲领,从数据资源化梳理、数据资产盘点、资产目录规划设计、资产归属确认、资产分类分级、数据资产地图、数据资产应用,数据资产运营、数据资产价值评估等功能入手完成平台基础能力建设,实现数据资产“聚”、“管”、“用”的串联效果,打通数据到业务通道。
应用方面:以业务场景为触点,依托平台能力,推动业务和技术的深度融合,平台中提供了以业务视角为主的数据资产分类、资产对象管理、资产搜索、展现和应用等功能,既实现该类数据资产的可查、可见和可用;又可以从数据资产应用反向以业务场景为导向,通过业务、产品及用户出发,发现数据能够解决问题的领域,从而选用数据、净化数据以解决特定的业务问题;辅助业务创新为数据资产要素市场化提供保障,进一步加强数据资产化能力,降低数据使用门槛,提升数据服务能力,加速企业数据价值变现。
数据资产运营模块是基于资产管理能力,对数据资产进行有效的管理和利用,提高决策效率和风险管理能力。该模块实现了数据价值评估和运营指标量化两方面的工作。评估模型是基于资产的构建和应用过程,结合行内实际构建的数据资产价值评估模型,运营指标则包括数据资产总量、资产分布、发布量、订阅量、收藏量、服务量、资产价值度等信息,既科学评估数据全生命周期地状态,又为后续数据成本分摊、数据市场化等做准备。同时还通过数据地图(见下图)等方式以直观地展现数据资产端到端地流程脉络。
南海农商元数据驱动的智能化数据治理及资产管理平台,创新性地以元数据串联起数据全生命周期,并运用最新的智能化技术通过在数据治理管控、数据资产管理、数据资产应用等模块的落实该设计理念,解决了数据治理工作落地难的难题,更完成了数据资产运营核心能力的构建,同时开启了南海农商数据资产化的进程,为即将到来的数据资产入表提供了坚实的基础。
1、“全面元数据驱动”设计理念的落地,很大程度上解决数据治理、数据开发和数据应用多个难题。
无论是数据治理模块还是数据资产模块都以元数据为基础,完整的元数据体系为数据活动提供统一的数据结构、数据释义以及数据参考,保障资产应用流程中的一致性,血缘及影响分析的完整性,解决信息孤岛。
从技术层面保证数据治理活动是整个数据流程能够运转起来的支撑,即从数据的产生源头开始,元数据便被定义,而中间整个加工过程和最后的消费环节,也是由元数据所引导的,让数据治理成为和数据生产以及消费的强制关联活动,颠覆了传统数据建设过程中,数据治理部件的监工角色,转换为引导员的角色。
其与数据开发平台、数据调度平台、数据门户对接,实现开发可视化、运营可视化、消费可视化,能够引导技术和业务人员可视化、流程化的建设和使用数据,使得技术、业务能够站在同一个视角来看待数据本身(是什么、在哪里、如何取、怎么用)、看待数据的运营情况、看待数据的使用情况。解决了“设计开发两张皮”、“生产消费两张皮”这两个数据领域的痼疾,极大提升了数据开发的效率和质量,降低数据消费的门槛。
全面元数据驱动的设计,在降低数据使用门槛的同时,还由于在系统内固化了流程,使得任何一个人接手同一个岗位所执行的都是同样的流程,出来的都是同样的结果,避免了人员流动对数据应用如报送、统计等的影响,极大降低了数据应用对个人能力的依赖性。
通过引入AI大模型,完成了行内现有16万个业务字段的机器学习过程,辅以NLP自然语言解析、词频、权重定义、多波次业务标注等技术手段最终实现了拥有4万多个标准词的标准库生成并对形成数据服务,配以平台数据标准管理相关流程,实现了系统建设过程中的快速贯标检查和智能定标、一键定标,以及数据建模过程中词根词库的最佳推荐,能够从底层建模过程开始即开展数据治理的管控,更让大规模系统建设(如核心系统项目群重建)过程中的数据标准管理成为了可能。且该标准库能够在每次的贯标、定标中学习成长,不断丰富完善,真正落实“以用带治,以治促用”的建设思想。
另外,在上述智能化成果的基础上,以元数据为依托探索智能数据资产盘点,尝试自动化完成资产对象的归属、属性补充、资产安全分级分类等工作,以降低人工操作风险,提升资产处理效能。
基于全面的元数据定义,我们通过完成全新的“全面多维度的”数据订阅建设,打破行内和业内当前的数据订阅功能基本停留在的现有数据静态订阅的层面。在原有只存在数据本身层面的订阅功能基础上更进一步,打通了与行内已有的报表和分析工具的连接,不单单提供用户从字段、表、报表、指标、标签、画像等多种数据资产的订阅,更是实现了业务用户对订阅的数据结果进行自助的、多样式的再加工、再分析、再展现,实现从“有数”到“用数”的跃进,提升数据服务能力,加速数据价值变现过程。
依托本平台的数据资产运营模块,我们结合南海农商自身的实际,以数据流动为核心,从数据成本以及数据收益两大方面重点考虑,探索构建了多个维度和指标的数据价值评估模型,同时开发了多个数据资产运营的量化指标,如:资产总量、资产服务量、资产订阅量、资产价值度等,客观反映所有数据资产全方位的情况,为良性的数据运营提供了科学客观的依据,对行内数字化能力量化评价起到了较好的辅助作用,也为数据资产入表做了有价值的探索和基础铺垫。
平台建设的主要思想是从数据治理及资产管理意识形态、体系运营的角度入手,结合企业自身实践,建立一套科学、合理的长效机制,循序渐进的实现数据治理及数据资产的管理、优化、升级和运营流程。
本次采用以元数据驱动为核心建设思路,通过元数据串联所有数据活动,从技术层面保障,把数据治理内嵌系统中形成强关联,保障治理工作的有效性。
其次,在元数据驱动的基础上,运用AI大模型实现“智能定标贯标”和“数据资产智能盘点”,降低人工操作风险,提升数据标准和资产识别能力以及管理能力,强化自动化和智能化的建设目标。
最后,通过元数据构建的“元数据网”,让所有参与数据活动的人员以同一视角更好地理解数据、掌握数据、运用数据,配以南海农商自身出发的数据资产价值评估,促进数据有效良好运转和真正的资产化运营。
平台建设目标主要是实现一个集“数据管控”和“数据资产管理”于一身的平台,既是满足监管“数据治理工作系统化、自动化和智能化”的要求,更是实现数据资产全面管理和应用,提升数据价值变现能力的重要举措,旨在通过信息化手段掌握和应用全行数据资产情况,通过统一数据标准,完善数据目录,净化数据问题,提升数据质量等手段达到真正意义上的“科技业务双轮驱动”的发展战略。遵循上述平台的定位和核心思路,本平台的总体架构如下面所示的总体架构图(见图1)。平台是以元数据为整个平台的基础底座,贯穿始终;然后构建全平台共享使用的基础能力,如采集组件、通知组件等;在此之上则是元数据支撑起来的数据治理模块,主要包括元数据、数据标准、数据质量、数据安全几个核心治理领域;在治理模块之上,是同样充分利用元数据实现定义、识别、分类、管理的数据资产模块,最后,在有效的数据治理和数据资产管理的加持下,完成数据资产赋能业务的最终目标和其价值的评估。
数据治理模块是平台中一个最重要的组成部分之一,它主要包含元数据、数据标准、数据质量等几个子模块。其以元数据子模块作为底座支撑,以从业务侧出发制定并已明确责权利的数据标准作为规范指引,把整个数据管控串联起来,形成数据管控闭环和数据应用闭环,以此不断提升数据资产质量。同时合理引进先进技术,进一步提升数据资产管理的智能化水平,及时响应业务需求。
数据治理模块完成了南海农商数据治理体系的全面支撑,满足数据治理工作系统化、自动化和智能化的要求,为数据资产应用提供保障基础,同时在数据资产应用过程中真正实现“以用带治,以治促用”的业务闭环,提升数据服务能力,加速数据价值变现过程。
数据资产体系建设过程分为数据资源化和数据资产化两个环节,数据资源化是将“无序”原始数据转变为“有序”数据资源,完成业务数据化的过程,数据资产化则是将数据资源整合提炼成,并进行运营及服务,成为能够直接产生价值的数据资产过程,对内辅助企业管理,对外促进业务创新。
本次项目实施围绕着数据资源化到数据资产化进程进行开展,同时依托数据管控为基石完成基础能力以及业务应用能力两大方面的建设工作。
基础能力方面:通过整合业务能力统筹平台建设,以行业先进经验为依托,南海农商行业特色为抓手,并结合全行数据治理“以用带治,以治促用”的指导纲领,从数据资源化梳理、数据资产盘点、资产目录规划设计、资产归属确认、资产分类分级、数据资产地图、数据资产应用,数据资产运营、数据资产价值评估等功能入手完成平台基础能力建设,实现数据资产“聚”、“管”、“用”的串联效果,打通数据到业务通道。
应用方面:以业务场景为触点,依托平台能力,推动业务和技术的深度融合,平台中提供了以业务视角为主的数据资产分类、资产对象管理、资产搜索、展现和应用等功能,既实现该类数据资产的可查、可见和可用;又可以从数据资产应用反向以业务场景为导向,通过业务、产品及用户出发,发现数据能够解决问题的领域,从而选用数据、净化数据以解决特定的业务问题;辅助业务创新为数据资产要素市场化提供保障,进一步加强数据资产化能力,降低数据使用门槛,提升数据服务能力,加速企业数据价值变现。
数据资产运营模块是基于资产管理能力,对数据资产进行有效的管理和利用,提高决策效率和风险管理能力。该模块实现了数据价值评估和运营指标量化两方面的工作。评估模型是基于资产的构建和应用过程,结合行内实际构建的数据资产价值评估模型,运营指标则包括数据资产总量、资产分布、发布量、订阅量、收藏量、服务量、资产价值度等信息,既科学评估数据全生命周期地状态,又为后续数据成本分摊、数据市场化等做准备。同时还通过数据地图(见图4)等方式以直观地展现数据资产端到端地流程脉络。
系统采用主流的前后端分离架构实现。在前后端分离的应用模式中,后端仅返回前端所需的数据,不再渲染HTML页面以及控制前端的效果。前端用户展示效果,从后端请求的数据展现都是后端通过异步接口(AJAX/JSON)的方式提供的,前端只负责展现即可。
前后端分离架构可以提升系统的业务并发处理能力;提升系统的可用性以及系统的扩展能力。另外前后端分离的架构也方便开发团队的分工合作,提高开发效率。
在数据层除了传统的MYSQL作为平台的参数库,还是引入了Redis提高业务查询响应效率;引入ElasticSearch搜索框架,通过对不同种类业务关键字创建索引有效的在平台内实现一键检索功能,检索结果可以横跨后台多业务关键表,并且便于后续的一键检索功能扩展。
项目实施采用“迭代模型”进行开展,并基于国内金融行业成熟的解决方案进行落地,通过将项目完整过程拆分成二大阶段和十大功能模块进行组织实现,有效的降低项目实施风险,保障目标和需求的一致性。
项目实施周期从立项到投产运营共计15个月,项目团队15人分为6组,其中包括:项目经理、技术经理、数据治理专家、开发人员、测试人员、质量保障人员,项目实施过程严格按照CMMI5的项目过程管理进行执行,对关键里程进行评审,确保项目实施目标和交付标准。
该平台创新性地以“元数据”贯穿始终,把传统数据治理和新型数据治理融合、数据管控和数据运营融合,能有效解决行业内数据治理落地难的问题,实现了关键数据治理工作100%线上化,其搭载的智能化模块还能够让原来需要大量“铺人”的工作实现自动智能化执行。这一系列数据治理手段极大地节省了时间和人力资源,显著降低了数据治理成本,提高了治理效率。
系统提供7×24小时不间断的稳定服务,并具有良好的访问性能。访问者在使用本系统查询、处理相关信息时,原则上对于最大并发用户数200的情况下,系统响应时间不超过5秒。
南海农商银行的数据治理及数据资产管理平台作为行内数据底座和数字化生产力的重要工具,极大地提升了南海农商数据治理的效能和质量,并通过灵活且集成的解决方案有助于南海农商大规模系统建设的质量保证。平台的投产有助于释放数据的潜在价值,达到以数据提升核心竞争力的效果。
随着数字化时代的快速发展,经过治理的优质数据在成为企业重要资产的同时,有效地促进经济和社会信息的共享和进步以及新型商业模式的挖掘,增强社会及组织的协助关系;更有助于作为地方银行地南海农商深耕本地,以更精准、更优质地服务普惠企业和市民,有效的促进产业升级。
1、降低数据治理成本,提升数据治理效能。平台实现了关键数据治理工作100%线上化,同时智能化模块,更是让原来需要大量“铺人”的工作自动、智能地执行。这一系列自动化和智能化的数据治理手段,极大地节省时间和人力资源,显著降低数据治理成本,并提高治理效率。尤其是行内各业务条线统计报送人手的释放,更有助于这些人员重新专注于创新和业务价值的提升,对南海农商业务发展有着明显的帮助。
2、提升数据治理质量,降低监管风险。自动化、智能化的数据治理工具投产,极大地降低了人工操作的风险,更是避免了因为不同人员的能力参差问题造成的治理工作结果参差甚至是错误的情况,使得数据治理工作的质量有了显著的提升,保障了南海农商在数据治理、监管数据等方面的监管合规。
3、加速数字化转型。平台通过数据标准化、质量管理校验等手段,有效提高数据质量,减少因数据质量问题带来的损失;而准确、可靠的数据有助于企业做出更明智的决策,优化业务流程,体现数字化助力业务发展的功效。同时,借助该平台可以快速实现数据的共享和应用,进一步加速以数据为核心的数字化转型进程,让企业能够更灵活地适应市场变化,提升运营效率。
4、创新商业模式。依托平台作为入口的低门槛场景化数据分析和挖掘,可以发现新的业务机会及商业模式,最大化业务价值提升企业核心竞争力。通过积极运用平台数据资产管理和应用等模块,释放数据的潜在价值,驱动业务持续创新与发展。
1、助力南海农商履行社会责任。银行本质的“人民性”和“政治性”决定了银行最终的目的是更好地服务于企业和人民。本项目建设的平台不仅提供基础的数据管理能力,还可以通过更快捷地数据分析挖掘手段,实现从数据到信息到价值的转换过程,帮助银行更好地了解市场和用户需求,优化产品和服务以及过程中的资源配置提高市场竞争力。实现银行的终极目标,更好地服务本地企业和个人,有助于南海农商更好地履行普惠金融的社会责任。
2、增强社会协作。平台标准化和完善的数据资产属性和脉络,可以快速有效实现数据在行内和行外的共享和应用交换,打破行内部门条线之间,以及于外部机构之间的信息壁垒,促进社会及组织间的协作和沟通,提高整体工作效率。
3、促进企业稳健发展。平台丰富完善的数据资产,既可以帮助做出更科学、更合理的决策,从而降低决策风险,保障我行高质量发展;更由于其中的内外部数据融合的数据资产,可以为本地企业提供全面的数据支持和决策依据,提高有关企业运营的稳健性。
4、促进产业升级。平台通过数据驱动的智能化、精细化管理,优化业务流程,提高业务效率,进而让南海农商更好地服务地方产业,促进产业中地企业生产流程优化和生产效率提升,推动地方产业向高端化、智能化方向发展。同时,数据资产的流动还可以促进不同产业之间的跨界融合和创新,推动经济社会的转型升级。
南海农商银行元数据驱动的智能化数据治理及资产管理平台,创新性地以元数据串联起数据全生命周期,并运用最新的智能化技术通过在数据治理管控、数据资产管理、数据资产应用等模块的落实该设计理念,解决了数据治理工作落地难的难题,更完成了数据资产运营核心能力的构建,同时开启了南海农商数据资产化的进程,为即将到来的数据资产入表提供了坚实的基础。
更多金融科技案例和金融数据智能优秀解决方案,请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。
2月13日上午,潘女士在打扫其公公的老房子时,意外发现房间角落处存放着一罐子弹。出于安全警惕,她第一时间联系了浙江台州三门县海游派出所工作人员。
王毅说中国人不接受高市早苗涉台错误言论:直接挑战中国的主权,直接背弃了承诺
@CCTV国际时讯:中国外交部长王毅2月14日在慕尼黑安全会议上指出,日本首相涉台湾的错误言论,直接挑战中国的主权,直接背弃了它对中国的承诺,14亿中国人都不能接受。
当地时间14日,中共中央政治局委员、外交部长王毅出席慕尼黑安全会议,在“中国专场”发表演讲并回答现场提问。被问及中国对亚太地区紧张局势重新升级承担什么责任,王毅表示,我不认同亚太局势日趋紧张。环顾世界,只有亚洲仍然保持着总体和平。
最顶级夫妻关系,就一句话,合起伙来对付这个世界,而不是关起门来互相为难! #婚姻情感
国际峰会常有怪现象,越是高调宣称全球共识,越是容易看出大国线号在西班牙拉科鲁尼亚举行的第三届“军事领域人工智能”峰会就是这么回事:85个国家参加,最后只有35个国家在联合宣言上签字,中美两国都是军事AI的大国,但是都没有签字。
菲律宾突然说要“降温”南海?是真想和好,还是又在演戏?春节前,菲律宾突然放软线日,中菲外交官员在宿务碰面,双方同意“继续通过外交渠道保持沟通,妥善处理涉海分歧”。几乎同时,菲驻美大使罗慕尔德兹,一个过去从不掩饰对华敌意的人竟然公开表示:“中菲关系不该被南海争端定义”。
此前,立陶宛新总理鲁吉尼埃内向我国低头认错,坦言准许设立“台湾代表处”是战略错误,还称,“立陶宛和中国有邦交,希望与中国维持贸易,并期盼与中国达成解决争议的方案; 立陶宛可以决定代表处大门上的名称”。