News
您的位置:
运营服务和业务流程从业务受理到服务开通,全流程场景涉及系统多,业务运营服务往往无法快速分析定位问题,需要建设实时的全链路的运营监控服务能力,提高业务服务水平。
运营商数据分析和汇总,主要采用半小时及以上频率汇总,数据分析延迟高,出数不及时,导致管理人员、一线业务无法实时掌握营销数据,无法快速决策,需要建设一个实时秒级的数据分析与汇总系统,帮助提升营销能力,协助快速决策。
在使用手机刷屏、看电影时,经常遇到因流量超标,造成客户突然停机、莫名地支付超高的流量费用,引起客户投诉或离网等情况,因此需要通过实时计算的能力,将流量数据与业务规则进行快速计算,并即时提醒客户流量不足,避免客户流失。
浩鲸科技实时数仓经典场景某省电信运营商按照国家信息安全战略要求,为实现全面去O云化,通过采用浩鲸实时数仓平台,基于Flink+Hudi+CK+缓存技术架构,以流批一体化计算为核心,完成了新一代实时数仓建设,系统建设有效提升业务受理效率,加快了对业务营销的赋能。系统建设总体架构如下:
1、系统架构层面:该运营商基于流消息,采用浩鲸科技实时数仓平台,支撑多流合并、流流关联、流表关联,实现基于流的秒级关联、计算,打造了自己的实时数仓体系,完成建设并沉淀的实时模型45+,指标100+,实时标签180+。2、分析应用层面:实现省内实时经营视窗分析、季度营销通报、岁末年初营销通报、实时协号转网多类实时通报、数字化大屏实时场景,数据分析和呈现效率由30分钟+,提速到分钟级甚至秒级,极大的提高的领导决策、一线人员运营、客服服务定位的效率。数字化实时大屏(PC):实时经营视窗(APP):3、营销服务层面:建设了基于CRM实时API调用大数据的实时标签,判断客户当前业务情况是否存在受理限制,提速实时业务受理。实时受理类标签调用月均1W+次,查询效率由原本30分钟+的延迟,提速至5分钟以内,极大减少了客户在业务受理时的等待时间。基于客户流量、费用超标的流事件进行触发,实时关联和融合客户画像标签,实现实时流量辅导、实时业务提醒、实时携号转网挽留场景建设,业务服务水平得到较大提升,客户投诉率下降13%+,客户价值增长7%+。浩鲸科技实时数仓建设实战从构建一个高效的、实时处理数据的实时数仓出发,协助项目人员快速开发实时业务场景,并可以清晰的进行实时场景的运维自治,从而真正地解决在用数市场的数据时效性的难题和困境。实时数仓库从平台化的总体规划、功能的完善性、开发的易用性、运行的安全性、建设的高效性等出发,建设基于批流一体化的框架保障实现逻辑统一,可以处理所有数据,同时加强对数仓建设过程的标准、元数据与数据模型的管理,让所有过程有据可循,可跟踪可呈现,再利用当前先进的数据湖技术来保障数据的存储及时永新;规划设计的实时数仓建设思路如下图:1实时数仓架构数仓的分层搭建需要从复用、成本、质量、扩展性等方面去考虑,实时数仓的搭建,包括层次划分、命名、主题域划分、数据域划分与离线相差不大,目前划分层次如下图,推出了以Flink、hudi与clickhouse为核心的批流一体化海量实时数仓架构,用1套架构解决了N种分析场景的需求,过去需要运维N种独立的组件、开发N套系统、对接N种接口、N种安全策略,现在只用1个系统1套架构就都解决了数据割裂和开发复杂的问题,并且让实时处理的架构变得非常简单。2建设实践不管是从上下结构还是左右结构演进过来的数仓一体,最终都应该是一个简单易用的系统体系,可快速接入数据、并高效实时的计算形成数仓各分层所需的数据,因此浩鲸科技实时数仓一体平台提供四大关键特性,这四大关键特性都是在围绕怎么把实时海量数据做到更加易用:快速接入平台封装超40+的数据源接入接口,开发者在使用的时候,无需再进行对接源的学习研究,可以直接在平台上拖拉式数据或直接引用数据源的编码方式使用,便可以完成对数据源的快速接入,系统针对每种不同类型的数据都默认配置了数据解析引擎,可以很方便快捷的将结构化、半结构化的数据格式转换化表字段模式,快速接入数据类型如下图(针对结构化与半结构化数据均可以快速接入):数据的快速接入可支持客户分钟级的自助打通实时数仓的建设,屏蔽了很多底层的配置细节,让客户实现快速的业务洞察。统一标准、元数据实时数仓的标准沿用离线数仓的标准,标准的建设主要包括并遵守约定好的数据类型规范、数据冗余规范、数据表处理规范、表的生命周期管理,词根设计规范、表命名规范、指标标签的命名规范等;其中数仓的分层标准规范中基于ODS层设计规范、公共维度层设计规范、DWD明细层设计规范、DWS公共汇总层设计规范等进行分层设计;清晰数据结构。好的标准规范在实时数仓中可清晰用于数据血缘追踪,减少重复开发,数据关系条理化,屏蔽原始数据的影响。通过元数据可见技术,实现不同系统之间的数据可见性,进而实现双向的读写能力。实时数仓的元数据管理支持批量导入各系统的的元数据库,支持新增表自动同步。通过外表的元数据可见,实现了数据不搬迁,支持双向的可读可写可感知。元数据自动发现技术,更是让外表的创建和更新完全自动化,减少了大量手工运维调试的工作。用户不再需要周期性同步表结构,不再需要担心数据类型的不对齐。引用hudi与clickhouse存储实时数仓数据,组件提供对数据的增、删、改的实时操作,保障存储的数据的及时永新,这样就有效的保障各层模型的实例数据的时效性,有利为各业务系统提供基于最新数据分析、决策相关的能力。提供统一的开发体验为节约各项目现场的开发成本,提升业务实现的效率,实时数仓的开发屏蔽复杂的跨源计算技术,提供近业务逻辑实现的基于模型的拖拉式的开发体验与基于相对标准的统一的SQL开发体验。系统自治这个也是我们一直重点投入的领域,实时数据在建设过程中,由于计算任务经过环节较多,当出现问题的时候,往往在某一个地方很难定位与分析问题,需要从采集源、消息中间件、计算程序到数仓库的全数据计算链路的流程中去查找原因才好定位问题。自治的全链路运维保障为帮助运维人员更好地分析与定位问题,平台提供统一的运维管理能力,可在线查看处理各种业务与技术问题,通过智能的采集数据源、缓存、实时仓库存储与计算过程的指标,制定相应的指标阀值,快速实现对异常情况告警。同时系统针对识别到的异常的问题,建立系统运行的自治机构,自动识别源与目的临时性问题决定数据自动处理方式,如自动重新消费、自动记录或跳过数据等处理方式。系统运维图如下:自治的时效性保障平台通过提前压测与监控,发现影响数据计算的性能问题,提前做好数据处理的准备:1)提前压测:提前发现可能会影响任务处理速度的瓶颈,常见的就是数据倾斜、大状态的算子操作(join),及时预判是否当前资源是否可以支撑运行,保障计算的时效性,如果不能会提前进行告警通知。2 ) 监控:监控任务当前的消费进度,在数据源处通过使用数据时间与当前系统时间对比判断其消费进度,对于大量延迟系统尝试增加并发与资源,若还是出现大量延迟会及时产生告警通知。在项目上通过浩鲸科技的实时数仓平台的能力,可以帮助客户快速地实现数据的处理,高效搭建实时数仓,节约开发过程的成本与时间,解决客户各种对数据时效性要求高的业务场景,提升客户对业务的决策能力。欢迎扫码留言咨询
1、系统架构层面:
2、分析应用层面:
3、营销服务层面:
自治的全链路运维保障
为帮助运维人员更好地分析与定位问题,平台提供统一的运维管理能力,可在线查看处理各种业务与技术问题,通过智能的采集数据源、缓存、实时仓库存储与计算过程的指标,制定相应的指标阀值,快速实现对异常情况告警。同时系统针对识别到的异常的问题,建立系统运行的自治机构,自动识别源与目的临时性问题决定数据自动处理方式,如自动重新消费、自动记录或跳过数据等处理方式。系统运维图如下:
自治的时效性保障
平台通过提前压测与监控,发现影响数据计算的性能问题,提前做好数据处理的准备:
1)提前压测:提前发现可能会影响任务处理速度的瓶颈,常见的就是数据倾斜、大状态的算子操作(join),及时预判是否当前资源是否可以支撑运行,保障计算的时效性,如果不能会提前进行告警通知。
2 ) 监控:监控任务当前的消费进度,在数据源处通过使用数据时间与当前系统时间对比判断其消费进度,对于大量延迟系统尝试增加并发与资源,若还是出现大量延迟会及时产生告警通知。
欢迎扫码留言咨询
浩鲸云计算科技股份有限公司 版权所有 2003-2023
苏ICP备10224443号-6 苏公网安备 32011402011374号