位置: 首页 > 产业观察 > 产业观察 > 正文
大数据调度平台助力数据运营降本增效
来源:       时间:2017/12/6 13:31:39     
随着移动互联网技术的高速发展,运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现,成为运营商提高核心竞争力、抢占市场先机的关键。 

随着移动互联网技术的高速发展,运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现,成为运营商提高核心竞争力、抢占市场先机的关键。ETL(数据仓库技术)作为数据信息转换的一种主要技术手段,是将业务系统的数据经过抽取、清洗转换之后加载到数据中心的重要工具。随着数据量的增长及业务场景的变化,取数和计算范围不断扩充,整个ETL过程的调度也日益复杂,这不仅带来运维成本的增加,也让数据生产质量难于保障。为此,运营商迫切需要寻求新的技术手段。

  中兴软创结合多年的项目运营服务支撑经验,提出构建全程调度平台解决方案。方案包含进度自动预测、异常监控告警、数据血缘分析等功能,实现从数据汇聚、数据处理到数据服务的全流程调度能力,有效协助运营商提升数据处理效率,满足其处理海量数据和复杂业务场景的需求。

1512522933591562.jpg

  图1 全程调度平台架构图

1512522953691412.jpg

  图2 全程调度平台功能图

  全程调度平台解决方案构建了三层立体式调度体系:

  第一层端到端调度,从业务角度出发,提供松耦合、端到端的调度和监控功能。以数据为中心,通过数据节点组织数据、数据依赖关系、生产流程任务,实现调度信息一点化管理。通过构建360度调度运行视图,洞悉整个数据中心的调度运行情况,提供可视化实时监控。

  第二层流程级调度,通过流程引擎控制任务之间的依赖关系,允许任务并行或串行执行。支持任务同步或异步执行,缩短整个流程执行时间,提升运行效率。

  第三层任务调度,通过正式发布的任务,进行任务执行策略和调度策略,实现任务程序的周期性、临时性或实时不间断运行。任务调度实现数据中心多计算集群任务的统一配置和协同运行,优化系统资源调配。

  2017年,中兴软创全程调度平台在湖南电信率先上线。目前已承接了湖南电信数据中心的10000+数据加工处理任务,问题查证率提高50%。同时数据质量覆盖度提升至98%,人员培训周期由1个月缩短到7天,节省了60%的人力成本。该平台逐步成为湖南电信数据中心的连接器,以高质量、高效、敏捷、安全的手段支撑湖南电信内外数据需求。

责任编辑:小七

【字号 】 【打印】 【关闭
  
推广:,,,,
Copyright(C) 2006-2013 chinacenn.COM All Rights Reserved
 咨询热线:010-63522730  编辑QQ:1371847875
京公网安备11010602130012号 京ICP备13042652号-4