随着 IT 架构的演进与技术的发展，数据环境呈现出大规模、高增长、多样化和分布化等特征，用户对数据的管理和使用也有了智能化和自动化需求。大数据平台正向着分布式、云原生、人工智能、混合负载场景、异构多模处理等方向不断发展。在这个背景下，云原生大数据平台顺势诞生，它可以充分利用云基础设施来解决超大规模数据的获取、管理、存储和分析，并在整个数据管理的过程中降本增效，实现数据驱动商业。

 

达梦启云云原生大数据平台将大数据处理框架和技术与云原生技术充分结合，以构建可扩展、灵活且高效的大数据处理环境，简化大数据应用程序的部署和管理，并提供一致的运行环境，将各类技术能力与资源进行整合和共享，统筹管理，实现资源的“一站式”高效利用和复用，为上层数据应用夯实基础。

 

 

 

 

核心特性

 

1、一体化云资源管理

达梦启云云原生大数据平台将底层计算、存储和网络资源进行统一管理，建立弹性资源池，使各类大数据技术组件摆脱与底层硬件的强耦合关系，提供多集群、多租户、多区域的细粒度资源管理手段，兼容主流国产化软硬件环境。

 

 

 

2、坚实的大数据底座

平台内预置了11个类别的 69 种云组件，涵盖达梦自主研发的数据库系列产品，如：关系型数据库（DM8、DDW、RWC、MPP、DPC）、图数据库（GDMBASE）、缓存数据库（DMNCDB）、数据交换平台（DMETL5）等，以及各业务场景所使用到的主流开源软件，涉及关系型数据库、MPP 数据库、时序库、文档库、数仓、数据湖、计算引擎、全文检索、消息中间件、对象存储、机器学习等。所有组件均实现了“按需申请、开箱即用、秒级发放”的云能力，为用户带来“积木式”架构设计体验。

 

 

此外，达梦结合自身多年的大数据平台建设经验与行业积累，将类似“HBase + Hadoop + Zookeeper + MySQL + Hue”或者“Hive + Hadoop + MySQL + Hue”这样的“黄金组合”编联成独立的应用栈，解决兼容适配问题的同时，提供统一的配置与生命周期管理功能。

 

 

3、弹性可靠

平台在现代化的网络环境和存算分离架构的加持下，为大数据组件赋予弹性、容错和自愈能力，实现 CPU、内存和存储的动态调整、大数据集群水平伸缩，数据自动分布，计算任务队列管理、队列优先级、故障漂移等。

 

 

 

4、自动化运维管理

平台提供自动化安装部署、在线升级、节点管理、集群管理、统一日志、监控告警和全方位的 Dashboard 监控面板，支持大数据组件的状态检测、亲与反亲和设置，提供可插拔的离线交付能力以及各组件的配置与版本管理能力。

 

 

 

 

应用场景

 

平台支持结构化、半结构化、非结构化以及各类 IoT 数据的接入、存储与计算能力。

 

以能源行业物探数据为例：平台采用独创的数据上传与写入技术，将 SEG-Y 格式的地震体数据安全高效的传输到平台内的对象存储中，并同步将元数据记录到 DM8 关系型数据库中。根据 SEG-Y 格式的数据特点，利用专用编码器、向量化引擎、数据压缩等技术，将其解析为结构化数据保存到 ClickHouse 中并建立业务索引，实现 SEG-Y 数据的指定范围切片数据快速获取和原始数据格式快速生成。在几十毫秒以内完成对 SEG-Y 切片数据特定值或范围的查找，以极低的延迟处理查询并将结果加载到用户的页面中，实现地震体的渲染展示。

 

在此基础之上，进一步建设以数据治理、可视化分析和大屏展示为主的，面向具体业务场景的一体化数据中台解决方案，实现数据标准化与资产化，帮助企业沉淀业务模型，降低重复建设，减少烟囱式协作的成本，提供高效数据服务。

 

如今，在数字经济的大背景下，互联网行业及传统企业加速云化转型，全国整体云服务市场的规模逐年扩增，云成为新一代 IT 基础设施已经成为不争的事实。

 

达梦公司在大数据技术的云化方向上开拓创新，自主研发的达梦启云云原生大数据平台，具备完善的大数据生态组件与兼容性，目前，该产品已在能源行业与交通运输行业得到海量数据的处理能力验证，实现了大数据场景下的稳定运行，计算资源在线扩容，数据存储集群水平扩展，技术需求敏捷交付，解决了多租户环境下的数据安全与资源隔离问题。

 

接下来，达梦公司还将继续深入云原生大数据的研究，在现有的工作成功上继续添砖加瓦，集成机器学习与算法模型，强化数据处理能力，以智能、安全的服务能力满足客户多样化的需求。