论文部分内容阅读
“如果说前几年国产数据库开始见到了曙光，那么说现在就已经看到早晨的太阳了。”数据库专家、上海交通大学计算机系教授白英彩在4月26日由达梦数据库有限公司（简称达梦）主办的海量数据处理技术及云数据库研讨会上说。
就在几年前，我国还苦于基础软件发展不尽如人意，但在最近几年，这种情况已经有了很大的改观。随着我国数据库产品的成熟，出于安全等因素的考虑，越来越多重要部门采用了国产数据库产品。国家电网公司就是其中一个。
从国网项目看国产数据库应用
为保障国家电网的安全稳定运行，提高自主性和安全性，国家电网调度通信中心在核心应用D5000中，采用了达梦数据库作为基础平台。2008年6月，达梦参与了国家电网智能电网调度系统的开发建设，并顺利通过用户和专家的验收，现已在全国进行大面积推广。2010年11月，达梦力敌众多国外知名数据库厂商，在国家电网公司信息化框架项目中脱颖而出，成功中标。值得一提的是，达梦数据库是唯一入围国家电网信息化软件集中采购的国产数据库。
不仅如此，达梦数据库已在电子政务、城市应急、公安、制造业信息化、财政、卫生医疗、安全以及国防军事等近30个领域被广泛应用。
达梦数据库有限公司董事长冯玉才指出，达梦数据库公司从上个世纪80、90年代就开始做数据库，从DM4一直升级到DM7，主要因为如下三方面的因素：首先，数据量呈爆炸式增长，数据处理能力要跟上；其次，数据量大幅增长的同时，数据存放介质的价格却大幅下降，为数据库，特别是海量数据库的发展提供了广阔的天空；最后，国家希望发展自主、可控的数据库产品，为国产数据库留下了市场空间。
达梦数据库产品总设计师、达梦数据库有限公司副董事长韩朱忠介绍，实现国家信息安全的自主可控，是达梦等国产软件厂商的责任。他指出，达梦数据库产品就是在这一背景下自主研发的，属于原始创新，达梦掌握所有源代码和核心技术，因此具有持续的创新能力。
为此，达梦以从国外软件的垄断中寻求突破为目标，从研究所到产品公司坚定不移地走市场化道路，在产品、技术上，由最初的学习、模仿到吸收与创新，再到取得局部功能与性能优势的策略。
冯玉才在接受记者的采访时指出，随着产品的成熟和用户接受程度的不断提高，达梦数据库的定位也将随着产业的变化而变化。
“2011年12月31日之前，达梦数据库公司处于生存创业阶段。为了生存，我们还发展了系统集成业务。”冯玉才说，“从2012年开始，我们进入了生存发展阶段。我们将重点发展数据库业务，弱化应用集成业务。”
满足数据库新需求
随着技术和应用的不断发展，用户对数据库产品提出了新的需求。冯玉才介绍，这主要体现在四个方面。
第一，信息结构类型越来越复杂，要求更强的信息处理技术。在过去很长一段时间，结构化数据主导着IT应用。但是随着互联网等技术的发展，非结构化和半结构化数据所占数据的比例越来越大。许多大数据都是非结构化的，其庞大规模和复杂性需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。
第二，海量数据的产生大大增加了用户对海量数据处理技术的需求。数据已经渗透到每一个行业和业务职能领域，成为一个重要的生产因素。海量数据的运用具有重大价值，海量数据处理技术也变成了各软件企业研发的技术重点。
第三，应用模式的转变对数据分析技术提出新要求。随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节，发展到现在的兆兆（T）节和千兆兆（P）字节，伴随而来的是用户的查询需求的复杂化，其所涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而是要对多张表中千万条记录的数据进行数据分析和信息综合，也就是对大规模并发信息进行分析处理。传统关系数据库系统已不能全部满足这一要求。这驱动了数据仓库技术，包括OLAP（联机分析处理）技术的产生和发展。
第四，商业模式的变化对数据库产品提出了更高的要求。全球化、信息技术的发展和产品生命周期的缩短，使得企业竞争格局发生了巨大的改变。企业的商业模式也由传统的专用（独占）模式发展到局部共享模式，再到共享模式，企业对数据存储、处理和安全性都提出了更高的要求。
面对不断涌现出的新的要求，达梦打造了新一代大型通用商业云数据库管理系统DM7，旨在构建一个统一的、对各类数据库的调用平台。
据悉，DM7作为新一代支持云计算的大型数据库管理系统，较之上一代产品有近数百项新增和改进特性。其中最为重要并最具创新性的特性，是具备MPP（大规模并行计算）技术、海量数据分析技术、大规模并发处理技术、行列混合储存和高安全性。
DM7已经成功运用于上海浦东政务云、三峡地质灾害云、湖北公安云、商务部产业安全云、成都电子政务云、襄阳电子政务云、浙江人口云、中国环境监测云、安徽招商引资云、盛大文化产业云等重大项目。DM7的问世将打开新的市场局面，这也将成为达梦数据库有限公司新的起点。
MPP六大特色
据悉， DM7采用了完全对等无共享（share-nothing）的MPP架构，支持SQL并行处理，可自动化分区数据和并行查询，无I/O冲突。
说起DM7所采用的MPP技术，冯玉才不无自豪地说：“我们的MPP技术一点也不比国际同行的RAC技术逊色。”
来自达梦的资料称，MPP系统工作起来就像是一台单独的计算机，由于采用自动化的并行处理技术，执行速度比传统的单节点数据库大大提高。具体来说，DM7具有六大特色：
第一，大规模并行处理。DM7的MPP架构最多可以同时部署1024个节点，采用统一的并行操作数据库引擎。由于数据分散在不同的数据库节点上，因此在高速的内部网络环境下，可极大减少海量数据的并发查询的I/O，从而提高查询效率。
第二，自动化并行。DM7的MPP架构提供数据存储和查询的自动化并行，插入的数据会被自动分区保存到相应的节点，查询时在各节点的数据库引擎上并行执行查询，并将所有结果数据自动汇集到主查询节点上，数据无共享和I/O冲突。
第三，可靠的数据保护机制。DM7提供了数据守护系统，满足用户对数据可靠性、安全性的需求，解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题，提高系统的可用性。MPP系统中的每个节点都可配置数据守护系统，增加节点数据的完整冗余镜像。节点和镜像节点之间可以互相转换成MPP中的工作节点。
第四，支持列存储。在数据仓库、数据挖掘等查询密集型应用中使用列存储表，在查询只需要少数几个字段的时候，能大大减少I/O。同时，列存储也利于使用设计更好的压缩/解压算法，进一步减少存储空间。
第五，功能齐全。DM7的MPP系统和单节点数据库相比，几乎没有任何功能上的限制，支持触发器，支持存储过程、系统函数、复杂查询等。由于功能齐全，配置也不繁琐，从用户的体验来看，整个系统显得更加透明、简单、易用。
第六，可实现高速数据加载。数据加载可完全并行，所有节点可同时读取数据，然后根据散列算法，将属于自己的数据留下，将其他节点的数据通过网络直接传送给目标节点，实现高速数据加载。
冯玉才总结说，DM7实现的MPP系统功能，为新一代数据仓库所需的大规模数据和复杂查询提供了先进的软件级解决方案，具有业界先进的架构和高度的可靠性，能帮助企业更好地管理数据，使数据更好地服务于企业，从而推动数据依赖型企业的更好发展。
就在几年前，我国还苦于基础软件发展不尽如人意，但在最近几年，这种情况已经有了很大的改观。随着我国数据库产品的成熟，出于安全等因素的考虑，越来越多重要部门采用了国产数据库产品。国家电网公司就是其中一个。
从国网项目看国产数据库应用
为保障国家电网的安全稳定运行，提高自主性和安全性，国家电网调度通信中心在核心应用D5000中，采用了达梦数据库作为基础平台。2008年6月，达梦参与了国家电网智能电网调度系统的开发建设，并顺利通过用户和专家的验收，现已在全国进行大面积推广。2010年11月，达梦力敌众多国外知名数据库厂商，在国家电网公司信息化框架项目中脱颖而出，成功中标。值得一提的是，达梦数据库是唯一入围国家电网信息化软件集中采购的国产数据库。
不仅如此，达梦数据库已在电子政务、城市应急、公安、制造业信息化、财政、卫生医疗、安全以及国防军事等近30个领域被广泛应用。
达梦数据库有限公司董事长冯玉才指出，达梦数据库公司从上个世纪80、90年代就开始做数据库，从DM4一直升级到DM7，主要因为如下三方面的因素：首先，数据量呈爆炸式增长，数据处理能力要跟上；其次，数据量大幅增长的同时，数据存放介质的价格却大幅下降，为数据库，特别是海量数据库的发展提供了广阔的天空；最后，国家希望发展自主、可控的数据库产品，为国产数据库留下了市场空间。
达梦数据库产品总设计师、达梦数据库有限公司副董事长韩朱忠介绍，实现国家信息安全的自主可控，是达梦等国产软件厂商的责任。他指出，达梦数据库产品就是在这一背景下自主研发的，属于原始创新，达梦掌握所有源代码和核心技术，因此具有持续的创新能力。
为此，达梦以从国外软件的垄断中寻求突破为目标，从研究所到产品公司坚定不移地走市场化道路，在产品、技术上，由最初的学习、模仿到吸收与创新，再到取得局部功能与性能优势的策略。
冯玉才在接受记者的采访时指出，随着产品的成熟和用户接受程度的不断提高，达梦数据库的定位也将随着产业的变化而变化。
“2011年12月31日之前，达梦数据库公司处于生存创业阶段。为了生存，我们还发展了系统集成业务。”冯玉才说，“从2012年开始，我们进入了生存发展阶段。我们将重点发展数据库业务，弱化应用集成业务。”
满足数据库新需求
随着技术和应用的不断发展，用户对数据库产品提出了新的需求。冯玉才介绍，这主要体现在四个方面。
第一，信息结构类型越来越复杂，要求更强的信息处理技术。在过去很长一段时间，结构化数据主导着IT应用。但是随着互联网等技术的发展，非结构化和半结构化数据所占数据的比例越来越大。许多大数据都是非结构化的，其庞大规模和复杂性需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。
第二，海量数据的产生大大增加了用户对海量数据处理技术的需求。数据已经渗透到每一个行业和业务职能领域，成为一个重要的生产因素。海量数据的运用具有重大价值，海量数据处理技术也变成了各软件企业研发的技术重点。
第三，应用模式的转变对数据分析技术提出新要求。随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节，发展到现在的兆兆（T）节和千兆兆（P）字节，伴随而来的是用户的查询需求的复杂化，其所涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而是要对多张表中千万条记录的数据进行数据分析和信息综合，也就是对大规模并发信息进行分析处理。传统关系数据库系统已不能全部满足这一要求。这驱动了数据仓库技术，包括OLAP（联机分析处理）技术的产生和发展。
第四，商业模式的变化对数据库产品提出了更高的要求。全球化、信息技术的发展和产品生命周期的缩短，使得企业竞争格局发生了巨大的改变。企业的商业模式也由传统的专用（独占）模式发展到局部共享模式，再到共享模式，企业对数据存储、处理和安全性都提出了更高的要求。
面对不断涌现出的新的要求，达梦打造了新一代大型通用商业云数据库管理系统DM7，旨在构建一个统一的、对各类数据库的调用平台。
据悉，DM7作为新一代支持云计算的大型数据库管理系统，较之上一代产品有近数百项新增和改进特性。其中最为重要并最具创新性的特性，是具备MPP（大规模并行计算）技术、海量数据分析技术、大规模并发处理技术、行列混合储存和高安全性。
DM7已经成功运用于上海浦东政务云、三峡地质灾害云、湖北公安云、商务部产业安全云、成都电子政务云、襄阳电子政务云、浙江人口云、中国环境监测云、安徽招商引资云、盛大文化产业云等重大项目。DM7的问世将打开新的市场局面，这也将成为达梦数据库有限公司新的起点。
MPP六大特色
据悉， DM7采用了完全对等无共享（share-nothing）的MPP架构，支持SQL并行处理，可自动化分区数据和并行查询，无I/O冲突。
说起DM7所采用的MPP技术，冯玉才不无自豪地说：“我们的MPP技术一点也不比国际同行的RAC技术逊色。”
来自达梦的资料称，MPP系统工作起来就像是一台单独的计算机，由于采用自动化的并行处理技术，执行速度比传统的单节点数据库大大提高。具体来说，DM7具有六大特色：
第一，大规模并行处理。DM7的MPP架构最多可以同时部署1024个节点，采用统一的并行操作数据库引擎。由于数据分散在不同的数据库节点上，因此在高速的内部网络环境下，可极大减少海量数据的并发查询的I/O，从而提高查询效率。
第二，自动化并行。DM7的MPP架构提供数据存储和查询的自动化并行，插入的数据会被自动分区保存到相应的节点，查询时在各节点的数据库引擎上并行执行查询，并将所有结果数据自动汇集到主查询节点上，数据无共享和I/O冲突。
第三，可靠的数据保护机制。DM7提供了数据守护系统，满足用户对数据可靠性、安全性的需求，解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题，提高系统的可用性。MPP系统中的每个节点都可配置数据守护系统，增加节点数据的完整冗余镜像。节点和镜像节点之间可以互相转换成MPP中的工作节点。
第四，支持列存储。在数据仓库、数据挖掘等查询密集型应用中使用列存储表，在查询只需要少数几个字段的时候，能大大减少I/O。同时，列存储也利于使用设计更好的压缩/解压算法，进一步减少存储空间。
第五，功能齐全。DM7的MPP系统和单节点数据库相比，几乎没有任何功能上的限制，支持触发器，支持存储过程、系统函数、复杂查询等。由于功能齐全，配置也不繁琐，从用户的体验来看，整个系统显得更加透明、简单、易用。
第六，可实现高速数据加载。数据加载可完全并行，所有节点可同时读取数据，然后根据散列算法，将属于自己的数据留下，将其他节点的数据通过网络直接传送给目标节点，实现高速数据加载。
冯玉才总结说，DM7实现的MPP系统功能，为新一代数据仓库所需的大规模数据和复杂查询提供了先进的软件级解决方案，具有业界先进的架构和高度的可靠性，能帮助企业更好地管理数据，使数据更好地服务于企业，从而推动数据依赖型企业的更好发展。