论文部分内容阅读
（沈阳理工大学 辽宁 沈阳 110159）
摘 要：在面向智慧城的网络数据采集中，数据格式化入库是核心技术之一，本文首先介绍了普遍采用的入库模式并分析了其缺点，其次给出了几种简化入库操作及提高入库程序效率及复用性的方式，最后介绍了在入库过程中需要特殊处理的几个方面的内容。
关键词：智慧城市；网络数据采集；数据入库
引言
智慧城市是运用信息和通信技术手段感测、分析、整合城市运行核心系统等关键信息，对民生、公共安全、城市服务、工商业活动等各种需求做出智能响应，其实质是利用先进的信息技术，实现智慧式管理和运行，进而人们创造美好的生活，促进城市和谐、可持续发展。网络运行商为其搭建了巨大的网络，但仍然存在着对骨干网数据采集以及数据的分析入库任务量庞大等问题，因此对海量网络数据入库的研究十分重要，现将其相关研究分析如下。
一、网络采集数据入库处理
数据入库是网络数据采集的基本功能之一，一般的操作方式就是按照入库要求形成sql语句，执行后插入到数据库中。但实现过程有所不同，普遍采用的是单个表写程序实现数据插入的模式，存在的问题就是当数据表名称或字段发生变化或者是新增加一个入库要求时，就要修改或者重写一个程序，效率低，复用率低。因此，网络数据采集模型的数据入库功能需要拥有一个工具化的入库程序，通过配置实现入库数据与数据表之间的对应，当出现上述变化时，只需修改配置即可，另外在采用新的数据库平台时，只需要修改数据库的连接串或逻辑处理即可。动态采集的数据在入库时，自动匹配对应的采集系统的配置字典表，如果发现有新的设备出现，则通知资源管理系统。
经过文件格式化后，得到一个格式固定的标准文件。由于在文件格式化过程中，仅实现了数据抽取和标准化的输出，并没有針对个性化的数据处理，如日期格式、个别数据计算等。因此，入库程序需要提供灵活化的配置，即支持对入库标准文件中所含变量的四则运算、函数处理，形成入库字段所需的数值。入库与分析一样，都采用开闭原则的实现方式，即由主程序和配置信息来实现功能。数据在入库的过程中一般采用如下结构，如表1所示。
二、网络采集数据入库性能提升
在入库的过程中，根据需求有3个方面需要特殊处理：
1、文件的处理效率
服务器处理能力较快，瓶颈一般出现在读写的I/O上，所以少量的处理文件是提高效率的关键；另外尽量避免重复的打开一个文件进行操作。采用的方法主要有：
1）、少处理文件个数：从配置信息中提取需要处理的文件的关键字，以该关键字为条件查找符合条件的文件，确保打开的文件就是需要被处理入库的文件（文件名中的业务名称就是配置信息中的业务块名称，即blockname）；
2）、少打开文件次数：预先把配置信息读入到内存中，打开文件后依次执行与该文件相关的入库要求。
2、配置的灵活性
文件格式化仅实现了从各种格式的文件到标准格式文件的转换，特殊的个性化操作需要在入库的配置中实现，所以要求配置具有较高的灵活性支持。按照要求，需要以下功能：
1）、支持四则混合运算：支持某个表的某个字段所需要的值是经过很多变量使用四则运算表达式计算后得出的值，这样的方式提高了可入库内容的匹配性。在分析阶段无法逐个实现的个性化，可以根据入库的要求，提供对应的计算；
2）、字典表查询数据补充：待入库的表中可能存在某些字段使用了现表中已经存储的字典表，即以待入库某个变量为条件查询字典表获取更多的数据，常用的有通过编码查询名称、以及查询其归属的逻辑关系（属于哪个容器、城市等）。并且在查询的过程中，能够发现哪个设备是新增的，可以及时向外通知；
3）、自定义函数支持特殊的个性化需求：为了最大限度的支持个性化，入库模型需要提供自定义函数满足特殊数据的处理，比如在比例计算时，先判断分母是否为0，避免计算过程中报错；比如三元计算符，ifaorb（条件表达式，a，b），条件表达式为真时，取a，否则取b等。自定义函数可以随时按照特殊需求扩充。
3、多厂家支持
处理数据可能会遇到数据表的数据来自于不同的厂家，这些厂家的公式不同，对应的表达式也不同。为了实现不同厂家的不同公式能够录入到同一个表内，使用ruleset来区分。即关系对应的loadmap通过ruleset区分为不同的配置，启动入库程序指定入库路径及使用的ruleset。另外的方法是通过业务名称blockname实现区分，即為不同厂家的数据命名不同的blockname。这两种方法可以结合使用，根据运行服务器的资源情况，增加进程或者使用不同的blockname。增加进程，增加了系统资源的开销，但是可以提高每秒处理的文件个数。
入库采用主程序加配置信息的方式，主程序相当于一个驱动的引擎，实现对配置涉及到的相关文件进行入库操作处理。配置信息称之为loadmap，在loadmap中包含变量、变量的四则混合运算、函数计算、字典表查值四大类计算字段对应值的方法。
结束
本文主要从3个方面介绍了面向智慧城市的网络数据采集模型的数据入库处理，第一通过配置实现入库数据与数据表之间的对应，提高效率及复用。第二支持对入库标准文件中所包含变量的四则运算、函数处理。第三自动匹配对应的配置字典表。在入库的过程中，通过少处理文件个数和少打开文件次数方法来提高对文件的处理效率。通过支持四则混合运算、支持字典表查询数据补充、支持自定义函数来提高配置灵活性以及对多厂家支持，来提高面向智慧城市的网络数据入库的效率。因此，充分发挥数据入库灵活高效的优势，并对网络采集数据入库进行模式化，智能化地管理与利用，对网络性能进行监视与控制，不仅能够有效缓解智慧城市建设的巨大资金压力，更可以有效的服务大众。
参考文献
[1] Prakash， Vishal，Casey， Robert. SNMP Is Becoming The New Framework For SCADA[J]. Pipeline &； Gas Journal，2009，2362.
[2] Kao， Ken. How Ethernet networks can add health， visibility to industria l applications[J]. Control Engineering，2015，：.
[3] Ahmad Kamil Abdul Hamid，Yoshihiro Kawahara，Tohru Asami. Web Cache Design and Implementation for Efficient SNMP Monitoring towards Internet-Scale Network Management.[J]. IEICE Transactions，2011，94-B.
摘 要：在面向智慧城的网络数据采集中，数据格式化入库是核心技术之一，本文首先介绍了普遍采用的入库模式并分析了其缺点，其次给出了几种简化入库操作及提高入库程序效率及复用性的方式，最后介绍了在入库过程中需要特殊处理的几个方面的内容。
关键词：智慧城市；网络数据采集；数据入库
引言
智慧城市是运用信息和通信技术手段感测、分析、整合城市运行核心系统等关键信息，对民生、公共安全、城市服务、工商业活动等各种需求做出智能响应，其实质是利用先进的信息技术，实现智慧式管理和运行，进而人们创造美好的生活，促进城市和谐、可持续发展。网络运行商为其搭建了巨大的网络，但仍然存在着对骨干网数据采集以及数据的分析入库任务量庞大等问题，因此对海量网络数据入库的研究十分重要，现将其相关研究分析如下。
一、网络采集数据入库处理
数据入库是网络数据采集的基本功能之一，一般的操作方式就是按照入库要求形成sql语句，执行后插入到数据库中。但实现过程有所不同，普遍采用的是单个表写程序实现数据插入的模式，存在的问题就是当数据表名称或字段发生变化或者是新增加一个入库要求时，就要修改或者重写一个程序，效率低，复用率低。因此，网络数据采集模型的数据入库功能需要拥有一个工具化的入库程序，通过配置实现入库数据与数据表之间的对应，当出现上述变化时，只需修改配置即可，另外在采用新的数据库平台时，只需要修改数据库的连接串或逻辑处理即可。动态采集的数据在入库时，自动匹配对应的采集系统的配置字典表，如果发现有新的设备出现，则通知资源管理系统。
经过文件格式化后，得到一个格式固定的标准文件。由于在文件格式化过程中，仅实现了数据抽取和标准化的输出，并没有針对个性化的数据处理，如日期格式、个别数据计算等。因此，入库程序需要提供灵活化的配置，即支持对入库标准文件中所含变量的四则运算、函数处理，形成入库字段所需的数值。入库与分析一样，都采用开闭原则的实现方式，即由主程序和配置信息来实现功能。数据在入库的过程中一般采用如下结构，如表1所示。
二、网络采集数据入库性能提升
在入库的过程中，根据需求有3个方面需要特殊处理：
1、文件的处理效率
服务器处理能力较快，瓶颈一般出现在读写的I/O上，所以少量的处理文件是提高效率的关键；另外尽量避免重复的打开一个文件进行操作。采用的方法主要有：
1）、少处理文件个数：从配置信息中提取需要处理的文件的关键字，以该关键字为条件查找符合条件的文件，确保打开的文件就是需要被处理入库的文件（文件名中的业务名称就是配置信息中的业务块名称，即blockname）；
2）、少打开文件次数：预先把配置信息读入到内存中，打开文件后依次执行与该文件相关的入库要求。
2、配置的灵活性
文件格式化仅实现了从各种格式的文件到标准格式文件的转换，特殊的个性化操作需要在入库的配置中实现，所以要求配置具有较高的灵活性支持。按照要求，需要以下功能：
1）、支持四则混合运算：支持某个表的某个字段所需要的值是经过很多变量使用四则运算表达式计算后得出的值，这样的方式提高了可入库内容的匹配性。在分析阶段无法逐个实现的个性化，可以根据入库的要求，提供对应的计算；
2）、字典表查询数据补充：待入库的表中可能存在某些字段使用了现表中已经存储的字典表，即以待入库某个变量为条件查询字典表获取更多的数据，常用的有通过编码查询名称、以及查询其归属的逻辑关系（属于哪个容器、城市等）。并且在查询的过程中，能够发现哪个设备是新增的，可以及时向外通知；
3）、自定义函数支持特殊的个性化需求：为了最大限度的支持个性化，入库模型需要提供自定义函数满足特殊数据的处理，比如在比例计算时，先判断分母是否为0，避免计算过程中报错；比如三元计算符，ifaorb（条件表达式，a，b），条件表达式为真时，取a，否则取b等。自定义函数可以随时按照特殊需求扩充。
3、多厂家支持
处理数据可能会遇到数据表的数据来自于不同的厂家，这些厂家的公式不同，对应的表达式也不同。为了实现不同厂家的不同公式能够录入到同一个表内，使用ruleset来区分。即关系对应的loadmap通过ruleset区分为不同的配置，启动入库程序指定入库路径及使用的ruleset。另外的方法是通过业务名称blockname实现区分，即為不同厂家的数据命名不同的blockname。这两种方法可以结合使用，根据运行服务器的资源情况，增加进程或者使用不同的blockname。增加进程，增加了系统资源的开销，但是可以提高每秒处理的文件个数。
入库采用主程序加配置信息的方式，主程序相当于一个驱动的引擎，实现对配置涉及到的相关文件进行入库操作处理。配置信息称之为loadmap，在loadmap中包含变量、变量的四则混合运算、函数计算、字典表查值四大类计算字段对应值的方法。
结束
本文主要从3个方面介绍了面向智慧城市的网络数据采集模型的数据入库处理，第一通过配置实现入库数据与数据表之间的对应，提高效率及复用。第二支持对入库标准文件中所包含变量的四则运算、函数处理。第三自动匹配对应的配置字典表。在入库的过程中，通过少处理文件个数和少打开文件次数方法来提高对文件的处理效率。通过支持四则混合运算、支持字典表查询数据补充、支持自定义函数来提高配置灵活性以及对多厂家支持，来提高面向智慧城市的网络数据入库的效率。因此，充分发挥数据入库灵活高效的优势，并对网络采集数据入库进行模式化，智能化地管理与利用，对网络性能进行监视与控制，不仅能够有效缓解智慧城市建设的巨大资金压力，更可以有效的服务大众。
参考文献
[1] Prakash， Vishal，Casey， Robert. SNMP Is Becoming The New Framework For SCADA[J]. Pipeline &； Gas Journal，2009，2362.
[2] Kao， Ken. How Ethernet networks can add health， visibility to industria l applications[J]. Control Engineering，2015，：.
[3] Ahmad Kamil Abdul Hamid，Yoshihiro Kawahara，Tohru Asami. Web Cache Design and Implementation for Efficient SNMP Monitoring towards Internet-Scale Network Management.[J]. IEICE Transactions，2011，94-B.