论文部分内容阅读
“计算速度越来越快，企业却越来越笨……今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。”IBM实体分析首席科学家、杰出工程师Jeff Jonas的言论绝不是危言耸听。
全世界每天有超过250兆字节的数据，从传感器、移动终端、网络交易、社交网站等形形色色的地方产生；过去两年内产生的数据量，就占了有史以来的90%。
数据分析一直是业界热点，社交媒体、移动计算等兴起后，对非结构化数据的处理成为焦点，大数据成为热词。2009年4月，IBM提出业务分析与优化（BAO，Business Analytics and Optimization）战略，应对大规模数据的处理。而针对大数据，IBM在今年的IOD（Information On Demand，信息随需应变）大会上，宣布了一系列创新举措，对应对海量数据的InfoSphere BigInsights平台进行多项更新，如推出云计算版本的InfoSphere BigInsights等，以更好地支持大数据处理。此次对大数据策略的强调使蓝色巨人的业务分析战略更加完整。
新产品应对大数据
“分析不再是一个工具，而是一项必要的能力，能让业务流程智慧运转的能力。”IBM负责软件和硬件两大集团的高级副总裁Steve Mills在IBM 2011 IOD上开宗明义，“企业必须将对信息的洞察力转化为行动，不是为了获得竞争优势，而是因为它已经变成生存的根本。”IBM 2011 IOD大会于10月23~27日在美国拉斯维加斯举办，本届论坛的主题是“Turn Insight Into Action（将洞察付诸行动）”，来自几十个国家的上万名用户、技术人员和合作伙伴参会。
目前大多数公司都缺乏足够的分析能力，从大数据当中获得有用的信息。2010年，麻省理工斯隆管理学院与IBM进行了一项针对3000名高管的调查。60%的受访者表示，他们拥有的数据远比他们能有效利用的多。IBM最近又发布了一项针对1700多名CMO进行的调查，结果显示，71%的组织还没有准备好迎战大数据。
为了应对这些挑战，IBM提供了新的分析和信息管理产品以及技能资源，使企业更容易探索和利用大数据。
IBM软件信息管理总经理Arvind Krishna在开幕致辞中介绍了多项新产品及服务。引人瞩目的一项新服务就是云上的基于Hadoop的分析软件InfoSphere BigInsights，云版本的InfoSphere BigInsights可以在30分钟内就部署好并且启动运行。IBM InfoSphere BigInsights 是用于分析和可视化管理海量数据的处理平台，它基于分布式开源技术 Apache Hadoop，在集成与扩展 Hadoop 主要组件的同时，还提供 IBM 特有的数据处理与分析模块。利用 BigInsights，IT 专业人员能够快速地构建大数据分析处理平台，对企业内的海量数据进行定制化分析，并能够与企业现有的数据库、数据仓库和商业智能分析框架相结合，从而帮助企业获得商业价值。
发布的新产品和服务还包括：专为iPad打造的Cognos Mobile；提升Netezza一体机性能的DB2分析加速器和IMS12；众多的InfoSphere系列产品——MDM 10、Information Server 8.7和Optim Test Data Management Self Service Center的升级。
IBM的预测性分析软件SPSS 20.0增加了一项新能力，即基于地理数据的预测性分析。SPSS 20.0的这一新功能使用户可以添加一个地理维度做分析。用户可以添加地图模板，包括来自ESRI文件的地理空间数据。这一应用也有广泛的行业应用背景。医疗机构可以使用这一新的功能更直观地查明事故高发或疾病高发的地区；政府雇员可以分析城市街区和农村人口密集地区过去和现在的人口普查数据，确定犯罪高发地区，从而分配更多的执法力量，或者调整税率；直销商可以找到对他们来说最有利可图的客户群，并重新分配广告资源。
30分钟启动的云分析软件
将大数据分析带到云上意味着客户无需任何Hadoop技巧，或者安装、运行软硬件，就可以获得大数据处理能力。对企业来说，部署 Hadoop及其相关的大量组件复杂且容易出错，数量众多的管理命令也让众多初学者望而却步。云版本的大数据分析显然帮用户解决了这一烦恼。
同在10月份，甲骨文曾宣布其大数据系统Big Data Appliance将能够支持Hadoop，亚马逊的Elastic MapReduce云服务也是基于Hadoop。此外，微软也表示将在Azure云平台和 Windows Server上对Hadoop进行支持。
实际上，在基于Hadoop的服务方面，IBM早就未雨绸缪，就在IOD开幕的前几日，IBM刚刚宣布收购Platform Computing公司，该公司以开发高性能计算软件而享有盛名，但最近却在云计算和大数据领域大放异彩。
云版本的 InfoSphere BigInsights使组织内的任何用户都可以做大数据分析。云上的BigInsights软件可以分析数据库里的结构化数据和非结构化数据，使决策者能够迅速将洞察转化为行动。
IBM此次发布的云版本的BigInsights拥有简装版和企业版。简装版提供免费的入门级别的应用，让用户了解怎样做大数据分析，比如用BigSheets组件做“what-if”分析。简装版用户客户还可以无缝迁移到企业版，企业版收费每小时每群集0.6美元。而对于企业版，IBM表示，任何人都可以在“30分钟以内正常启动和运行”。此外，两个版本都包括开发沙盒，具备开发环境和测试环境，客户可以利用其开发出新的业务分析应用程序。
“今天，银行、保险、零售、传媒和数据娱乐业的领导者都在利用云版本的BigInsights分析大规模的非结构化数据，从而感知客户需求，使计算机网络、智能电网等更安全，创建更好的客户体验计划。”IBM负责软件和硬件两大集团的高级副总裁Steve Mills说。
行动中的分析能力
辛辛那提动物园是美国历史最悠久的动物园之一，年游客量120多万。该园通过使用iPad版的Cognos，大幅提升了业绩。Cognos直接驱动了该动物园第一季度50万美元的业绩收入。对于一个年收入2700万美元的企业来说，这是一个相当不错的投资回报率。
针对当今社会“不间断生产力”的要求，IBM宣布随时随地赋予客户分析能力，不管客户是在办公室还是在路上。iPad版Cognos能给用户丰富的、可视化的商业智能体验，如通过报告、仪表盘和积分卡分析销售、客户、财务等数据。
行动中的分析能力是很多行业的迫切需求，尤其是在金融服务、医疗保健、政府、通信、零售和交通物流业这些重点行业。例如，医生可以使用移动分析工具来分析电子病历记录并显示为患者定制的治疗计划；银行业者和保险代理人可以用移动分析工具来分析贷款或政策数据，为客户创建定制的产品和服务；社会工作者可以通过分析监工、警察和法院的实时状态情况，检查寄养家庭的孩童状况。
风能公司的大数据之旅
数百个新客户正在转向IBM，获得可以转化为行动的洞察力，应对大数据。无论是评估社会媒体网站上的顾客评价，还是预测病人的潜在致命感染……IBM正在帮助各行各业将数据转化为行动。
丹麦的维斯塔斯公司是世界领先的高科技风力发电系统提供商。自1979年以来，该公司为67个国家提供超过44,500个风力涡轮机，目前员工超过21,000人。
为了提高风电场的生产效率，需要找到一种新的方法进一步提高涡轮机的性能。对风力发电而言，涡轮机安置位置至关重要，但对其进行精确的计算却是一件非常复杂的事情。这需要考虑尾流效应、风力系数以及复杂的涡轮机空气动力学因素，此外还需要在保证发电量的同时尽量减少电场占地面积。
维斯塔斯正在使用IBM的大数据分析平台和IBM系统提高风力涡轮机的安置水平以优化能源输出。维斯塔斯希望借此加速国际上对风能的接受度，并且开拓新的市场。
维斯塔斯正在由1222台工作负载优化的System X iDataPlex服务器组成的“烈焰风暴”上运行BigInsights软件，从而获得了每秒150万亿次计算能力。通过使用IBM BigInsights软件和IBM的“烈焰风暴”超级计算机分析PB级的结构化和非结构化数据，如天气报告、潮汐阶段、地理空间和传感器数据、卫星图像以及天气建模等，分析工作从过去持续数周到现在不到一个小时完成。
“对于很多客户来说，维斯塔斯涡轮机运行了几十年，他们想要知道安置方案的不同对投资回报率影响有多少。” 维斯塔斯技术研发厂房选址和预测部副总裁Lars Christian Christensen说：“使用IBM的软件和系统，我们现在可以回答这些问题，迅速查明风能新的市场，并帮助我们的客户满足积极的可再生能源目标。”Lars Christian Christensen预计维斯塔斯未来会分析更多样化和大规模的天气数据集，分析数据在未来四年内超过20PB。
“维斯塔斯的案例展示了大型组织如何利用大数据分析和更强大的计算机去做出更聪明的决策，从而大大加速企业成长，同时解决世界上最紧迫的一些问题。”IBM信息管理总经理Arvind Krishna表示，“客户从数据中获得洞察的能力有可能改变整个行业。”
记者手记
联动优势未雨绸缪大数据
在此次IBM IOD大会上，记者遇到了前来参会的中国客户，他们来自联动优势科技有限公司。
IBM大中华区Netezza销售负责人肖冰向记者介绍说，数据仓库一体机Netezza在全球有500多家客户，联动优势是中国大陆地区的第一个客户。数据仓库一体机较传统的数据仓库无论是在性能还是易用性上都有了非常大的提升。某种程度上说，数据仓库一体机也为更多企业利用大数据降低了进入门槛。
联动优势是中国移动、中国银联的合资公司，专注在移动支付领域，目前服务用户超过4亿，年处理资金300亿元。随着公司业务不断发展，公司对基于各类数据的业务应用需求越来越大，建立一个企业级的数据平台，进行企业数据整合、统一数据标准，并围绕数据中心同步完善数据应用系统的建设，成为联动优势未来业务拓展决策和内部经营管理的重中之重。作为最早吃螃蟹的用户，联动优势助理总经理向峥嵘说：“与传统数据仓库相比，数据仓库一体机部署速度得到了极大提升，并且易于维护和操作，这让他们选择了数据仓库一体机。Netezza还是数据仓库一体机的首创者，其高性能、高稳定性等特点，让我们选择了它。”
此次IOD大会，来自全球的多个用户展示了自己“将洞察付诸行动”的创新应用。联动优势是否也受到大数据的挑战？向峥嵘回答记者时说，现阶段虽然没有受到大数据的困扰，但以后会有社区，肯定会面临大数据的挑战，因此公司早就引入了对Hadoop的研究。目前，联动优势面临的大数据主要是半结构化数据，即在线交易产生的日志，他们也在考虑对日志进行分析。
虽然大数据还没有迫在眉睫，但联动优势早已未雨绸缪。联动优势与IBM中国实验室正进行下一代数据中心关键技术的联合验证，包括：高性能实时数据分析平台（stream computing）、低成本的大数据分析平台无缝整合（Hadoop），从而构造低成本且高效能的下一代数据中心解决方案。
全世界每天有超过250兆字节的数据，从传感器、移动终端、网络交易、社交网站等形形色色的地方产生；过去两年内产生的数据量，就占了有史以来的90%。
数据分析一直是业界热点，社交媒体、移动计算等兴起后，对非结构化数据的处理成为焦点，大数据成为热词。2009年4月，IBM提出业务分析与优化（BAO，Business Analytics and Optimization）战略，应对大规模数据的处理。而针对大数据，IBM在今年的IOD（Information On Demand，信息随需应变）大会上，宣布了一系列创新举措，对应对海量数据的InfoSphere BigInsights平台进行多项更新，如推出云计算版本的InfoSphere BigInsights等，以更好地支持大数据处理。此次对大数据策略的强调使蓝色巨人的业务分析战略更加完整。
新产品应对大数据
“分析不再是一个工具，而是一项必要的能力，能让业务流程智慧运转的能力。”IBM负责软件和硬件两大集团的高级副总裁Steve Mills在IBM 2011 IOD上开宗明义，“企业必须将对信息的洞察力转化为行动，不是为了获得竞争优势，而是因为它已经变成生存的根本。”IBM 2011 IOD大会于10月23~27日在美国拉斯维加斯举办，本届论坛的主题是“Turn Insight Into Action（将洞察付诸行动）”，来自几十个国家的上万名用户、技术人员和合作伙伴参会。
目前大多数公司都缺乏足够的分析能力，从大数据当中获得有用的信息。2010年，麻省理工斯隆管理学院与IBM进行了一项针对3000名高管的调查。60%的受访者表示，他们拥有的数据远比他们能有效利用的多。IBM最近又发布了一项针对1700多名CMO进行的调查，结果显示，71%的组织还没有准备好迎战大数据。
为了应对这些挑战，IBM提供了新的分析和信息管理产品以及技能资源，使企业更容易探索和利用大数据。
IBM软件信息管理总经理Arvind Krishna在开幕致辞中介绍了多项新产品及服务。引人瞩目的一项新服务就是云上的基于Hadoop的分析软件InfoSphere BigInsights，云版本的InfoSphere BigInsights可以在30分钟内就部署好并且启动运行。IBM InfoSphere BigInsights 是用于分析和可视化管理海量数据的处理平台，它基于分布式开源技术 Apache Hadoop，在集成与扩展 Hadoop 主要组件的同时，还提供 IBM 特有的数据处理与分析模块。利用 BigInsights，IT 专业人员能够快速地构建大数据分析处理平台，对企业内的海量数据进行定制化分析，并能够与企业现有的数据库、数据仓库和商业智能分析框架相结合，从而帮助企业获得商业价值。
发布的新产品和服务还包括：专为iPad打造的Cognos Mobile；提升Netezza一体机性能的DB2分析加速器和IMS12；众多的InfoSphere系列产品——MDM 10、Information Server 8.7和Optim Test Data Management Self Service Center的升级。
IBM的预测性分析软件SPSS 20.0增加了一项新能力，即基于地理数据的预测性分析。SPSS 20.0的这一新功能使用户可以添加一个地理维度做分析。用户可以添加地图模板，包括来自ESRI文件的地理空间数据。这一应用也有广泛的行业应用背景。医疗机构可以使用这一新的功能更直观地查明事故高发或疾病高发的地区；政府雇员可以分析城市街区和农村人口密集地区过去和现在的人口普查数据，确定犯罪高发地区，从而分配更多的执法力量，或者调整税率；直销商可以找到对他们来说最有利可图的客户群，并重新分配广告资源。
30分钟启动的云分析软件
将大数据分析带到云上意味着客户无需任何Hadoop技巧，或者安装、运行软硬件，就可以获得大数据处理能力。对企业来说，部署 Hadoop及其相关的大量组件复杂且容易出错，数量众多的管理命令也让众多初学者望而却步。云版本的大数据分析显然帮用户解决了这一烦恼。
同在10月份，甲骨文曾宣布其大数据系统Big Data Appliance将能够支持Hadoop，亚马逊的Elastic MapReduce云服务也是基于Hadoop。此外，微软也表示将在Azure云平台和 Windows Server上对Hadoop进行支持。
实际上，在基于Hadoop的服务方面，IBM早就未雨绸缪，就在IOD开幕的前几日，IBM刚刚宣布收购Platform Computing公司，该公司以开发高性能计算软件而享有盛名，但最近却在云计算和大数据领域大放异彩。
云版本的 InfoSphere BigInsights使组织内的任何用户都可以做大数据分析。云上的BigInsights软件可以分析数据库里的结构化数据和非结构化数据，使决策者能够迅速将洞察转化为行动。
IBM此次发布的云版本的BigInsights拥有简装版和企业版。简装版提供免费的入门级别的应用，让用户了解怎样做大数据分析，比如用BigSheets组件做“what-if”分析。简装版用户客户还可以无缝迁移到企业版，企业版收费每小时每群集0.6美元。而对于企业版，IBM表示，任何人都可以在“30分钟以内正常启动和运行”。此外，两个版本都包括开发沙盒，具备开发环境和测试环境，客户可以利用其开发出新的业务分析应用程序。
“今天，银行、保险、零售、传媒和数据娱乐业的领导者都在利用云版本的BigInsights分析大规模的非结构化数据，从而感知客户需求，使计算机网络、智能电网等更安全，创建更好的客户体验计划。”IBM负责软件和硬件两大集团的高级副总裁Steve Mills说。
行动中的分析能力
辛辛那提动物园是美国历史最悠久的动物园之一，年游客量120多万。该园通过使用iPad版的Cognos，大幅提升了业绩。Cognos直接驱动了该动物园第一季度50万美元的业绩收入。对于一个年收入2700万美元的企业来说，这是一个相当不错的投资回报率。
针对当今社会“不间断生产力”的要求，IBM宣布随时随地赋予客户分析能力，不管客户是在办公室还是在路上。iPad版Cognos能给用户丰富的、可视化的商业智能体验，如通过报告、仪表盘和积分卡分析销售、客户、财务等数据。
行动中的分析能力是很多行业的迫切需求，尤其是在金融服务、医疗保健、政府、通信、零售和交通物流业这些重点行业。例如，医生可以使用移动分析工具来分析电子病历记录并显示为患者定制的治疗计划；银行业者和保险代理人可以用移动分析工具来分析贷款或政策数据，为客户创建定制的产品和服务；社会工作者可以通过分析监工、警察和法院的实时状态情况，检查寄养家庭的孩童状况。
风能公司的大数据之旅
数百个新客户正在转向IBM，获得可以转化为行动的洞察力，应对大数据。无论是评估社会媒体网站上的顾客评价，还是预测病人的潜在致命感染……IBM正在帮助各行各业将数据转化为行动。
丹麦的维斯塔斯公司是世界领先的高科技风力发电系统提供商。自1979年以来，该公司为67个国家提供超过44,500个风力涡轮机，目前员工超过21,000人。
为了提高风电场的生产效率，需要找到一种新的方法进一步提高涡轮机的性能。对风力发电而言，涡轮机安置位置至关重要，但对其进行精确的计算却是一件非常复杂的事情。这需要考虑尾流效应、风力系数以及复杂的涡轮机空气动力学因素，此外还需要在保证发电量的同时尽量减少电场占地面积。
维斯塔斯正在使用IBM的大数据分析平台和IBM系统提高风力涡轮机的安置水平以优化能源输出。维斯塔斯希望借此加速国际上对风能的接受度，并且开拓新的市场。
维斯塔斯正在由1222台工作负载优化的System X iDataPlex服务器组成的“烈焰风暴”上运行BigInsights软件，从而获得了每秒150万亿次计算能力。通过使用IBM BigInsights软件和IBM的“烈焰风暴”超级计算机分析PB级的结构化和非结构化数据，如天气报告、潮汐阶段、地理空间和传感器数据、卫星图像以及天气建模等，分析工作从过去持续数周到现在不到一个小时完成。
“对于很多客户来说，维斯塔斯涡轮机运行了几十年，他们想要知道安置方案的不同对投资回报率影响有多少。” 维斯塔斯技术研发厂房选址和预测部副总裁Lars Christian Christensen说：“使用IBM的软件和系统，我们现在可以回答这些问题，迅速查明风能新的市场，并帮助我们的客户满足积极的可再生能源目标。”Lars Christian Christensen预计维斯塔斯未来会分析更多样化和大规模的天气数据集，分析数据在未来四年内超过20PB。
“维斯塔斯的案例展示了大型组织如何利用大数据分析和更强大的计算机去做出更聪明的决策，从而大大加速企业成长，同时解决世界上最紧迫的一些问题。”IBM信息管理总经理Arvind Krishna表示，“客户从数据中获得洞察的能力有可能改变整个行业。”
记者手记
联动优势未雨绸缪大数据
在此次IBM IOD大会上，记者遇到了前来参会的中国客户，他们来自联动优势科技有限公司。
IBM大中华区Netezza销售负责人肖冰向记者介绍说，数据仓库一体机Netezza在全球有500多家客户，联动优势是中国大陆地区的第一个客户。数据仓库一体机较传统的数据仓库无论是在性能还是易用性上都有了非常大的提升。某种程度上说，数据仓库一体机也为更多企业利用大数据降低了进入门槛。
联动优势是中国移动、中国银联的合资公司，专注在移动支付领域，目前服务用户超过4亿，年处理资金300亿元。随着公司业务不断发展，公司对基于各类数据的业务应用需求越来越大，建立一个企业级的数据平台，进行企业数据整合、统一数据标准，并围绕数据中心同步完善数据应用系统的建设，成为联动优势未来业务拓展决策和内部经营管理的重中之重。作为最早吃螃蟹的用户，联动优势助理总经理向峥嵘说：“与传统数据仓库相比，数据仓库一体机部署速度得到了极大提升，并且易于维护和操作，这让他们选择了数据仓库一体机。Netezza还是数据仓库一体机的首创者，其高性能、高稳定性等特点，让我们选择了它。”
此次IOD大会，来自全球的多个用户展示了自己“将洞察付诸行动”的创新应用。联动优势是否也受到大数据的挑战？向峥嵘回答记者时说，现阶段虽然没有受到大数据的困扰，但以后会有社区，肯定会面临大数据的挑战，因此公司早就引入了对Hadoop的研究。目前，联动优势面临的大数据主要是半结构化数据，即在线交易产生的日志，他们也在考虑对日志进行分析。
虽然大数据还没有迫在眉睫，但联动优势早已未雨绸缪。联动优势与IBM中国实验室正进行下一代数据中心关键技术的联合验证，包括：高性能实时数据分析平台（stream computing）、低成本的大数据分析平台无缝整合（Hadoop），从而构造低成本且高效能的下一代数据中心解决方案。