面向时空数据的HBase索引与查询技术研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:limeng668
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时空数据是一种同时具备时间、空间以及其他属性的大数据,在生产生活中发挥着积极作用。研究海量时空数据的高效存储与查询具有重要的意义和价值。
  分布式存储系统相较于传统关系型数据库能更好地处理大数据的存取。作为典型技术之一,HBase以其开源、高可靠和高扩展等特性受到了广泛的研究与应用。事实上,原生HBase仅在行键上做了索引优化,缺少对时空索引和二级索引的支持,无法直接满足时空数据高效的时空查询和条件查询需求。
  本文结合现有HBase索引与查询技术的特点,提出一种面向时空数据的HBase索引与查询优化方案,由下到上分为存储模型、索引模型和查询方法。其中,存储模型实现时空数据的合理存储;索引模型实现时空索引和二级索引的设计管理;查询方法则实现快速的时空查询和条件查询。主要研究内容如下:
  ①面向时空数据的HBase存储模型。为了实现时空数据的合理存储,通过Geohash编码对空间信息进行网格划分,并提出基于历史统计的网格分区方法解决数据热点问题。
  ②分层时空索引模型(Hierarchical Spatiotemporal Index,HSTIndex)。为了提升时空查询的性能,设计了基于Meta表的全局索引层和基于Region的局部索引层,利用时空信息对数据进行分层筛选。
  ③分类二级索引模型(Classification Secondary Index,CSIndex)。为了提升条件查询的性能,根据其他属性列的数据特征和查询条件设计了包括位图、哈希和BD树在内的内存索引结构。此外,提出了基于Observer的索引管理机制,用于实现对HSTIndex和CSIndex的有效管理。
  ④面向时空数据的HBase查询方法。结合存储模型和索引模型,提出了基于Endpoint的并行查询机制,并设计了基于HSTIndex的时空范围查询和K近邻查询优化算法,以及基于CSIndex的条件查询优化算法。
  最终,在真实的出租车轨迹数据上进行了对比实验。实验结果表明,分区方法的性能优于传统方法,基于HSTIndex的时空查询性能也要优于STEHIX(Spatio-Temporal HBase Index)时空索引方案,基于CSIndex的条件查询性能则明显优于HiBase(Hierarchical-indexed HBase)和基于Solr的二级索引方案,且时间和空间开销在可接受范围内。总的来说,本文方案提升了时空数据整体的存取性能,具有一定的应用价值。
其他文献
金秋十月,正值楼市销售的黄金时期,华远·企业号因其创意的产品,无可比拟的环境,征服了市场,尤其是景观商业、2万平方米北展后湖,1 8里文化水系长河南岸这一片难得自然资源与50年北展,300年皇家码头这一独特历史文化形成了一道独特的风景,并且在十月,北展北街正式开通,连接了八方路源,更带来巨大人气。因此,华远·企业号的商业部分“十一”后一经推出,在短短几天之内,就售出2/3,创造了市场销售奇迹,现仅
期刊
在天星码头搭乘拥有100多年历史的渡轮,从尖沙咀到中环再到上环,是最能饱览香港迷人景致的游览路线。一路上不仅能一睹维多利亚港的迷人风姿,还能欣赏到与它隔海相望的香港摩登建筑。其中,最让人眼前一亮的特色建筑,莫过于香港西港中心了。  1998年落成的西港中心,现为中央人民政府驻香港特别行政区联络办公大楼。它是港岛西区罕有的智能型甲级商厦,位于香港上环。这幢颇具特色的经典建筑,兼具时代感和古建筑文化特
期刊
银行收紧银根,众多融资渠道浮出水面,曙光乍现却举步维艰。  7月4日,中原信托推出家世界商业物业投资(洛阳世大项目)集合资金信托计划,募集资金规模不超过2000万元,在郑州和洛阳两地发售。信托计划以购买洛阳世大房地产有限公司持有的10年期的租金收益权的方式,集合运用于洛阳家世界商业物业投资项目。  此前的6月份,商业地产信托的表现十分抢眼。据用益信托工作室发布的6月份资料显示,当月国内共推出了房地
期刊
7月1日日,国家统计局公布的统计数据显示,今年上半年我国国内生产总值(GDP)增速达10.9%。同时,全社会固定资产投资近年上半年同比增长29.8%,同比增长4.4个百分点。如此增速,是否表明目前中国经济发展过热?它是否会给房地产行业的发展产生不良影响?  针对上述问题,《楼市》采访了国务院发展研究中心金融研究所副所长巴曙松博士。    经济发展高位平衡 固定资产投资增幅较大    《楼市》:房地
期刊
建筑师可以说是一个创作人,一个艺术家、雕塑家、作家,另一方面,建筑师又要肩负着工程师和管理者的角色。在一定程度土,建筑师还要从事市场、经营策划、组织、人事,财务等工作。同时,建筑师又是专业人士,好像医生,会计师和律师一样,除了要向客户提供专业服务外,还要承担无限的专业责任。  ——何显毅  《楼市》:每一位建筑大师都有自己独具一格的建筑理念和设计思想。请您谈谈您的建筑理念和设计思想。  何显毅:对
期刊
建设部副部长仇保兴在7月26日召开的全国建设科技工作会议上指出,我国现有城乡建筑95%左右都是高耗能建筑。他还透露,近期建设部将会同国家发改委在北京市评选十大不节能建筑,并向社会披露评选结果。  目前我国建筑能耗已占到全社会终端能耗的27.5%,单位建筑面积采暖能耗相当于相同气候地区发达国家的2—3倍。我国每年城乡新建房屋建筑80%以上为高耗能建筑;既有建筑近95%以上是高耗能建筑。建设部将突出抓
期刊
7月27日,国务院批复同意修编后的《天津市城市总体规划(2005年-2020年)》,进一步明确了天津城市性质、定位和发展重点:天津是环渤海地区的经济中心,要逐步建设成为经济繁荣、社会文明、科教发达、设施完善、环境优美的国际港口城市、北方经济中心和生态城市。这里的“经济中心”是指承担区域金融、贸易以及生产性服务等多种功能,具有强大吸引、辐射和综合服务能力,能够渗透和带动周边区域经济发展的城市。专家分
期刊
二手房营业税、个税摩肩接踵而来,二手房交易受到强烈波及。一些无法抗风险、规模小的房产经纪公司相继倒闭,而知名品牌经纪公司则大都雄心勃勃,准备趁此机会继续扩张。  “品牌经纪公司的市场份额将进一步扩大。”链家房地产经纪有限公司市场总监金育松表示,从公示的成交套数统计来看,链家、我爱我家和中大恒基三家经纪公司日前已经占据北京50%左右的市场份额,而伴随着行业洗牌的进一步加剧,预计三家公司的市场份额“将
期刊
中国继续完善其物业交易体系,但围绕新措施的不确定性,以及房地产企业缺乏自我监管仍旧构成重大挑战。  随着跨国投资机会和跨国企业租户的增加,全球房地产市场在过去两年间变得更加透明。为了更准确地掌握全球房地产市场的透明度情况,仲量联行专门对全球56个国家和地区的房地产市场透明度进行了研究,并根据结果编制出了《2006年房地产透明指数》报告。  透明指数是帮助房地产市场参与者了解全球投资机会和制定物业投
期刊
▲空间管理论坛推动创意产业飞速发展    7月29日,由大成集团、北京恒兴置地房地产有限公司主办的“文化创意产业空间管理论坛”暨大成创意大厦封顶答谢会隆重召开。论坛就创意产业发展引发空间管理革命与空间管理对企业发展的推动作用进行了深入探讨。  与会嘉宾认为,LOFT不受结构制约的独有空间魅力,赋予了空间更多的功能。拥有LOFT空间结构的大成创意大厦地处CBD百子湾区域,是东四环商务带稀缺的纯写字楼
期刊