论文部分内容阅读
目前,基于桌面隐喻的WIMP界面由于语法极小化、对象可视化以及实时性高等优点已经占据统治地位,但是随着计算机技术的快速发展,WIMP界面的弊端如多窗口,用户操作时关注操作并非任务本身也愈来愈凸显。因此研究者们的焦点开始聚集到下一代用户界面Post-WIMP上,此界面隐喻性往往决定用户会选择最自然的交互方式,也会导致界面的总体设计和交互方法产生巨大变化。本文针对上述问题,提出一种基于Post-WIMP界面的手势设计与识别研究方法,先设计出一种基于层次化信息的3D辐射树界面及系统,接着结合界面诱发层次化操作手势,之后基于Kinect设计出一种曲率结合平行向量的指尖检测算法来识别手势,并创新性的结合自发手势和规范化手势并集来提取特征进行手势识别,提高识别容忍度。本文的主要研究工作包含三个方面：1)设计一种面向层次化信息自然操控的Post-WIMP手势界面及系统；因目前的层次化界面往往仅重视了同层的兄弟关系而忽略上下层之间的父子节点关系,为更加方便用户操作,有效地结合了Circular树图可视化方法和三维视图,为后期的自然手势设计与识别构建出界面及系统。2)Post-WIMP手势在Kinect下的指尖检测及手势识别研究；为实现层次化操作手势的采集,预先采用深度相机Kinect,利用Kinect采集的深度图像使用曲率结合平行向量的新算法来获取指尖位置信息,再结合掌心位置、掌心速度形成状态机,进而完成层次化操作手势的识别。3)Post-WIMP界面隐喻结合Leap motion驱动手势设计与识别；Post-WIMP界面具有隐喻性特征,会导致用户手势发出时识别并不准确,为增加手势容忍度,提出一种结合自发手势与规范化手势训练集提取特征的新思路,最后结合测试集评估训练集所提取特征的有效性。