虚拟现实(Virtual Reality,VR)作为一种崭新的计算方式,在经济、社会和军事等重要领域获得了日益广泛的应用。虚拟现实强调实时交互,自然、高效的人机交互方式一直是虚拟现实研究的核心内容之一。然而,虚拟环境(Virtual Environment,VE)中存在的交互不自然、界面控制手段单一和用户动作与反馈存在距离感等问题已成为制约虚拟现实深入应用的“瓶颈”。解决该问题的关键在于充分利用人的多个感知通道和控制行为的并行性,扩展输入/输出带宽,提高交互的自然性、灵活性,即通过多通道交互(Multimodal Interaction,MMI)来解决。将多通道引入到三维交互中,对VE下多通道交互信息融合与显示技术的研究已逐渐成为交互技术研究领域的重点之一。城市规划是虚拟现实系统需求最为迫切的领域之一,而当前的城市规划存在着交互性低、修改成本高等问题。本文在系统地介绍三维交互的基础上,对多通道三维交互的优势、支撑技术和设计方法等方面进行深入的探讨与研究;借鉴已有的面向任务整合方法,提出结合概率、时间约束的基于交互语义的多通道分层整合算法;以城市规划为应用背景,将日常的纸笔操作引入三维场景中,融合跟踪器的空间方位信息、语音和基于笔的勾画及手势,构建基于多种隐喻的个人交互面板(Personal InteractionPanel,PIP);在充分分析跟踪器的精确定位、语音的描述性优势与二义性、笔画草图及笔手势的自然性等因素前提下,设计并实现了一系列通用或面向应用的交互技术,包括基于跟踪器和语音的多维度导航漫游、光线投射和光圈选择,基于笔的2D勾画和语音的多对象动态成组及形状/区域排列,以及微缩世界(WIM)和3DWidget等。评估表明,多通道三维交互技术显著地提高了虚拟环境下交互的自然性与高效性。