随着触摸式、笔式的用户界面的日益普及,草图识别系统受到了研究者们越来越多的关注。这个研究工作的目标是让用户从传统的鼠标与菜单式的编辑界面转移到一种更自然的基于草图识别的交互界面,这将使得用户能更容易地制作各类图表。本论文致力于草图识别这个问题的研究,探索并开发鲁棒、快速的草图识别框架。我们的框架可以1)支持与用户的自然交互,2)支持不同的输入草图类型(如在线草图、线下草图)。本论文分为‘在线草图识别’与‘线下草图识别’两个部分。在‘在线草图’部分,我们系统地研究了在草图识别中,如何去对用户自然的修改与编辑进行建模、检测以及识别。据我们所知,这是这个主题上的首次尝试。首先,我们构建了一个形状知识图谱去对三种典型的编辑模式进行编码。在此基础上,我们提出了一个新的单个形状识别算法去区分相似的符号,并进一步拓展该算法用于编辑模式检测与识别算法,然后把它合并到完整的草图识别框架中。这使得用户可以灵活地编辑或修改已有的草图或者是正规的形状。基于我们提出的一系列技术,我们建立了一个实时的基于Visio的草图识别系统,叫做SmartVisio。SmartVisio系统可以用灵活的交互识别手写的流程图/图表。充足的实验验证了我们提出的算法的有效性。在‘线下草图’部分,我们提出用形状性估计(shapeness estimation)来解决线下草图分析这个问题。1)我们受到物体性检测(objectness detection)的启发,提出用形状性估计来做快速的形状/非形状的分类。实验结果表明,我们的形状性检测算法与其他当前领先的方法相比,得到了更好的召回率。2)基于形状性估计,我们提出了一个统一和高效的三阶段层叠识别框架,对于线下或线上草图都适用。和以往的方法不同,我们的框架中的形状性检测技术很高效地产生了少量的候选组。因此,在公开数据集的测试中,我们的框架在速度和检测/识别准确率上均超过了已有的方法。我们的框架也很有潜力来处理不同的输入数据类型,例如在线草图、线下草图、草图的图像、或者是印刷体图表的图像。