现有的视觉问答技术仅能较准确回答可从图像中直接获取答案的问题。对于回答更复杂的问题,目前的视觉问答系统缺少相关数据集,并且其回答具有不可解释性。本文设计了基于知识图谱的视觉问答系统,该系统可以回答更多类型的问题。用户对给出的图像进行随机提问,系统可给出对应答案。系统通过对问题类型进行区分,使不同类型的问题采用最适合方式进行回答。视觉问答中的问题大致分为两类,一类为可直接通过图像直观信息获取答案的问题,一类是需要借助外部知识进行回答的问题。对于第二类问题,借助从实体描述文本中抽取的三元组知识和相关知识图谱进行回答。本系统主要研究工作包含以下三个方面:1)提出了需要借助外部知识进行回答的问题模板的回答方法。使用分类器将全部问题进行区分后筛选出此类问题。采用基于模板的方式进行回答,不同模板对应不同的SPARQL查询模板。借助图像实体信息和问题文本中相关信息,到数据源中查询问题答案。将问题模板按照是否包含明确的被查询实体分为两大类,并设计不同的实体和属性获取方式以及答案查询方式,以便更准确的回答问题。2)设计了需要借助外部知识进行回答的问题的匹配模板方法。视觉问答中的问题采用自然语言进行提问,问题形式多种多样,并且多数情况下问题中不止包含一个实体或者一个属性,而问题模板是最简单的问题样式,只包含一个实体和属性,因此为了将问题准确地和问题模板进行匹配,设计了问题匹配模板的算法,完成对问题模板的匹配。3)根据知识图谱相关知识,设计从数据源中查询答案的方法。需要借助外部知识进行回答的问题的关键是包含哪些外部知识,以及如何从外部知识中获取答案。创建了外部的数据源,数据源由从实体描述文本中抽取的三元组知识和相关知识图谱构成,采用SPARQL查询语句到数据源中进行查询。并设计了在动物领域内的基于知识图谱的视觉问答系统,可回答根据图像提出的问题。