人工智能的一个长期目标是从“零”开始,在最有挑战性的领域达到超越人类的水平。而从“零”开始意味着不需要人类的知识,仅仅依靠自我学习就能不断进步。这是一种通用人工智能的思想,并非只是特定领域的适应,它为我们解决更广泛的实际问题提供给了可能。Alphazero在围棋、国际象棋、日本将棋上都取得了成功,这是惊人的成就,也是通用人工智能的代表作,主要创新在于将深度强化学习和蒙特卡洛树搜索这些经典理论做了结合。这个结合很有启发性,提供了一个可以广泛探索的空间。本文将在这方面做出积极尝试。五子棋是一个规则简单但掌握起来并不简单的棋类游戏,在同样大小的棋盘下,它的复杂度接近围棋。目前最强的五子棋程序是奕心,在面对人类顶尖棋手时也没有绝对的优势,最近的交锋是双方互有胜负。这证明了五子棋是看似简单实则难度很高的棋类游戏。本文基于深度强化学习理论,同时借鉴Alphazero算法思想,对五子棋AI做出积极探索。在棋形状态的描述方法和策略价值网络的结构上提出自己新的独特的设计,以求获得策略价值网络更好的训练速度和收敛精度,并最终在棋力上取得强劲的表现。一方面,在棋形状态的描述方法上,本文提出了两种新设计。一是在基本的棋形描述基础上引入多个描述历史走子的特征平面,称为N步历史。根据马尔科夫决策过程,这些新引入的特征平面似乎是冗余的,但实验证明它对策略价值网络的收敛速度有显著影响。二是针对五子棋本身的下棋特点设计了对棋形状态进行区域价值细分的描述方法,实验也证明它提升了网络的收敛精度,同时棋力表现更强。另一个方面,在策略价值网络的结构上,本文设计了一个增强棋形感知力的inception模块,以此提升网络对全局棋形和局部棋形的综合感知。整个网络本文称之为“复合视野网络”,实验表明,复合视野网络具有更好的收敛精度和更强的棋力表现。