非线性光学材料是光电子技术发展的主要物质基础，目前有机三阶非线性光学材料的研究开发是各国主要的科技研究方向之一。激发态质子转移有机分子是一类性能优良的非线性光学材料，近年来受到广泛关注。由于激发态质子转移分子的质子转移过程具有的独特特性，使激发态质子转移分子在作为光信息存储、光限幅和光开关等方面有着极广泛的应用前景。本论文以两种类型的质子转移分子7-羟基喹啉(7-HQ)和3-羟基黄酮(3-HF)为研究对象，围绕其光谱特性、非线性光学特性和全光光开关效应进行了系统研究，探讨了其在非线性光学器件方面应用的可能性。主要工作及结论归纳如下： 1.测量了7-HQ分子在不同溶剂中的吸收光谱、荧光光谱和红外光谱。发现经强紫外光照射后的7-HQ二甲基亚砜(DMSO)溶液的双荧光光谱，与乙醇溶液的荧光光谱相似，其荧光光谱出现了两个荧光峰，峰值波长分别为380nm的正常荧光和475nm的质子转移荧光。未光照过的7-HQ的DMSO溶液中只有一个正常荧光带，峰值波长位于380nm。由于DMSO是一种非质子性溶剂，因此不能与7-HQ形成氢键桥，故7-HQ在DMSO溶剂中不能发生激发态质子转移反应。通过对7-HQ溶液光谱特性的研究与分析，首次阐明了产生这一现象的原因。实验证明，DMSO溶剂经强光照射后发生光解生成了水，由于水是一种质子性溶剂，能与7-HQ形成氢键，故能够发生激发态质子转移反应。 2.本文利用简并四波混频的方法，首次研究了7-HQ在355nm脉冲激光激发下的非线性光学特性。测量了7-HQ在乙醇和DMSO溶剂中的三阶非线性极化率，7-HQ乙醇溶液和光照后的DMSO溶液的三阶非线性极化率xs(3)的大小分别为6.7x10-21(SI)和9.1x10-21(SI)。结果表明强光照射后7-HQ的DMSO溶液的三阶非线性极化率比7-HQ乙醇溶液的大。由于光照后的DMSO溶液中，有水的生成，水的极性大于乙醇的极性，7-HQ在水中的质子转移效率大于在乙醇中的质子转移效率，因此引起7-HQ分子的非线性极化率发生较大的变化。 3.研究了7-HQ在不同溶剂中的光开关效应。7-HQ在未光照的DMSO溶液和7-HQ的环己烷溶液不能发生激发态质子转移，在泵浦光的作用下，对探测光只有微弱的关断作用，是由于在强光作用下分子发生热扩散效应引起的。光照后的该溶液与乙醇溶液一样对探测光有着明显的关断作用，强光照射后的DMSO溶剂，发生光解生成水，因此该溶液在泵浦光作用下能够发生激发态质子转移反应，引起折射率的变化，使7-HQ溶液具有光开关效应。实验证明，7-HQ分子的光开关效应随其非线性极化率的增大而增大。 4.研究了3-HF在不同溶剂中的光谱特性和全光光开关效应。发现3-HF在环己烷溶剂中的质子转移效率最高，而在强极性溶剂DMSO中其质子转移效率最低，在乙醇溶剂中的质子转移效率居中。结果表明极性溶剂能够抑制3-HF分子的质子转移效率，随着溶剂的极性增强，其质子转移效率降低。由于3-HF是一种分子内质子转移有机分子，不需要借助于外界介质就能够发生质子转移反应，溶剂的极性以及外界的氢键环境都不利于其质子转移，因此当溶剂的极性增强时，其质子转移效率减小。通过对3-HF在不同溶剂中光开关效应的研究，发现3-HF的光开光效应随质子转移效率的增大而增大。但当3-HF非线性折射率符号为负时，其质子转移效率与其非线性折射率的变化量成反比，相应的，其光开光效应也与其成反比。 5.首次研究了3-HF和7-HQ分子的双光子吸收效应。通过对这两种分子的双光子荧光光谱的研究，在实验中观测到了其质子转移双光子荧光，并发现溶剂的极性对分子内质子转移分子的双光子吸收具有抑制作用，而对分子间质子转移分子的双光子吸收没有明显的影响。