声波、电磁波的传播与散射现象是许多工程与科学领域中所关注的重要问题.然而,声波、电磁波的数值计算中却面临着许多挑战,特别是其中的无界域与高波数问题,仍有大量困难没有解决.本文针对这类问题中的数学模型,分别研究了一类近场散射问题的数值计算和无界表面散射问题的适定性及其有限元近似.论文分为三部分.第一部分为论文的第一章和第二章.我们首先阐述了声波、电磁波散射问题的研究背景,以及近场和无界表面散射问题的研究现状.然后,简要介绍了与Helmholtz方程和Maxwell方程组有关的概念.最后,综述了目前求解散射问题所常用的几种基于波函数的数值方法,包括超弱变分方法（Ultra Weak Variational Formulation）、不连续扩充方法（Discontinuous Enrichment Method）、最小二乘方法（Least Squares Method）和单位分解方法（Partition of Unity Finite Element Method）.第二部分是论文的第三章和第四章.我们主要针对近场光子扫描隧道显微镜的数学模型,进行了理论分析、误差估计和数值模拟.我们考虑如图1所示模型问题.记二维平面上的点为x=（x,y）∈R2,直线r0={y=0｝将整个空间R2分成上、下两部分R+2与R-2,即相应折射率分别记为n+与n,满足n+<n.样本s置于界面r0上,其折射率记为ns.平面波以角度θ从下入射到Γ0,其中为自由空间中的波数.当入射角θ大于临界角θcr时,在界面处产生全反射现象,R|2中出现倏逝波.我们旨在计算此时由于样本影响所产生的散射场us.我们首先引入人工边界r,其外法方向记为υ,将问题限制在有界区域Ω内,即r=（?）Ω.然后,令散射场us在r上满足吸收边界条件其中折射率为这里及后文我们简记法向导运算为（?）v.那么根据Maxwell电磁理论,在TM极化下,全场u=uref+us满足如下边值问题：其中参考场uref为这里ur与ut分别表示反射波与透射波,具体形式为且观察方程（2）和（3）,注意到当入射角度θ大于临界角θcr时,即k0n+<|αl,γ（α）为纯虚数,从而透射场为说明此时场在界面表面沿x方向传播,且沿y轴正方向指数衰减,即ut为倏逝波.我们针对上述问题提出了两种数值计算方法.I.求解近场散射问题的超弱变分方法将区域Ω剖分成彼此互不相交的N个小单元Ωk,k=1,2,…,N,记剖分满足单元的边界aΩk是Lipschitz的,其单位外法方向记为υk.折射率n（x）在每个单元Ωk上的限制为常值nk,即nk=n（x）|Ωk.对于两个单元Ωk与Ωj.定义若规定其法方向υk,j从Ωk指向Ωj.定义若其单位外法向仍记为υk.由于区域Ω中包含三种介质,因此为了使得场u在不同介质间的交界面处满足连续性条件,我们需要引入定义在剖分网格边界上的函数从σ的定义可知σ>0且引入空间N其内积为诱导范数为这里及其后文我们记空间H定义为其中引入如下算子.扩张算子定义为其中ek是边值问题的唯一解.算子定义为算子Π∈L（X）定义为利用Green公式,我们得到与边值问题（1）等价的超弱变分问题.定理1设u∈H1（Ω）是边值问题（1）的解,且满足正则性假设其中定义x∈X满足则x满足超弱变分问题其中这里b∈X通过Riesz表示定理定义,满足反之,若x是超弱变分问题（4）的解,定义u=ε（x）,即在每个单元Ωk上满足且则u是边值问题（1）的解.超弱变分形式可进一步表示为若记F*∈L（X）为F的伴随算子,我们定义A=F*Π.那么,显然超弱变分问题（4）等价于：求x∈X满足其中τ表示单位算子.我们选取有限维离散空间Xh（?）X,代替超弱变分问题（4）中的X得到离散问题：求xh∈Xh,使得或这里ρ是从X到Xh的正交摄影算子.从算子A的性质,证得如下结论.定理2离散超弱变分问题（8）存在唯一解.关于离散空间Xh我们利用齐次Helmholtz方程的局部解来构造.我们在每个单元Ωk上,选取有限个函数其在Ωk上是齐次Helmholtz方程的非零解,即且ek，l≠0,而在其他单元上为零,即当k≠j.我们将ek，l张成的空间记为然后利用ek，l定义函数zk,l为则离散空间实际数值模拟中,我们在每个小单元上都选取P个函数,其中平面波的个数为表示单元Ωk的重心,则其中方向dk，l通常如下选取由于在全反射现象中将出现倏逝波,因此为了能够通过数值方法反映其小尺度特征,我们同时也选用倏逝波函数然后,我们进行了误差估计与收敛性的分析.这里及后文如无特别说明,对s∈R,设Hs（E）表示区域E上通常的Sobolev空间,范数记为||·||s.E·而且记|·l,E表示Hl（E）上的半模,l∈N.记[u]Γk,j与[（?）νu]Γk,j分别表示u及其法向导（?）νu在界面rk,j处的跃度,即同时,定义范数关于超弱变分形式a（·,·）,我们有如下结论.定理3对x∈X,若记u=ε（x）,则进一步利用对偶技巧,我们得到如下基本估计.定理4设Ω是R2中的多边形凸区域,x∈X是（4）的解,xh∈Xh是（8）的解,并且记则有其中常数C与u和h无关,依赖于σ.应用以上结果,可证得与插值误差有关的如下结论.定理5设Ω是R2中的多边形凸区域,x∈X是（4）的解,xh∈Xh是（8）的解,并且记则有其中常数C与u和h无关,依赖于σ.结合空间Vh的逼近性质,得到如下收敛性估计.定理6设Ω∈R2是多边形凸区域是（1）的解,xh∈Xh是（8）的解,并且记uh=ε（xh）.那么q≥K时有其中常数C与u和h无关,依赖于最后,我们对该方法进行了数值模拟,数值结果表明算法是收敛的,计算速度快,并有较好的精度.II.求解近场散射问题的最小二乘方法首先采用与前一节相同的方式与记号将区域剖分.然后在每个单元Ωk上,选取有限个函数ek，l,l=1,2,…,P（P∈N）,其在Ωk上是齐次Helmholtz方程的非零解,即且ek,l≠0,而在其他单元上为零,即ek,l|Ω=0,当k≠j.我们将ek,l张成的空间记为Vh,即那么我们用ua∈Vh,定义为近似边值问题（1）的解u,其中系数a=（alk）待求.我们定义目标泛函其中a∈CM （M=NP）是未知系数.我们将最小二乘解做为ua的系数.那么此时ua即为我们问题的数值解.我们通过对偶技巧,给出该方法的基本估计.定理7设u是问题（1）的解,ua∈Vh形如（17）,其系数是最小二乘解（19）,则其中常数C与u和h无关,依赖于σ.实际数值模拟中,我们在每个小单元上都选取P个基函数,其中平面波的个数其中方向dk，l通常如下选取由于在全反射现象中将出现倏逝波,因此为了能够通过数值方法反映其小尺度特征,我们同时也选用倏逝波函数其中时由空间Vh的逼近性质我们最终可得如下误差估计.定理8设Ω∈R2是多边形凸区域,u∈ΠHK+1（Ωi）是问题（1）的解,u。∈Vh形如（17）,其系数是最小二乘解（19）,且记则q≥K时有与u和h无关,依赖于σ.最后,我们对该方法进行了数值模拟,数值结果表明算法是收敛的,计算速度快,并有较好的精度.第三部分是论文的第五章.我们考虑Helmholtz方程的另一类边值问题,它模拟的是时谐声波被无界声软表面散射的问题.针对表面上方存在非均匀介质层的情形,分析了相应问题的适定性,并给出了解的先验估计.同时我们也考虑了相应的有限元近似问题,进行了误差估计分析.我们也将方法平行推广,证明了无界表面上方是各向异性介质层时问题的适定性.设D是一个连通的开集,存在常数f-<f+使得其中en表示xn方向的单位向量.记Hilbert空间Va定义如下其中a≥f-,并采用与波数k0>0相关的标量内积诱导范数记为||u||Va.对s∈R,Hs（Γa）表示Sobolev空间,其范数为这里我们将r。与Rn-1等同,F是傅立叶变换.I.非均匀介质情形无界声软表面上方是非均匀介质层时,时谐声波被该表面散射的问题可以建模为如下边值问题：给定源g∈L2（D）,其在SⅡ具有紧支集,其中H≥f+.求散射场u：D→c,满足对任意a>f+,有u|Sa∈Va,且在广义意义下成立.我们假设波数κ满足其中常数K+>0,κ0>0.对a>H≥f+,存在连续嵌入算子,即迹算子另一方面,作为边值问题的一部分,我们采用如下辐射条件其中表示关于x的傅立叶变换.引入双线性形式b：VH×VH→C,定义为这里（.,·）表示L2（SH）上的标量内积,T是ΓH上的Dirichlet-to-Neumann算子,定义为其中Mz是乘子为的算子.那么变分问题为：求u∈VH满足我们证明了边值问题与变分问题的等价性.定理9若u是边值问题（26）,（28）的解,则u|SH也满足变分问题（30）.反之,若u是变分问题（30）的解,当x∈UH时,定义9=0,K=K0,且令FH=γu,用（28）定义u,则延拓后u满足边值问题（26）,（28）.于是我们可从证明变分问题的适定性得到边值问题的适定性.关于变分问题我们有如下结论.定理10设区域D满足条件（25）,波数κ满足条件（27）.那么变分问题（30）存在唯一解u∈VH满足其中通过严格的理论分析,我们将该定理的证明转化为证明变分问题解的如下先验估计.定理11设区域D满足条件（25）,波数κ满足条件（27）.并且g∈L2（SH）和u∈VH满足我们首先建立解的Rellich类型等式.定理12设其中若u∈VH是变分问题（30）的解,则有然后证明了边界r光滑时变分问题解的先验估计.定理13设其中f∈C∞（Rn-1）.设区域D满足条件（25）,波数κ满足条件（27）.并且设g∈L2（SH）和u∈VH满足利用光滑边界区域对非光滑边界区域的逼近性质,最终证得定理11结论成立.从而证明了定理10.最后,我们考虑了该问题的有限元近似问题,并进行了误差收敛性分析.II.各向异性介质情形我们的方法也可平行推广到曲面上方是各向异性介质层的情形.此时,散射问题可建模为如下Helmholtz方程边值问题：给定源g∈L2（D）,其在SH具有紧支集,其中H≥f+.求散射场u：D→c,满足对任意a>f+,有u|Sa∈Va,且在广义意义下成立.其中常数K0为波数具有如下分块结构这里是对称子阵,常数a。>0.进一步,我们假设当x∈UH时,A=a02I,其中常数a0>0,I为单位矩阵,且另外,我们假设||A||2有界（||·||2为矩阵的欧式范数）,A是椭圆的是半负定的,即存在常数c0>0满足特别的,当矩阵A为对角常值矩阵时,即A=dI,常数d>0,矩阵A显然满足以上假设条件,此时即对应层内是各向同性的均匀介质情况.另一方面,作为边值问题的一部分,我们采用如下辐射条件其中表示FH=u|ΓH关于x的傅立叶变换.这个辐射条件表明了在无界表面r和g的支集之上,u是向上传播平面波与倏逝波的线性叠加.引入双线性形式定义为这里T1是ΓⅡ上的Dirichlet-to-Neumann算子,定义为其中Mz1是乘子为的算子.那么,我们证明了边值问题（35）,（37）等价于如下变分问题：u∈VH满足于是我们可从证明变分问题的适定性得到边值问题的适定性.按照前面针对非均匀介质层情形的论证过程,通过建立Rellich类型等式,借助光滑边界区域对非光滑边界区域的逼近性质,我们得到如下结论.定理14若区域D满足条件（25）,则变分问题（39）存在唯一解u∈VH,并且其中