经典统计学与贝叶斯统计学在回归模型中的比较研究

来源 :军事科学院 | 被引量 : 4次 | 上传用户:lxfsb001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
【目的】统计学中有两个主要学派:经典统计学派和贝叶斯统计学派。统计学中研究最为广泛的是回归分析,回归分析模型可以根据样本建立模型,用来探索和筛选与结果有关的因素,也可以对新样本进行预测。回归分析的种类繁多,比如多重线性回归、Possion回归、Logistic回归、医学中经常用于生存资料的Cox比例与非比例风险回归模型等等,可以根据具体数据资料的类型选择合适的回归模型。经典统计在回归分析中遇到很多难题,比如异常点的发现与剔除,自变量共线性的诊断和筛选及消除共线性的策略。虽然经典统计方法都有相应的解决办法,但是,有时可能会降低模型的精度。本文的目的是从不同资料类型出发,分别采用经典统计学和贝叶斯统计学建立回归分析模型,比较两种方法建立模型的优劣,便于研究者如何根据资料的类型和所具备的前提条件选择合适的统计分析方法。【内容】本文通过查阅、整理和分析国内外有关经典统计与贝叶斯统计方法的文献,对经典统计学和贝叶斯统计学回归分析的原理进行介绍和总结。拟分析的统计资料包含质量较好的资料、存在共线性的资料、存在异方差的资料、存在缺失值的资料和二值资料,分别使用经典统计和贝叶斯统计建立相应的回归模型。【方法】当结果是定量变量的资料时,样本量较少时只评价拟合效果,使用相对误差绝对值的均值(Abserror),残差平方和(SSress)和决定系数(R~2)作为评价指标。样本量较大时,首先用全部样本建立模型评价拟合效果,评价指标与样本较小时的评价指标相同;再用部分样本建立模型,评价训练集的拟合效果使用Abserror,残差均方(MSE)和R~2作为评价指标;评价测试集的测试效果使用Abserror,MSE和标准化均方误差(NMSE)作为评价指标。本文采用十折交叉验证方法拆分大样本资料。结果是二值变量的资料:建立模型后,求回代后的灵敏度、特异度、准确率和ROC曲线下面积作为评价指标。【结果和结论】经过本文研究发现,数据本身质量较好,不存在共线性和异常点时,经典统计学的拟合效果最好;指定先验信息的贝叶斯方法预测效果最好。但是从总体上来说,评价指标的结果相差不大,两种方法均可以。若没有足够的先验信息,可以用无信息先验代替。自变量之间存在共线性时,经典统计建模方法选择主成分回归和岭回归法,并与贝叶斯方法比较。若以“Abserror和SSress最小,R~2值最大”为评价拟合效果的话,无信息先验的贝叶斯方法拟合模型最优,指定先验分布的次之,主成分回归再次之,岭回归分析最后。可见如果存在共线性情况下,对贝叶斯方法影响比较小。当没有合适的先验分布时,可以选用无信息先验代替。数据存在异方差时,使用分位数回归分析建立模型,取因变量的下四分位数(q1)、中位数(q2)和上四分位数(q3)建立模型。贝叶斯统计学由于指定先验信息后,参数轨迹图不收敛,因此只选用无信息先验。贝叶斯统计方法的各个分位数指标均较好,拟合效果和预测效果都要优于经典方法。数据存在缺失值时,在剔除缺失值和对缺失值进行填补后,基于经典统计方法建立的模型从拟合效果和预测效果上看都要优于贝叶斯统计方法。在因变量是二值变量的Logistic中,界值取0.5时,从预测的准确率上看是没有差别的。使用各个界值计算相应的灵敏度和特异度,发现两种统计方法求得的结果也相差不大;计算的ROC曲线下面积,对于本论文中所分析的资料而言,无信息先验的最大是0.93474,但仍小于经典统计Logistic过程自动求得的面积0.9386。此外,本文中Logistic回归使用的贝叶斯方法建立的ROC曲线,截取一部分界值,手动计算的ROC曲线下面积比较大,但是操作比较繁琐。在实际使用中,需要根据具体需求使用相应的统计方法。
其他文献
<正>秦岭造山带是由古生代增生与中生代碰撞造山作用叠合而成。尽管其岩石组合类型复杂多样,但大地构造相保留相对齐全。这些相单元与不同成因类型的矿床有密切的时空关系。1
<正> 回族文化的研究方兴未艾,它与伊斯兰文化、穆斯林文化,形成某种交叉。二者的内涵作一番判别,予以较严格的界定,才会在回族文化的研讨过程中少一些无益的碰撞。
美、德、英三国审计差异研究吴金龙本文拟就美国、德国、英国在公开上市公司审计方面存在的重要差异进行分析。选择这三个国家进行对比分析,是因为这三国在国际资本市场上均有
西部大开发战略自2000年正式实施以来,大体上经历了起步与谋篇布局、推进与差距进一步扩大、突破与差距扩大趋势得到扭转、深入推进与开启改善民生的4个阶段。十多年的西部大
目的研究以丙烷磺酸吡啶嗡盐(PPS)、咪唑、己炔二醇(HD)为代表的三大类光亮剂,在化学镀锡过程中改善镀锡层表观形貌和影响镀速的作用机理。方法采用电化学阴极极化法,研究化
<正> 古代中西陆路交通贸易商道——“丝绸之路”,东自我国古都长安,横贯亚洲大陆,西达地中海东岸,全长七千余公里.它由若干条东西相联、南北交错的商道组成交通网,沟通众多
维基百科作为一个人人可以参与编辑的网络百科全书项目,自2001年面世以来得到了快速的发展,维基百科的词条数、参与编辑的人数以及浏览网站的人数都飞速增长。维基百科已经发
目的:观察电针迎香穴通过三叉神经通路对嗅觉障碍大鼠嗅球及嗅黏膜胰岛素样生长因子-1(insulin-like growth factor-1,IGF-1)和成纤维生长因子-2(fibroblast growth factors-2,FG
《新闻战线》1979年第3期杨放之同志的《党报史上一个重要的里程碑》中写道:“延安解放日报曾经发表《新闻必须完全真实》的社论,这篇社论是经过毛主席亲自修改的。社论中批
目前,随着计算机技术与互联网技术的高速发展,日趋成熟,越来越多的高校逐步迈入了开展信息化管理建设的新时代。高校管理中人事信息的管理是其重要组成部分,基于Web的信息化