贝叶斯预测方法

【实例简介】
基于贝叶斯网络的动态预测模型研究及其应用，贝叶斯预测方法
哈尔滨工程大学硕士学位论文 没有办法知道预测结果是否准确,并且根据结果是否准确做出调整。贝叶斯方法不管是静态 的方法还是动态的方法,都没有一个很好的反馈,使其在动态变化的环境中表现不是很出色, 所以在预测的结果后要对结果进行一个判断,引入预测误差的概念来做为判断的依据。 (4)在贝叶斯预测的过程中添加了对环境因素的感知等级概念。贝叶斯方法中没能按照 急需的主次顺序来进行推理,也就是不能及时找出最需要推理的因素,没有办法使该因素及 时地得到预测值,会使推理失去意义,不能实时、有效地抓住影响自身的主要因素,给出的 策略会造成避重就轻。在本文中加入感知等级的概念就是用来解决这个问题。引入该概念则 可以解决该问题。 关键词:动态预测;动态贝叶斯网络;感知 agent;感知调度; 基于贝叶斯网络的动态预测模型研究及其应用 Abstract Game Theory is a mathematical theory that corresponds the concept of competition in the reality and recently eams a wide application in the fields of AI( artificial intelligence). Incomplete informa- tion game is one of the largest uncertain case, and the most worthy to study. The significance of the simulation for this respect of Al is obviously important Bayesian prediction is a reasoning approach, based on probability distribution, in which combine the graph model of the Bayesian theory, and through conditional independence assumption, simplif y complex issues to show the interaction between the incidents that affect each other with a map, fi nally calculate the prior probability and posterior probability to solve the problem. The features and benefits of Bayesian methods make it not only to solve problems related to probability theory(such as classitication clustering), but also to apply the graph model for strategy selection problems(such as reasoning and recognition) flowever, when Bayesian prediction is applied to the game theory it shows some problems and ssues to be extended. In order to compensate for these, we introduce MAS( Multi-Agent System that has a good prospect in the future. and so we can combine the dynamic prediction model and t- he agent which presents the entity with intelligence to sufficiently predict the future After integrally considering the good prospect in simulated reality and the good performance of Bayesian methods, we design a dynamic prediction model in the state of incomplete information g ame, to make it more universal and better map with reality The main jobs of this dissertation Construct a dynamic prediction model structure as for the lack of considering the uncertain factors of the surrounding environment through Bayesian methods, we make its application to the MAS in incomplete information game by the use of agent structure theory of perception, and then constitute the whole framework combined with agent (2)Execute an improved learning algorithm. Through deeply research on Bayesian methods, we find that a bayesian learning network is basically aptotic. Even for Bayesian learning network after executing the dynamic Bayesian methods, because of the fixed relationship between the previous f- 哈尔滨工程大学硕士学位论文 actors and the latter factors in time, it's difficult to update the whole network. So combine the K2 a- lgorithm and the related algorithms to form an accurate learning algorithm. The algorithm is simple, feasible, and high accurate Full account of the conditional independence assumption, enhance the learning accuracy while consuming in time as little as possible (3)Advance a method to judge the accuracy of prediction. During the prediction, there is no valu- ation of the prediction results to know whether the results are accurate and can' t adjust the predicti on method. As to Bayesian method, no matter dynamic way or not, there is no good feedback, so t- hat the performance of the dynamic prediction results is not very good. So introduce the concept of prediction error to judge the prediction results to make the method changing itself though it. (4)Introduce the concept of perception rank in the process of Bayesian prediction. There is no p- rimary and secondary reasoning in Bayesian method, so it can, t identify the incident that most need to be predicted. In this case, it cant predict in time and sufficiently. So we can use the rank to solve the problem Keywords: dynamic prediction; dynamic Bayesian network; perception agent; perception scheduling: 第1章绪论 第1章绪论 1.1研究背景及意义 人工智能( Artificial Intelligence,简称AI)是计算机领域里的一个分支,是研究、开发 用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学2。二 十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能);也被 认为是二十世纪(基因工程、纳米科学、人工智能)三大尖端技术之一。 人工智能从诞生开始到现在的几十年间,随着计算机软硬件技术的迅猛发展,使其相关 技术在多个学科领域也取得了迅速发展,得到了广泛的应用,也为其他学科领域的研究取得 了大量丰厚的成果。它试图探索智能的本质,并研制出一种模仿人类行为方式的全新智能机 器。该领域的研究内容包括机器人、语言识别、图像识别、自然语言处理和专家系统等。总 而言之,人工通知产生的目的就是要让机器能够具有人类的能力,然后作为人类的帮手去帮 助人们完成一些复杂、麻烦、重复或危险的工作。 人类的智能住动态变化的环境中体现的尤为明显,人能感觉到坏境的变化,并且从中发 现、总结知识和规律,从而对未来事态的发展做出相应的判断,使其对自身有利,并且不断 循环更新自己的知识。正如在人类的竞争环境中,人与人之间的博弈正是这种智能的良好的 体现 博弈( game playing)是应用数学领域的分支,是指多个具有决策能力的主体彼此影响, 并在过程屮各主体通过体收集、学习信息,对自身、其他主体的能力进行感知,预测出对自 身有利的策略,做出以上行为一个过程。 博弈分为静态博弈和动态博弈。静态博弈指的是在博弈过程中,各个主体的行或者同时 或者有先后的顺序,但是互相之间不知道彼此的行动策略;动态博弈指的是在博弈过程中, 各个主体的行为也是有先后的顺序,但后者知道前者的行动策略 在此基础上,如果按照主体间相互影响的效果,即协作或竞争来分,可分为合作性博弈 和非合作性博弈,就日前的研究状况来说,国内外的专家更多的是将研究内容指向非合作性 博弈。合作性博弈指的是各个主体都会考虑自身的收益,并且与其他的主体协作以达到共同 收益的目的;非合作性博弈指的是各个主体考虑自身收益的时候,不考虑其他主体的收益或 哈尔滨工程大学硕士学位论文 以牺牲其他主体的收益为代价来获取自身的收益。明显的是合作博弈是在总体资源充足的情 况下可以让大家都收益的情形,而在资源短缺的情况是会发生非合作博弈。 再从对已有知识的了解情况来说,博弈又可分为完全信息博弈和不完全信息博芥四。完 全信息博弈指的是各个主体对周围的环境,包括其他主体的信息是完全了解的;相反的就是 非完全信息博弈。严格来说,完全信息博弈是指这样一种博弈:各个主体的策略或策略组合, 是博弈中所有主体共同的信息。而不完全信息博弈,各个主体所要达到的目标使自身的收益 最大化。 综上所述,博弈在应用的环节主要分为如卜四类 完全信息静态博弈、完全信息动态博弈、不完全信息静态博弈、不完全信息动态博弈。 其中策略性博弈应属于完仝信息静态博弈,而完全信息动态博弈则包括扩展性博弈和重复博 弈等:不完全信息静态博弈则是以贝叶斯均衡等理论完成对混合策略的重新解释,不完全信 息动态博究则是完美贝叶斯均衡为核心概念的信号博弃 本文的研究内容就是在随时间变化的非完全信息动态博弈环境下,让处在环境中的个体 感知环境的变化,可以及时更新知识,并根据所学习的知认对未来做出相应准确的判断。 就木文所研究的环境来说,对于建立在概率统计顾上的知识发现方法方面,贝叶斯方法 有着明显的优势,是表示和求解非完全信息的最佳模型。用先验概率、后验概率、条件概率 分布来表达随机事件发生的可能程度,是其最大的特点。与解决同类型问题的决策树、神经 网络、基于事例等方法比较起来,该方法具有如下的优点 (1)在不完全信息状态下,也能有效的解决问题; (2)用于因果推理的同时还可以和其他方法融合; (3)把先验概率和后验概率与已有数据相结合; (4)从算法处理上解决了过度拟合的问题。 贝叶斯网络是在已有训练数据基础上构建学习网,然后根据所构造好的学习网来对未米 的随机事件做出预测,与此同时也会更新该学习网。在语音识别、生物信息分析、自动化控 制、风险投资等多个领域得到应用和证实 个非完全信息动态博弈的环境,是可以用多智能体系统来实现的,多智能体系统 (MAS,Mui- Agent System)是分布式人工智能(DAI, Distributed Artificial Intelligence 的一个重要分支,旨在研究用软件实现智能行为的领域,这正符合了本文所要寻找的环境。 这样应用MAS理念搭建好预测的环境,同时可以构造其中所需感知的信息和资源,并且运 第1章绪论 用调度来更好地为调用贝叶斯推断理论做好准备工作 综上所述,本文旨在建立一种可以感知周围不断变化的环境,合理调度信息资源,并采 用贝叶斯理论发现和利用知识进行預测的动态模型,使其能在人工智能或相关领域得到良好 的应用。 12动态预测模型的发展及现状 早在1997年, Syversonle就提出应使用随机博弈来对网络中的正常节点和恶意节点进行 理性分析的想法。2002年,Iye使用随机博弈形式化定义和实现了 Syverson的想法,并给 个应用在企业网络中的例子,分析了企业和攻击者双方进行博弈时的纳什均衡利各自的 最优行动。2003年,Xu使用基于完全信息的静态博弈设计和分析他们提出的DDoS防御系 统,并说明正是由于引入了博弈论使得DDoS防御系统性能得到了优化。他们的研究在不同 程度上含有对攻击历史行为分析的倾向,但还不是很明确。200年,和Zamg关于入 侵意图的攻击预测模型的硏究为这个领域的进一步发展做出了贞献,将攻击历史行为的关联 分析作为一个独立的因素提∫出来。而在预测模型发展的过程中,一个对其有重要的作用的 理论也逐渐开始与之相结合。 从英国学者贝叶斯( Reverend Thomas Bayes)于1763年在皇家学会学报上发表的论文《论 机会学说中一个问题的求解》( An essay toward solving a problem in the doctrine of chances), 在该论文中提出了从二项分布的观察值出发对其参数进行概率推断的方法,到20世纪50年 代,随着统计学的相关理论被广大国内外专家研究,提出了很多的创新和应用,使贝叶斯理 论也受到了欢迎,并得到了迅速发展。尤其对于推理预测问题而言,该理论在应用中占有越 来越重要的地位,其从主观性出发的特点更与人工智能的仿人类智能相似,主体可以利用先 验概率和后验概率进行分析判断,这是至关重要的。再到20世纪70年代 Rubin证明了在某 些一般公认的前提下,任何一种最优准则下的解必然是某个先验分布下的贝叶斯解。这一理 论使贝叶斯理论可以应用到任何需要求解因果推理问题的领域,使贝叶斯方法在实际的应用 中取得了成功,最终该理论使传统的统计学要借助其帮助才能解决一些问题,如 Minmax解 和容许问题等等。这为如今贝叶斯方法的广泛应用又提升了个台阶 贝叶斯方法容易理解,实现简单,并且到现在发展到动态贝叶斯方法后可能随着学的 不断深入,对自身的架构进行不断更正,这给其应用带来极大的实用性。日前,著名的搜索 引擎 Google所用的搜索算法就是利用贝叶斯方法实现的,此外还有很多著名企业的产品如微 软的 Notification platforn,不仅应用贝叶斯的理论方法还要将其应用到未来的三网融合中, 哈尔滨工程大学硕士学位论文 对信息进行分析整理;著名的E-mai公司 Foxmail将其应用到了反垃圾邮件上,并且表现出 了其在过滤方面的出色性能。 除此在计算机软件和网络方面的应用之外,贝叶斯方法还在机器人、经济学、医学等计 算机和非计算机领域得到应用。 1.贝叶斯方法的特点 第一,在运用贝叶斯方法解决问题时,其运用的基础信息有三个:模型信息,在求解问 题之前要先知道模型总体空间所服从的分布,这是推理的基础;样本信息,即己有的部分结 果数据,这是推断依据的直接信息;先验信总,即对样本信息进行统计分析所得到的已知事 件发生的可能性。 第二,在以概率的频度作为传统解释的前提下,并不依赖事件重复发的必然性,即认 为事件发生的可能性不完全按照已有的固定模式进行预测,在脱离样本信息后,会根据所发 生的临时状况作出相应的调整。 第三,曾经的统计学奠基人 Fisher在其1921年发表的论文“理论统计的数学基础”中, 把统计学的任务概括为三个问题:选定模型、确定统计量和决定统计量的分布。其认为根据 抽样的非完全信息可以推断出统计量的所有性质,这明显是不完全正确的,与其不同的是, 运用贝叶斯理论进行推理的模式一般根据如下形式:先验信息⊕样本信息→后验信息(如 图1.1),或p(0)p(x0)→D(0x) 先验信息 贝叶斯定理 后验分布 预报密度 样本信息 图1.1贝叶斯推断的基本模式 贝叶斯方法的过程就是用先验概率分布来表示对事件发生情况的原有认识,用后验概率 分布表示经过接触新的发生情况对原有认识的改变,其求解过程就是将已有样本的先验信息 与最新样本的信息相作用得到的。从这一点也可以看出其作为智能处理信息的能力。 第四,在运用贝叶斯定埋处理完先验信息与样本信息后,得到后验概率分布,然后就可 以不把原来的统计模型丢掉,但这不会影响对未来事件的推断能力,也就是说贝叶斯方法的 及时更新能力是非常强的。 第1章绪论 2.贝叶斯方法可扩展之处 根据对贝叶斯方法的发展及现状,还有其特点的分析,贝叶斯方法在不完全信息的情况 下,在处理不完整数据方面有着绝大多数算法所不具有的可以动态预测的优势,这也是贝叶 斯方法得到广泛应用的原因,但同时笔者发现了贝叶斯方法的可扩展性,具体可分为如下三 点 (1)贝叶斯方法缺乏对周围环境中常变因素的考虑,例如在博弈环境中,博弈的对象随 吋随地的可以改变其策略,同时其余策略会使其所在的博弈坏境中的其他因素由此而发生改 变,而且这些改变的影响有时是巨大的,但由于贝叶斯方法所构成的学习网基本是固定的, 即使是动态贝叶斯方法怛只是在最初建立好学习网后,随时间推移,将前一时刻的因素对后 时刻的本学习网中已经形成制约关系的因素的影响,很难考虑到博弈的对象的变化及其变 化给贝叶斯学习网带来的影响,不能及时更新学习网 (2)在贝叶斯预测的过程中没有需要推理的等级,即没能按照急需的主次顺序来进行推 理,也就是不能及时找出最需要推理的因素,没有办法使该因素及时地得到预测值,会使推 理尖去意义,不能实时、有效地抓住影响自身的主要因素,给出的策略会造成避重就轻。 (3)在预测过程中没有对预测结果的评价,也就是说没有办法知道预测结果是否准确, 并且根据结果是否准确做出调整。贝叶斯方法不管是静态的方法还是动态的方法,都没有 个很好的反馈,一旦构建好学习网就基本没有变动,这是不符合实际的,现实中的人类的知 识结构只有不断更新,甚至重构才能适应不断变化的环境,所以贝叶斯方法只是在相对固定 的环境下的对不完全信息推理的一种良好办法,但在时常变化的情况下就不那么适用了,尤 其是在博弈的环境下,所以要加入一些可以对时常变化因素的预测结果的评价,并将其反馈 能够及时反应出预测的准确性,并据此对模型进行修改。 13论文的主要工作 本文的主要工作如下 (1)为了研究在不完全信息博弈状态下的不完全数据的分析工作,运用动态贝叶斯方法 的特点,将不完全数据进行统计整理,构建贝叶斯学习网,并用动态贝叶斯理论去预测; (2)现实中的数据因素往往是不完整而且离散的,为使本论文所提出的动态预测模型更 具普适性,本文采用将环境因子离散化的方法,可以使每个离散点都具有实际意义,可与现 实相映射; (3)针对贝叶斯方法的可扩展性,将基于 agent的感知融入到贝叶斯方法中,加强模型 【实例截图】
【核心代码】