英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到 20世纪 30 年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。

贝叶斯统计中的两个基本概念是先验分布和后验分布。

①先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

②后验分布。根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。

贝叶斯统计(Bayesian statistics)，推断统计理论的一种。英国学者贝叶斯在1763年发表的论文《有关机遇问题求解的短论》中提出。依据获得样本 (Xl，X2，…，Xn)之后θ的后验分布π（θ|X1，X2，…，Xn)对总体参数θ作出估计和推断。它不是由样本分布作出推断。其理论基础是先验概率和后验分布，即在事件概率时，除样本提供的后验信息外，还会凭借自己主观已有的先验信息来估计事件的概率。而以R．A．费希尔为首的经典统计理论对事件概率的解释是频率解释，即通过抽取样本，由样本计算出事件的频率，而样本提供的信息完全是客观的，一切推断的结论或决策不允许加入任何主观的先验的信息。以对神童出现的概率P的估计为例。按经典统计的做法，完全由样本提供的信息(即后验信息)来估计，认为参数p是一个“值”。贝叶斯统计的做法是，除样本提供的后验信息外，人类的经验对p有了一个了解，如p可能取pl与户p2，且取p1的机会很大，取p2机会很小。先验信息关于参数p的信息是一个“分布”，如P(p=p1)=0．9，P(p=p2)=0．1，即在抽样之前已知道(先验的)p取p1的可能性为0．9。若不去抽样便要作出推断，自然会取p=p1。但若抽样后，除非后验信息(即样本提供的信息)包含十分有利于“p—=p2”的支持论据，否则采纳先验的看法“p=p1”。20世纪 50年代后贝叶斯统计得到真正发展，但在发展过程中始终存在着与经典统计之间的争论。

贝叶斯统计的历史可以上溯到 16 世纪。1713 年，James Bernoulli 意识到在可用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别，他提出一个著名的问题：前者的机理如何能帮助处理后面的推断。托马斯.贝叶斯（ThomasBayes， 1702－1761）是长老会的牧师。他对这个问题产生浓厚的兴趣，并且对这个问题进行认真的研究，期间，他写了一篇文章来回答Bernoulli 的问题，提出了后来以他的名字命名的公式：贝叶斯公式。但是，直到贝叶斯死后才由他的朋友Richard Price 在 1763 年发表了这篇文章，对Bernoulli 的问题提供了回答。这篇文章标志着贝叶斯统计的产生。但贝叶斯统计的思想在开始时并没有得到重视。后来，Laplace 本人重新发现了贝叶斯公式，而且阐述得比贝叶斯更为清晰。由于贝叶斯统计对于概率的观点过于主观，与当时的主流统计观点相左，此外也很难应用当时严谨的数学理论解释。

例如贝叶斯统计中的先验概率的观点，一直以来都是贝叶斯统计学派和非贝叶斯统计学派争论的焦点之一。在历史上，贝叶斯统计长期受到排斥，受到当时主流的数学家们的拒绝。例如，近代优秀的统计学家R. A. Fisher 就是贝叶斯统计的反对者。然而，随着科学的进步，贝叶斯统计在实际应用上取得的成功慢慢改变了人们的观点。贝叶斯统计慢慢的受到人们的重视，目前贝叶斯统计已经成为统计学中一门很热门的研究课题。

从贝叶斯为了回答James Bernoulli 的问题而写的那一篇论文，提出著名的贝叶斯统计思想以来，经过几百年的发展，目前关于贝叶斯统计的论文和学术专著有很多。目前统计界公认比较权威的贝叶斯统计的著作是James O. Berger 的作品：StatisticalDecision theory and Bayesian Analysis。国内有其中译本：《统计决策论及贝叶斯分析》，它是由贾乃光主译，吴喜之校译，中国统计出版社出版。