The sharing of resources about Statistical Learning Theory and Machine Learning(includeing SVM,Semi-Supervised Learning,Ensemble Learning,Clustering) ,welcome to contact and communicate with me: Email: xiankaichen@gmail.com,QQ:112035246,

Tuesday, June 24, 2008

Bootstrap抽样方法(原理与实现)

  • 引用文章,“我的一些统计方法观”( 作者:谢益辉)。文章中是这样阐述的:Bootstrap的一般的抽样方式都是“有放回地全抽”(其实样本量也要视情况而定,不一定非要与原样本量相等),意思就是抽取的Bootstrap样本量与原样本相同,只是在抽样方式上采取有放回地抽,这样的抽样可以进行B次,每次都可以求一个相应的统计量/估计量,最后看看这个统计量的稳定性如何(用方差表示)。
  • 可以简单的看出Bootstrap是非常简单但是又有点古怪的抽样方法。集成学习方法Bagging里面提到的Bootstrap抽样的真正含义在上面得到了真正的解释。在Bagging中的抽样具体怎么实现呢?可以简单使用R软件 里面的sample(x,replace=TRUE,num)函数实现Bootstrap抽样.x表示被抽样的样本,replace=TRUE表示有回放抽样,反之不回放抽样,num表示你要抽样的个数.下面是实验效果(点击查看)


  • 实现比较简单明了,容易明白。

No comments: