什么是Bootstrap?

Bootstrapping 方法是种集成方法,通俗解释就是盲人摸象,很多盲人摸一头象,各自摸到的都不一样,但是都比较片面,当他们在一起讨论时,就得到了象的整体。

Bootstrap的过程,类似于重采样,如下图所示:

对于小数据集的鲁棒性特别有用。

每个模型得到一些结果之后,bagging方法最后是取均值或投票,来确定最后的模型参数(这样合理吗?),如下图所示:
在另一种集群方法中,bootstrap方法是串联型的,如下图所示

  1. 生成一些随机数据来做二元分类
# 生成2维正态分布,生成的数据按分位数分为两类,500个样本,2个样本特征,协方差系数为2
# 生成2维正态分布,生成的数据按分位数分为两类,400个样本,2个样本特征均值都为3,协方差系数为2
#讲两组数据合成一组数据


4. 基于决策树的Adaboost来做分类拟合,这里我们选择了SAMME算法,最多200个弱分类器,步长0.8,在实际运用中你可能需要通过交叉验证调参而选择最好的参数。拟合完了后,我们用网格图来看看它拟合的区域。

  1. 从图中可以看出,Adaboost的拟合效果还是不错的,现在我们看看拟合分数:

也就是说拟合训练集数据的分数还不错。当然分数高并不一定好,因为可能过拟合。

  1. 现在我们将最大弱分离器个数从200增加到300。再来看看拟合分数。

这印证了我们前面讲的,弱分离器个数越多,则拟合程度越好,当然也越容易过拟合。

  1. 现在我们降低步长,将步长从上面的0.8减少到0.5,再来看看拟合分数。

可见在同样的弱分类器的个数情况下,如果减少步长,拟合效果会下降。

  1. 最后我们看看当弱分类器个数为700,步长为0.7时候的情况:

此时的拟合分数和我们最初的300弱分类器,0.8步长的拟合程度相当。也就是说,在我们这个例子中,如果步长从0.8降到0.7,则弱分类器个数要从300增加到700才能达到类似的拟合效果。

注:在深度学习中,由于神经网络已经够大,所以不建议进行bootstrapping操作,没什么特别的意义和作用。

    关注技术领域的头条文章

    聚合全网技术文章,根据你的阅读喜好进行个性推荐

(s)mp系统里面的多处理器分为两部分,一部分是系统引导,加载,初始化时的bootstrap processor,也就是说系统上电到内核初始化完毕都是单处理器系统。第二部分是application processor,内核初始化之后enable剩下的应用处理器。关机操作也由bootstrap完成。

系统引导之后的应用使用上没有什么区别。

登录后可查看更多优质内容

聚合全网技术文章,根据你的阅读喜好进行个性推荐

深圳市奥思网络科技有限公司版权所有

在一般意义上,“引导”是使用更简单的系统建立复杂系统的过程.引导系统(更简单的系统)本身就是不完整的. 引导OS(“引导它”)包括让BIOS(或等效的)运行一个简单的程序,该程序有时位于磁盘上的固定位置,从而启动更复杂的初始化程序(参见first and second stage bootloaders). 引导编译器是通过编译一个简单的编译器来完成的,该编译器可以处理编写完整编译器的语言的子集,可能在几个连续的步骤中. 该术语还用于商业和其他领域,以描述启动后期增加复杂性和/或规模所需的投资/开发中间阶段的使用. 从the Wikipedia article on Bootstrapping开始: Tall boots may have a tab, loop

我要回帖

更多关于 bootstrap过时了吗 的文章

 

随机推荐