ensemble learning

定義：通過結(jié)合多個學(xué)習(xí)器來解決問題的一種機器學(xué)習(xí)范式。其常見形式是利用一個基學(xué)習(xí)算法從訓(xùn)練集產(chǎn)生多個基學(xué)習(xí)器，然后通過投票等機制將基學(xué)習(xí)器進行結(jié)合。代表性方法包括Boosting、Bagging等。

學(xué)科：計算機科學(xué)技術(shù)_人工智能_機器學(xué)習(xí)

相關(guān)名詞：機器學(xué)習(xí) 決策樹 圖像識別

圖片來源：視覺中國

【延伸閱讀】

集成學(xué)習(xí)是一種機器學(xué)習(xí)方法，它通過將多個基本的學(xué)習(xí)模型（也被稱為基學(xué)習(xí)器）組合成一個強大的學(xué)習(xí)系統(tǒng)來提高模型的性能。集成學(xué)習(xí)的基本思想可以概括為“多樣性和投票”，即通過構(gòu)建多個基學(xué)習(xí)器，并讓它們對輸入數(shù)據(jù)進行獨立的預(yù)測，然后通過某種方式將各個基學(xué)習(xí)器的預(yù)測結(jié)果結(jié)合起來，產(chǎn)生一個最終的預(yù)測結(jié)果。這樣做的好處是，各個基學(xué)習(xí)器可以各自在不同的特征子集或者在不同的模型空間進行學(xué)習(xí)，從而降低模型的泛化誤差。

集成學(xué)習(xí)的概念可以追溯到20世紀90年代初期，但真正引起人們關(guān)注是在2000年以后。根據(jù)個體學(xué)習(xí)器的生成方式，目前的集成學(xué)習(xí)方法大致可分為兩大類：一類是個體學(xué)習(xí)器間存在強依賴關(guān)系、必須串行生成的序列化方法，如Boosting（自適應(yīng)提升）；另一類是個體學(xué)習(xí)器間不存在強依賴關(guān)系、可同時生成的并行化方法，如Bagging（自助投票）和隨機森林。其中，Boosting是一族可將弱學(xué)習(xí)器提升為強學(xué)習(xí)器的算法，主要是通過對樣本集的操作獲得樣本子集，然后用弱分類算法在樣本子集上訓(xùn)練生成一系列的基分類器；Bagging是一種基于數(shù)據(jù)隨機重抽樣的集成學(xué)習(xí)方法，它通過從原始數(shù)據(jù)集中有放回地抽取樣本來訓(xùn)練多個基分類器，并對所有基分類器的預(yù)測結(jié)果進行平均或投票來產(chǎn)生最終的預(yù)測結(jié)果；隨機森林是Bagging的一個擴展變體，它在以決策樹為基學(xué)習(xí)器構(gòu)建Bagging集成的基礎(chǔ)上，進一步在決策樹的訓(xùn)練過程中引入了隨機屬性選擇。

集成學(xué)習(xí)的應(yīng)用非常廣泛，例如圖像識別、文本分類、金融風(fēng)險評估、生物信息提取、醫(yī)療診斷等。在圖像識別方面，可以用于目標(biāo)檢測、語義分割等任務(wù)；在文本分類方面，可以用于情感分析、垃圾郵件過濾等任務(wù)；在金融風(fēng)險評估方面，可以用于信用評分、欺詐檢測等任務(wù)；在生物信息學(xué)中，可從海量基因組數(shù)據(jù)中提取有用信息；在醫(yī)療診斷方面，可用來提高疾病診斷的準(zhǔn)確度。

（延伸閱讀作者：西華師范大學(xué)數(shù)學(xué)與信息學(xué)院 李斌斌博士）

責(zé)任編輯：張鵬輝