ランダムフォレスト

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

ランダムフォレスト（英: random forest, randomized trees）は、2001年にレオ・ブレイマン（英語版）によって提案された^[1]機械学習のアルゴリズムであり、分類、回帰、クラスタリングに用いられる。決定木を弱学習器とするアンサンブル学習アルゴリズムであり、この名称は、ランダムサンプリングされたトレーニングデータによって学習した多数の決定木を使用することによる。ランダムフォレストをさらに多層にしたアルゴリズムにディープ・フォレストがある。対象によっては、同じくアンサンブル学習を用いるブースティングよりも有効とされる。

アルゴリズム

学習

1. 学習を行いたい観測データから、ブートストラップ法によるランダムサンプリングにより B 組のサブサンプルを生成する
2. 各サブサンプルをトレーニングデータとし、B 本の決定木を作成する
3. 指定したノード数 ${\displaystyle n_{\mathrm {min} }}$ に達するまで、以下の方法でノードを作成する
   1. トレーニングデータの説明変数のうち、m 個をランダムに選択する
   2. 選ばれた説明変数のうち、トレーニングデータを最も良く分類するものとそのときの閾値を用いて、ノードのスプリット関数を決定する

要点は、ランダムサンプリングされたトレーニングデータとランダムに選択された説明変数を用いることにより、相関の低い決定木群を作成すること。

パラメータの推奨値

• ${\displaystyle n_{\mathrm {min} }}$: 分類の場合は1、回帰の場合は5
• m: 説明変数の総数をpとすると、分類の場合は${\displaystyle {\sqrt {p}}}$、回帰の場合は p/3

評価

最終出力は以下のように決定する

• 識別: 決定木の出力がクラスの場合はその多数決、確率分布の場合はその平均値が最大となるクラス
• 回帰: 決定木の出力の平均値

特徴

長所

• 説明変数が多数であってもうまく働く
• 学習・評価が高速
• 決定木の学習は完全に独立しており、並列に処理可能
• 説明変数の重要度（寄与度）を算出可能
• Out of Bag エラーの計算により、クロスバリデーションのような評価が可能
• AdaBoost などと比べて特定の説明変数への依存が少ないため、クエリデータの説明変数が欠損していても良い出力を与える

短所

• 説明変数のうち意味のある変数がノイズ変数よりも極端に少ない場合にはうまく働かない

実装

オープンソースによる実装

• The Original RF by Breiman and Cutler. Written in Fortran 77. May be difficult to configure.
• ALGLIB contains implementation of modified random forest algorithm in C#, C++, Pascal, VBA.
• FastRandomForest Efficient implementation in Java, utilitizes multiple cores. Integrates into the Weka environment.
• orngEnsemble module within Orange data mining software suite
• PARF Written in Fortran 90. Can distribute work over a cluster of computers using MPI.
• party an implementation of Breiman's random forests based on conditional inference trees for R
• randomForest for R
• Random Jungle is a fast implementation of for high dimensional data. (C++, parallel computing, sparse memory, Linux+Windows)
• TMVA Toolkit for Multivariate Data Analysis implements random forests.
• Waffles A C++ library of machine learning algorithms, including RF.
• Matlab version.

商業実装

• Random Forests.

外部リンク

• Random Forests classifier description (Leo Breiman と Adele Cutler による解説)
• Liaw, Andy & Wiener, Matthew "Classification and Regression by randomForest" R News (2002) Vol. 2/3 p. 18 (Discussion of the use of the random forest package for R)
• Ho, Tin Kam (2002). "A Data Complexity Analysis of Comparative Advantages of Decision Forest Constructors". Pattern Analysis and Applications 5, p. 102-112 (Comparison of bagging and random subspace method)
• Prinzie, A., Van den Poel, D. (2007). Random Multiclass Classification: Generalizing Random Forests to Random MNL and Random NB, Dexa 2007, Lecture Notes in Computer Science, 4653, 349-358. Generalizing Random Forests framework to other methods. The paper introduces Random MNL and Random NB as two generalizations of Random Forests.
• Prinzie, A., Van den Poel, D. (2008). Random Forests for multiclass classification: Random MultiNomial Logit, Expert Systems with Applications, 34(3), 1721-1732. Generalization of Random Forests to choice models like the Multinomial Logit Model (MNL): Random Multinomial Logit.
• Stochastic Discrimination and Its Implementation (Site of Eugene Kleinberg).

文献

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ