【DeepLearning】パラメータの更新
Deep Learning とは何なのか・・・まったく知らない状態から挑戦してみたいと思います！ 
パラメータとは
パラメータとは「機械学習モデル内の調整可能な値」を指すようです。
この「機械学習モデル内の調整可能な値」とは学習アルゴリズムによって異なるそうです。
本学習の文脈では「ニューラルネットワーク」が学習アルゴリズムとして紹介されています。
ニューラルネットワークにおけるパラメータは「重み」と「バイアス」になります。
他のアルゴリズムに「サポートベクターマシン」というアルゴリズムがあります。
こちらはカーネル関数のパラメータや正則化パラメータが。
「決定木（Decision Tree）」では、ノードの分割基準や木の深さなどがパラメータになるようです。
パラメータの更新手順
機械学習アルゴリズムでは、次の手順でパラメータを更新していきます。
- 目的関数の定義:
モデルの予測結果と正解データの差を評価する目的関数を定義します。
一般的な目的関数には、平均二乗誤差（Mean Squared Error）や交差エントロピー誤差（Cross-Entropy Error）などがあります。 - 勾配の計算:
目的関数を最小化するために各パラメータ(ニューラルネットワークでは重みとバイアス)に関する目的関数の勾配（傾き）を計算します。
勾配は、パラメータの微小な変化に対する目的関数の変化率を表します。
勾配を計算するためには、バックプロパゲーション（逆伝搬）アルゴリズムを使用します。
(バックプロパゲーションは「教師あり学習」にしか用いることができないという性質がありましたね。気を付けないといけません。) - パラメータの更新:
勾配を使用してパラメータを更新します。
一般的な更新方法には、確率的勾配降下法（Stochastic Gradient Descent）やその派生形であるミニバッチ勾配降下法（Mini-Batch Gradient Descent）があります。
更新式は以下のように表されます。新しいパラメータ = 旧パラメータ – 学習率(学習係数とも呼ばれます。) × 勾配ここで、学習率はハイパーパラメータでありパラメータの更新量を調整するために使用されます。
学習率が大きすぎると収束しない場合があり、小さすぎると収束までの学習時間が長くなる場合があります。 - 収束判定:
パラメータの更新後、目的関数の値が収束しているかどうかを確認します。
収束していない場合はステップ2と3を繰り返します。収束基準は、学習のタスクやデータによって異なります。
メジャーなパラメータの更新手法・方法論
パラメータの更新についてはいろいろな研究が行われているようです。
- 確率的勾配降下法（Stochastic Gradient Descent, SGD）:
SGDは最も基本的なパラメータの更新手法です。
各データサンプルごとに勾配を計算しパラメータを更新します。
SGDは単純で計算効率が高いですが、収束までの時間がかかる場合や、局所最適解に陥る可能性があります。 - ミニバッチ勾配降下法（Mini-Batch Gradient Descent）:
ミニバッチ勾配降下法はデータセットを小さなバッチに分割して勾配を計算しパラメータを更新します。
SGDとバッチ勾配降下法の折衷案として位置づけられます。
一般的には、バッチサイズは2から数百の範囲で設定されます。 - モーメンタム（Momentum）:
モーメンタムはSGDにおける収束速度の問題を改善するために導入された手法です。
モーメンタムは過去の勾配の平均を考慮し、パラメータの更新における勾配の影響を緩和します。
これにより、収束速度が向上し、局所最適解からの脱出が促進されます。 - AdaGrad:
AdaGradは学習率の自動調整を行う手法です。
AdaGradはパラメータごとに学習率を調整し頻繁に更新されるパラメータの学習率を小さくし、逆に更新が少ないパラメータの学習率を大きくします。
この方法により収束が速くなる場合がありますが、長期的な学習では学習率が小さすぎることが課題となる場合があります。 - Adam:
AdamはモーメンタムとAdaGradのアイデアを組み合わせた手法であり現在非常に人気のあるパラメータの更新手法です。
Adamは勾配の移動平均とその二乗平均を保持し学習率を自動的に調整します。
これにより、収束速度の向上と学習率の適応性が実現されます。 - etc…