【DeepLeaning】ニューラルネットワークの学習におけるハイパーパラメータとは？自動決定される重みやバイアスとの違いについて
Deep Learning とは何なのか・・・まったく知らない状態から挑戦してみたいと思います！ 
ニューラルネットワークの学習
ニューラルネットワークにおける学習とは、ネットワークが入力データを受け取り出力を生成する際のパラメータ（重みやバイアス）を調整することを指します。
具体的には、訓練データを用いてニューラルネットワークの出力と正解の出力との誤差を最小化するようにパラメータを調整することで
ネットワークが与えられたタスクを遂行できるようになります。
この調整には、誤差逆伝播法と呼ばれるアルゴリズムが一般的に使用されます。
学習の結果、ニューラルネットワークは入力に対してより適切な出力を生成するようになり未知の入力に対しても正しい出力を予測できるようになります。
学習は全自動？
人間がニューラルネットワークの学習に介在することは一般的には必要です。
具体的には、以下のような作業が必要です。
- データセットの収集や前処理:
ニューラルネットワークの学習に適したデータセットを収集し、適切に前処理する必要があります。
これには、データのクリーニング、正規化、変換などが含まれます。 - ハイパーパラメータの設定:
ニューラルネットワークのモデルにおけるハイパーパラメータの設定は、性能に大きな影響を与えます。
これらのパラメータの最適値を見つけるためには、人間の手動によるチューニングが必要です。 - モデルの選択や構築:
ニューラルネットワークのアーキテクチャの選択や構築は問題に応じて異なります。
モデルの構築には、深層学習の知識や経験が必要です。 - モデルの評価と改善:
学習が進んでいるときにモデルの評価と改善を行うことが必要です。
このためには、正しい評価指標を設定し学習の進捗を監視することが必要です。
以上のように、人間が介在することで、ニューラルネットワークの学習を効果的に進めることができます。
しかし、深層学習の分野では自動化されたハイパーパラメータ最適化やモデルの構築・評価までを行うような手法やツールも開発されており、
人間の介在が必要な部分も減ってきています。
また、ニューラルネットワークの学習が完全に自律的に行われるようになる可能性もあります。
例えば、強化学習において、エージェントが自己学習を通じて最適な行動を学ぶことができるようになっています。
しかし、まだ完全に自律的な学習に至っているわけではなく人間が介在することが多いといえます。
ハイパーパラメータ
ハイパーパラメータとは、ニューラルネットワークの学習において人間が設定するパラメータのことを指します。
ハイパーパラメータは、モデル自体のパラメータ（重みやバイアス）とは異なり、モデルの構造や学習のプロセスを調整するために用いられます。
例えば、ニューラルネットワークの隠れ層の数やユニットの数・学習率・バッチサイズなどがハイパーパラメータにあたります。
ハイパーパラメータの値は、人間が手動で設定する必要があります。
これらの値を適切に設定することで、モデルの学習が収束しやすくなったり、性能が向上する可能性があります。
しかし、ハイパーパラメータの最適値を見つけることは簡単な作業ではありません。
適切な値を設定するためには多くの試行錯誤が必要となります。
近年では、自動的に最適なハイパーパラメータを探索する手法も開発されており、
人間の手動によるチューニングを不要にする取り組みが進められています。
なぜハイパーと名付けられたのか？
「ハイパーパラメータ」という用語で使用されている「ハイパー（hyper）」という言葉は、「上位の、超えた、あまりにも多い、過剰な」といった意味を持ちます。
つまり、「ハイパーパラメータ」とはニューラルネットワークのモデル自体ではなく学習プロセスの調整に関わる数値パラメータであり
モデルの性能に直接影響を与える「上位の」パラメータであることを表しています。
また、「ハイパーパラメータ」という用語は、従来のパラメータである重みやバイアスと区別するために使われることもあります。
学習可能なパラメータ(重みやバイアスのこと)とは異なり、ハイパーパラメータは人間が設定する必要がありモデルの学習によって自動的に決定されるわけではありません。
そのためハイパーパラメータはパラメータの中でも特に重要である意味で「超えた（hyper）」パラメータであると考えられています。
ニューラルネットワークの学習によって自動で決まること
ニューラルネットワークの学習において、重みやバイアスは学習によって自動的に決定されます。
これらのパラメータは、モデルの学習に伴って更新され最適な値を探索します。
このプロセスは、損失関数を最小化するように行われます。
損失関数は、モデルの予測値と正解値の誤差を測定するための関数であり学習プロセスの中心的な役割を担っています。
損失関数が小さくなるように重みやバイアスを更新することでモデルの予測が正確になるように最適化されます。