ディープニューラルネットワークとその課題

ディープニューラルネットワーク

ニューラルネットワークに置いて、隠れ層を多段に導入するとより複雑な認識を行うことができるようになると共に、認識率も向上することが期待されます。
隠れ層を複数導入したニューラルネットワークのことをここではディープニューラルネットワーク(DNN)と呼ぶことにします。

前節では隠れ層を多数含むニューラルネットワークにおける誤差逆伝搬法を定義しました。

しかし、多段になると、パラメータをランダム値から出発した場合、誤差逆伝搬法は機能しません。

その理由は修正値が合成関数の積で書かれ、各関数の絶対値が一般に1より小さいため、入力層の修正値を求める頃には大変小さな修正値しか与えないためです。(収束に時間がかかるということ)
そのため、何らかの方法でパラメータの初期値を推定するか、収束を早める方法を導入する必要があります。