Q：
人工のリカレントニューラルネットワークのトレーニングが難しいことが多いのはなぜですか？
A：人工リカレントニューラルネットワークのトレーニングの難しさは、その複雑さに関係しています。
リカレントニューラルネットワークのトレーニングが難しい理由を説明する最も簡単な方法の1つは、フィードフォワードニューラルネットワークではないということです。
フィードフォワードニューラルネットワークでは、信号は一方向にのみ移動します。 信号は、入力層からさまざまな隠れ層に移動し、システムの出力層に進みます。
対照的に、リカレントニューラルネットワークおよび他の異なるタイプのニューラルネットワークには、より複雑な信号の動きがあります。 「フィードバック」ネットワークとして分類されるリカレントニューラルネットワークは、信号を前後に移動させることができ、数値または値がネットワークにフィードバックされるネットワークにさまざまな「ループ」を含めることができます。 専門家はこれを、記憶に関連するリカレントニューラルネットワークの側面と関連付けます。
さらに、リカレントニューラルネットワークに影響を与える別のタイプの複雑さがあります。 この優れた例の1つは、自然言語処理の分野です。
洗練された自然言語処理では、ニューラルネットワークは物事を記憶できる必要があります。 コンテキストの入力も必要です。 他の単語の文内の単語を分析または予測するプログラムがあるとします。 たとえば、システムが評価する5ワードの固定長がある場合があります。 つまり、これらの単語のコンテキストを「記憶」またはトレーニングする機能とともに、ニューラルネットワークにはこれらの各単語の入力が必要です。 これらおよびその他の同様の理由により、リカレントニューラルネットワークには通常、システムにこれらの小さな隠れたループとフィードバックがあります。
専門家は、これらの合併症によりネットワークのトレーニングが困難になると嘆きます。 これを説明する最も一般的な方法の1つは、勾配の爆発と消失の問題を引用することです。 基本的に、ネットワークの重みにより、多数のパスで値が爆発または消失することになります。
ニューラルネットワークのパイオニアであるGeoff Hintonは、ウェブ上でこの現象を説明します。逆方向の線形パスにより、小さなウェイトは指数関数的に縮小し、大きなウェイトは爆発します。
彼は続けて、この問題は、信号が大きくなったり減衰したりする長いシーケンスとより多くの時間ステップで悪化します。 重みの初期化が役立つ場合がありますが、これらの課題はリカレントニューラルネットワークモデルに組み込まれています。 その問題は、特定のデザインとビルドに常に付随します。 本質的に、より複雑なタイプのニューラルネットワークのいくつかは、それらを簡単に管理する能力を実際に無視しています。 実質的に無限の複雑さを作り出すことはできますが、予測可能性とスケーラビリティの課題が大きくなることがよくあります。
