【個人的メモ】深層学習の基礎

加算器を作成する

重みは入力の重要性、バイアスは活性化関数のシフト、活性化関数は発火の特徴
パーセプトロンはステップ関数(デジタル)、ニューラルネットワークはシグモイド関数(アナログ)
活性化関数は大きな入力に対し、大きな値を返す
線形の活性化関数は何層でも単一の線形関数で置換でき、多層の利点を活かせない
線形のAND・OR・NANDから非線形のXORを作成できるのは、非線形の活性化関数を使用したため