包含激活函數python實現的詞條

原來ReLU這么好用！一文帶你深度了解ReLU激活函數！

在神經網絡中，激活函數負責將來自節點的加權輸入轉換為該輸入的節點或輸出的激活。ReLU 是一個分段線性函數，如果輸入為正，它將直接輸出，否則，它將輸出為零。它已經成為許多類型神經網絡的默認激活函數，因為使用它的模型更容易訓練，并且通常能夠獲得更好的性能。在本文中，我們來詳細介紹一下ReLU，主要分成以下幾個部分：

創新互聯專注于企業成都全網營銷、網站重做改版、昆都侖網站定制設計、自適應品牌網站建設、H5網站設計、成都商城網站開發、集團公司官網建設、成都外貿網站建設、高端網站制作、響應式網頁設計等建站業務，價格優惠性價比高，為昆都侖等各大城市提供網站開發制作服務。

1、Sigmoid 和 Tanh 激活函數的局限性

2、ReLU（Rectified Linear Activation Function）

3、如何實現ReLU

4、ReLU的優點

5、使用ReLU的技巧

一個神經網絡由層節點組成，并學習將輸入的樣本映射到輸出。對于給定的節點，將輸入乘以節點中的權重，并將其相加。此值稱為節點的summed activation。然后，經過求和的激活通過一個激活函數轉換并定義特定的輸出或節點的“activation”。

最簡單的激活函數被稱為線性激活，其中根本沒有應用任何轉換。一個僅由線性激活函數組成的網絡很容易訓練，但不能學習復雜的映射函數。線性激活函數仍然用于預測一個數量的網絡的輸出層(例如回歸問題)。

非線性激活函數是更好的，因為它們允許節點在數據中學習更復雜的結構。兩個廣泛使用的非線性激活函數是 sigmoid 函數和雙曲正切激活函數。

Sigmoid 激活函數，也被稱為 Logistic函數神經網絡，傳統上是一個非常受歡迎的神經網絡激活函數。函數的輸入被轉換成介于0.0和1.0之間的值。大于1.0的輸入被轉換為值1.0，同樣，小于0.0的值被折斷為0.0。所有可能的輸入函數的形狀都是從0到0.5到1.0的 s 形。在很長一段時間里，直到20世紀90年代早期，這是神經網絡的默認激活方式。

雙曲正切函數，簡稱 tanh，是一個形狀類似的非線性激活函數，輸出值介于-1.0和1.0之間。在20世紀90年代后期和21世紀初期，由于使用 tanh 函數的模型更容易訓練，而且往往具有更好的預測性能，因此 tanh 函數比 Sigmoid激活函數更受青睞。

Sigmoid和 tanh 函數的一個普遍問題是它們值域飽和了。這意味著，大值突然變為1.0，小值突然變為 -1或0。此外，函數只對其輸入中間點周圍的變化非常敏感。

無論作為輸入的節點所提供的求和激活是否包含有用信息，函數的靈敏度和飽和度都是有限的。一旦達到飽和狀態，學習算法就需要不斷調整權值以提高模型的性能。

最后，隨著硬件能力的提高，通過 gpu 的非常深的神經網絡使用Sigmoid 和 tanh 激活函數不容易訓練。在大型網絡深層使用這些非線性激活函數不能接收有用的梯度信息。錯誤通過網絡傳播回來，并用于更新權重。每增加一層，錯誤數量就會大大減少。這就是所謂的消失梯度問題，它能有效地阻止深層(多層)網絡的學習。

雖然非線性激活函數的使用允許神經網絡學習復雜的映射函數，但它們有效地阻止了學習算法與深度網絡的工作。在2000年代后期和2010年代初期，通過使用諸如波爾茲曼機器和分層訓練或無監督的預訓練等替代網絡類型，這才找到了解決辦法。

為了訓練深層神經網絡，需要一個激活函數神經網絡，它看起來和行為都像一個線性函數，但實際上是一個非線性函數，允許學習數據中的復雜關系。該函數還必須提供更靈敏的激活和輸入，避免飽和。

因此，ReLU出現了，采用 ReLU 可以是深度學習革命中為數不多的里程碑之一。ReLU激活函數是一個簡單的計算，如果輸入大于0，直接返回作為輸入提供的值；如果輸入是0或更小，返回值0。

我們可以用一個簡單的 if-statement 來描述這個問題，如下所示:

對于大于零的值，這個函數是線性的，這意味著當使用反向傳播訓練神經網絡時，它具有很多線性激活函數的理想特性。然而，它是一個非線性函數，因為負值總是作為零輸出。由于矯正函數在輸入域的一半是線性的，另一半是非線性的，所以它被稱為分段線性函數（piecewise linear function ）。

我們可以很容易地在 Python 中實現ReLU激活函數。

我們希望任何正值都能不變地返回，而0.0或負值的輸入值將作為0.0返回。

下面是一些修正的線性激活函數的輸入和輸出的例子：

輸出如下：

我們可以通過繪制一系列的輸入和計算出的輸出，得到函數的輸入和輸出之間的關系。下面的示例生成一系列從 -10到10的整數，并計算每個輸入的校正線性激活，然后繪制結果。

運行這個例子會創建一個圖，顯示所有負值和零輸入都突變為0.0，而正輸出則返回原樣：

ReLU函數的導數是斜率。負值的斜率為0.0，正值的斜率為1.0。

傳統上，神經網絡領域已經不能是任何不完全可微的激活函數，而ReLU是一個分段函數。從技術上講，當輸入為0.0時，我們不能計算ReLU的導數，但是，我們可以假設它為0。

tanh 和 sigmoid 激活函數需要使用指數計算，而ReLU只需要max()，因此他計算上更簡單，計算成本也更低。

ReLU的一個重要好處是，它能夠輸出一個真正的零值。這與 tanh 和 sigmoid 激活函數不同，后者學習近似于零輸出，例如一個非常接近于零的值，但不是真正的零值。這意味著負輸入可以輸出真零值，允許神經網絡中的隱層激活包含一個或多個真零值。這就是所謂的稀疏表示，是一個理想的性質，在表示學習，因為它可以加速學習和簡化模型。

ReLU看起來更像一個線性函數，一般來說，當神經網絡的行為是線性或接近線性時，它更容易優化。

這個特性的關鍵在于，使用這個激活函數進行訓練的網絡幾乎完全避免了梯度消失的問題，因為梯度仍然與節點激活成正比。

ReLU的出現使得利用硬件的提升和使用反向傳播成功訓練具有非線性激活函數的深層多層網絡成為可能。

很長一段時間，默認的激活方式是Sigmoid激活函數。后來，Tanh成了激活函數。對于現代的深度學習神經網絡，默認的激活函數是ReLU激活函數。

ReLU 可以用于大多數類型的神經網絡，它通常作為多層感知機神經網絡和卷積神經網絡的激活函數，并且也得到了許多論文的證實。傳統上，LSTMs 使用 tanh 激活函數來激活cell狀態，使用 Sigmoid激活函數作為node輸出。而ReLU通常不適合RNN類型網絡的使用。

偏置是節點上具有固定值的輸入，這種偏置會影響激活函數的偏移，傳統的做法是將偏置輸入值設置為1.0。當在網絡中使用 ReLU 時，可以將偏差設置為一個小值，例如0.1 。

在訓練神經網絡之前，網絡的權值必須初始化為小的隨機值。當在網絡中使用 ReLU 并將權重初始化為以零為中心的小型隨機值時，默認情況下，網絡中一半的單元將輸出零值。有許多啟發式方法來初始化神經網絡的權值，但是沒有最佳權值初始化方案。何愷明的文章指出Xavier 初始化和其他方案不適合于 ReLU ，對 Xavier 初始化進行一個小的修改，使其適合于 ReLU，提出He Weight Initialization，這個方法更適用于ReLU 。

在使用神經網絡之前對輸入數據進行縮放是一個很好的做法。這可能涉及標準化變量，使其具有零均值和單位方差，或者將每個值歸一化為0到1。如果不對許多問題進行數據縮放，神經網絡的權重可能會增大，從而使網絡不穩定并增加泛化誤差。無論是否在網絡中使用 ReLU，這種縮放輸入的良好實踐都適用。

ReLU 的輸出在正域上是無界的。這意味著在某些情況下，輸出可以繼續增長。因此，使用某種形式的權重正則化可能是一個比較好的方法，比如 l1或 l2向量范數。這對于提高模型的稀疏表示(例如使用 l 1正則化)和降低泛化誤差都是一個很好的方法。

BP神經網絡——Python簡單實現三層神經網絡（Numpy）

我們將在Python中創建一個NeuralNetwork類，以訓練神經元以給出準確的預測。該課程還將具有其他幫助程序功能。

1. 應用Sigmoid函數

我們將使用 Sigmoid函數（它繪制一條“ S”形曲線）作為神經網絡的激活函數。

2. 訓練模型

這是我們將教神經網絡做出準確預測的階段。每個輸入將具有權重（正或負）。

這意味著具有大量正權重或大量負權重的輸入將對結果輸出產生更大的影響。

我們最初是將每個權重分配給一個隨機數。

本文參考翻譯于此網站 —— 原文

《Python神經網絡》2——神經元

雖然計算機擁有相對大量的電子計算元件、巨大的存儲空間，并且這些計算機的運行頻率比肉蓬蓬、軟綿綿的生物大腦要快得多，但是即使是像鴿子一樣小的大腦，其能力也遠遠大于這些電子計算機。

傳統的計算機按照嚴格的串行順序，相當準確具體地處理數據。對于這些冰冷堅硬的計算機而言，不存在模糊性和不確定性。而另一方面，動物的大腦表面上看起來以慢得多的節奏運行，卻似乎以并行方式處理信號，模糊性是其計算的一種特征。

雖然神經元有各種形式，但是所有的神經元都是將電信號從一端傳輸到另一端，沿著軸突，將電信號從樹突傳到樹突。然后，這些信號從?一個神經元傳遞到另一個神經元。

我們需要多少神經元才能執行相對復雜的有趣任務呢？

一般來說，能力非常強的人類大腦有大約1000億個神經元！一只果蠅有約10萬個神經元，能夠飛翔、覓食、躲避危險、尋找食物以及執行許多相當復雜的任務。? 10萬個神經元，這個數字恰好落在了現代計算機試圖復制的范圍內。? ? 一只線蟲僅僅具有302個神經元，與今天的數字計算資源相比，簡直就是微乎其微！但是一直線蟲能夠完成一些相當有用的任務，而這些任務對于尺寸大得多的傳統計算機程序而言卻難以完成。

激活函數：

階躍函數，S函數。

分享文章：包含激活函數python實現的詞條
本文路徑：http://m.newbst.com/article10/hjhego.html

成都網站建設公司_創新互聯，為您提供虛擬主機、自適應網站、網站策劃、搜索引擎優化、App設計、網站建設