目錄

創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括渦陽網(wǎng)站建設(shè)、渦陽網(wǎng)站制作、渦陽網(wǎng)頁制作以及渦陽網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，渦陽網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到渦陽省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

習(xí)題6-3 當(dāng)使用公式(6.50)作為循環(huán)神經(jīng)網(wǎng)絡(luò)得狀態(tài)更新公式時(shí)，分析其可能存在梯度爆炸的原因并給出解決辦法.

習(xí)題6-4推導(dǎo)LSTM 網(wǎng)絡(luò)中參數(shù)的梯度,并分析其避免梯度消失的效果.

習(xí)題6-5推導(dǎo)GRU網(wǎng)絡(luò)中參數(shù)的梯度,并分析其避免梯度消失的效果. (選做)?

附加題6-1P:什么時(shí)候應(yīng)該用GRU?什么時(shí)候用LSTM?(選做)?

附加題 6-2P LSTM BP推導(dǎo)，并用Numpy實(shí)現(xiàn)

---

習(xí)題6-3 當(dāng)使用公式(6.50)作為循環(huán)神經(jīng)網(wǎng)絡(luò)得狀態(tài)更新公式時(shí)，分析其可能存在梯度爆炸的原因并給出解決辦法.

梯度爆炸問題產(chǎn)生的原因是由于公式作為函數(shù)在第k時(shí)刻的輸入時(shí)，計(jì)算誤差項(xiàng)，梯度可能會過大，從而導(dǎo)致梯度爆炸，可以通過使用LSTM網(wǎng)絡(luò)來增加門控機(jī)制，以此來解決該問題。

習(xí)題6-4推導(dǎo)LSTM 網(wǎng)絡(luò)中參數(shù)的梯度,并分析其避免梯度消失的效果.

習(xí)題6-5推導(dǎo)GRU網(wǎng)絡(luò)中參數(shù)的梯度,并分析其避免梯度消失的效果. (選做)?

附加題6-1P:什么時(shí)候應(yīng)該用GRU?什么時(shí)候用LSTM?(選做)?

相較于LSTM，?由于 GRU 參數(shù)更少，收斂速度更快，因此花費(fèi)時(shí)間要少很多。 而LSTM則更加靈活，因?yàn)樗哂腥齻€(gè)門控。但實(shí)際上，二者之間的表現(xiàn)差距往往并不大，遠(yuǎn)沒有調(diào)參所帶來的效果明顯，二者之間的選擇要根據(jù)具體的任務(wù)和數(shù)據(jù)集而定。

附加題 6-2P LSTM BP推導(dǎo)，并用Numpy實(shí)現(xiàn)

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

標(biāo)題名稱：NNDL作業(yè)10第六章課后題（LSTM|GRU）-創(chuàng)新互聯(lián)
分享路徑：http://m.newbst.com/article4/dcejoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、Google、域名注冊、網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)