引言
本文摘錄《Deep Learning深度學習基礎》一書第八章的要點。內文摘錄
第八章 記憶強化神經網路
理論上已證明RNN架構是一種可通用的函數表達方式；更精確來說，RNN是「圖靈完備的(Turing complete)」。這也就是說，只要給定適當的連線和足夠的參數，RNN就可以學習解決任何計算方面的問題，基本上也就是任何可運用電腦演算法(或等價來說，就是圖靈機)可以解決的問題。雖然理論上可行，但實務上想要實現這種通用性卻非常困難！其中的困難，源自於這樣的一個事實–對於任何隨機問題來說，RNN所有可能的連線和參數值，構成了極其龐大的搜索空間，而梯度遞減演算法則必須這個極其龐大的空間中，針對問題尋找出適當的解決方案。
在神經科學和認知心理學中，這種短暫儲存與操作訊息的系統就叫做「運作中記憶(working memory)」，這也就是我們在本章後續討論相關研究時背後主要的靈感。
沒有留言:
張貼留言