引言
本文摘錄《Deep Learning深度學習基礎》一書第六章的要點。內文摘錄
第六章 嵌入和表達方式的學習
卷積架構可減少模型中參數的數量，協助我們擺脫維度的詛咒，而且並不會降低模型的表達能力。雖然如此，但卷積網路還是需要大量已標記過答案的訓練資料。對於許多問題來說，標記過答案的資料往往不是很稀有，就是很昂貴。
假設我們很缺乏已標記過答案的資料，但未標記過答案的資料卻很豐富，本章的目標就是希望針對這種情況，發展出有效的學習模型。
我們會學習如何以無監督的方式，取得資料相應的「嵌入(embedding)」–也就是資料的另一種低維表達方式(representation)。
由於這種無監督式模型可讓我們擺脫自動選擇特徵的繁重工作，因此只需要運用較小的模型，而且只需要較少的資料，就可以透過所生成的嵌入結果來解決學習問題。
一開始我們先考慮這樣的狀況：假設所有重要的訊息，全都已經包含在原始的輸入向量之中。在這樣的狀況下，學習嵌入這件事，其實就相當於要學習開發出一種有效的壓縮演算法。
沒有留言:
張貼留言