深度學(xué)習(xí)的下一站：遷移學(xué)習(xí)
當(dāng)前，人工智能的主流算法——深度學(xué)習(xí)模型在語音識(shí)別、圖像識(shí)別、信息推薦等方面已經(jīng)非常有影響，但是在醫(yī)療、教育等領(lǐng)域的應(yīng)用還存在困難。這緣于以下三個(gè)方面：
第一，在醫(yī)療、教育領(lǐng)域能夠接觸到的數(shù)據(jù)往往都是小數(shù)據(jù)，而不是大數(shù)據(jù)。比如，教育、醫(yī)療、基因檢測(cè)等的個(gè)人數(shù)據(jù)，實(shí)驗(yàn)、學(xué)生測(cè)驗(yàn)、客服問答等數(shù)據(jù)都只是小數(shù)據(jù)。只有實(shí)現(xiàn)了從大數(shù)據(jù)向小數(shù)據(jù)遷移的通用模型，才能幫助更多的領(lǐng)域用上人工智能，讓人工智能更普及。
第二，深度學(xué)習(xí)模型非常脆弱，離開現(xiàn)有場(chǎng)景或稍加移動(dòng)，其效果就會(huì)打折扣。對(duì)機(jī)器學(xué)習(xí)而言，由于訓(xùn)練數(shù)據(jù)與應(yīng)用數(shù)據(jù)有所區(qū)別，被訓(xùn)練出來的模型在應(yīng)用中就會(huì)遭遇這類可靠性問題。
第三，機(jī)器學(xué)習(xí)模型難以實(shí)現(xiàn)應(yīng)用的個(gè)性化。例如，在推薦類的信息服務(wù)上，機(jī)器學(xué)習(xí)很難適用于個(gè)人行為。如果要實(shí)現(xiàn)這一點(diǎn)，需要解決如何把云端的通用模型適配到終端小數(shù)據(jù)。
上述深度學(xué)習(xí)面對(duì)的可靠性和應(yīng)用個(gè)性化的問題，是遷移學(xué)習(xí)比較適合的事情，遷移學(xué)習(xí)原理上可幫助機(jī)器學(xué)習(xí)從云端向移動(dòng)端遷移。
深度學(xué)習(xí)的一個(gè)自然發(fā)展方向就是遷移學(xué)習(xí)。遷移學(xué)習(xí)能讓深度學(xué)習(xí)變得更加可靠，還能幫我們理解深度學(xué)習(xí)的模型。比如，我們能夠知曉哪部分特征容易遷移，這些特征所對(duì)應(yīng)的是某個(gè)領(lǐng)域比較高層、抽象的一些結(jié)構(gòu)型概念。把它們和細(xì)節(jié)區(qū)分開，就能讓我們對(duì)這個(gè)領(lǐng)域的知識(shí)表達(dá)形成一個(gè)很深的理解。這樣一來，機(jī)器學(xué)習(xí)就可以像生物的神經(jīng)系統(tǒng)一樣終身學(xué)習(xí)，不斷地對(duì)過去的知識(shí)進(jìn)行總結(jié)、歸納，讓一個(gè)系統(tǒng)越學(xué)越快，而且在學(xué)習(xí)過程中還能發(fā)現(xiàn)如何學(xué)習(xí)。
深度學(xué)習(xí)的特點(diǎn)是用非線性把原始的特征從低層轉(zhuǎn)化到高層，這個(gè)過程很復(fù)雜，其優(yōu)點(diǎn)有目共睹，但副產(chǎn)品是特征分層。恰巧，這種層次對(duì)于遷移學(xué)習(xí)是有好處的，比如，能夠?qū)w移學(xué)習(xí)的效果進(jìn)行量化。
等深度學(xué)習(xí)有了一定的發(fā)展后，遷移學(xué)習(xí)就有可能實(shí)現(xiàn)這一點(diǎn)，讓算法不再僅僅運(yùn)行指定的學(xué)習(xí)任務(wù)，而是能舉一反三，變得比以前更加通用。
而且，在不同的遷移目標(biāo)下，知識(shí)可以從一個(gè)領(lǐng)域到另一個(gè)領(lǐng)域，在不同層次遷移，并且能遷移多少是可以定量的——這在過去還停留在“能不能遷移”，現(xiàn)在已經(jīng)可以精確地知道哪些可以遷移：是一部分參數(shù)，還是一部分特征。
另外，當(dāng)幾個(gè)不同的任務(wù)一起學(xué)習(xí)時(shí)，往往會(huì)有一些驚人的發(fā)現(xiàn)，這就是多任務(wù)學(xué)習(xí)。多任務(wù)學(xué)習(xí)往往會(huì)發(fā)現(xiàn)不同的領(lǐng)域所共有的知識(shí)，往往很容易抽象出高層的知識(shí)，也就很容易用來表達(dá)不同領(lǐng)域之間的共性。所以，多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)的目標(biāo)是一致的，都是要實(shí)現(xiàn)比較穩(wěn)定的知識(shí)表達(dá)，殊途而同歸。
