Google利用指令微調技術增加語言模型的泛化能力

Google發展出一種稱之為指令微調(Instruction Fine-Tuning)的技術,能夠更簡單的對模型進行微調,使其具有解決一般自然語言任務的能力,研究人員使用該技術來訓練模型,並將該模型稱之為(Fine-tuned LAnguage Net)。由於和模型預訓練的計算量比起來,FLAN的指令微調階段只要少量更新,因此適合用來解決未見過的任務。

機器學習模型要生成有意義的文字,必須要具備大量的知識和抽象能力,研究人員提到,雖然現在經過訓練的語言模型,越來越能夠在擴展時,自動獲取這些知識,但是並無法將這些知識,直接應用在解決特定任務上,因此需要透過微調技術,標記資料集來訓練模型,使其適應特定任務。

不過即便是微調訓練,仍需要大量的訓練範例,並且需要針對下游任務儲存模型權重,因此實際上並不實用,尤其是對大型模型來說,研究人員提到,雖然近期在語言模型任務中,使用稱為零樣本或是少樣本提示技術,透過給定模型在訓練期間看過的句子,並且挖空部分單字,要求模型完成該語句,透過模型填入的字詞,來獲取想要的答案。

零樣本提示技術僅在特定任務表現良好,但需要仔細設計任務,才能使其看起來像模型在訓練看到的資料,在實際應用情境中,並非一種直覺的模型操作方法,研究人員還提到,就連語言模型GPT-3創建者也認為,這種提示技術,無法在自然語言推理任務中發揮良好的效能。

與零樣本提示技術不同,FLAN使用較為簡單且直覺的任務描述,像是「分類電影評論成正面或負面」或「將這句話翻譯成丹麥語」等。由於從頭創建指令資料集需要大量資源,因此研究人員改使用模板,將現有的資料集轉換成訓練用格式。

實驗證實,使用指令來訓練模型,模型不僅會越來越擅長解決在訓練期間看到的指令,整體而言也更善於遵循指令。

示波器探測執行效能最佳化的8大秘訣

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號,就此轉換為在二維平面上直觀可見光訊號,因此能夠分析電氣訊號的時域性質。

哪裡買的到省力省空間,方便攜帶的購物推車

多功能爬梯購物推車/手推車/爬梯車/推車/購物車!

?

買不起高檔茶葉,精緻包裝茶葉罐,也能撐場面!

鴻和興精密工業股份有限公司集合了製茶罐業各相關技術的專業人士,不論是在印刷上或在茶葉罐加工製造上都能夠給客戶一個專業上的技術服務與諮詢。

(全省)堆高機租賃保養一覽表

由簡易堆高機修改而成,無需現場施工,交機即可使用!

研究人員以25個基準任務評估FLAN,除了其中4個任務,其他任務表現都優於零樣本提示,且在25個任務中,有20個任務優於零樣本GPT-3,甚至比少樣本GPT-3更好。

研究人員還發現,規模對於模型可從指令微調獲益的能力影響很大,在小規模中,FLAN技術反而會降低效能,僅有在較大規模的模型,才能從訓練資料中的指令,泛化處理未曾見過的任務,研究人員解釋,這是因為太小的模型,沒有足夠的參數來執行大量任務。

FLAN模型並非第一個使用指令集訓練的模型,但FLAN是第一個大規模應用指令微調技術,並且證明可以提高泛化能力的模型。

https://www.ithome.com.tw/news/147149

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

重新改造貨櫃屋基礎設計有哪些呢

金誠貨櫃實業社能把原有貨櫃屋改裝成任何尺寸大小及多咖貨櫃合併,加裝流梯、櫃頂加蓋鐵皮屋頂、加裝鐵架等、除鏽噴漆,顏色皆依客戶指定。

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

臭氧機的滅菌效果如何?

臭氧的性質活潑,是強力的氧化劑。臭氧的標準還原電位2.07比次氯酸1.49更高,而且臭氧不會產生致癌的三鹵甲烷類消毒副產物。臭氧不會殘留,會自動回復成氧氣是優良的消毒劑,因此臭氧像是優良的工匠,工作時很有效率,離開時也不拖泥帶水,收拾的乾乾淨淨,沒有殘留副產物。