還在擔(dān)心如何為優(yōu)化器調(diào)整更好的參數(shù)嗎。

現(xiàn)在Google Brain又出了一個(gè)新的優(yōu)化器VeLO，可以直接使用，不需要手動(dòng)調(diào)整任何超級(jí)參數(shù)。

與其他人工設(shè)計(jì)的算法不同，VeLO完全基于AI，可以適應(yīng)各種任務(wù)。

有網(wǎng)友看到了優(yōu)化器進(jìn)步的曙光:

亞當(dāng)之后出現(xiàn)了很多優(yōu)化師，但都失敗了這個(gè)優(yōu)化器可能確實(shí)表現(xiàn)得更好

那么，這個(gè)基于人工智能的優(yōu)化器是如何構(gòu)建的呢。

VeLO到底是怎么建成的。

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中，優(yōu)化器是必不可少的一部分。

但是AI模型應(yīng)用廣泛，用來(lái)訓(xùn)練AI模型的優(yōu)化器還是手工設(shè)計(jì)，聽(tīng)起來(lái)有些不合理。

所以谷歌大腦的研究人員靈機(jī)一動(dòng):為什么不用AI做優(yōu)化器。

在設(shè)計(jì)上，optimizer的原理是基于元學(xué)習(xí)的思想，即從相關(guān)任務(wù)中學(xué)習(xí)經(jīng)驗(yàn)來(lái)幫助學(xué)習(xí)目標(biāo)任務(wù)。

與遷移學(xué)習(xí)相比，元學(xué)習(xí)強(qiáng)調(diào)獲取元知識(shí)，元知識(shí)是一種關(guān)于任務(wù)的一般性知識(shí)，可以推廣到更多的任務(wù)。

基于這一思路，VeLO還會(huì)吸收漸變，自動(dòng)輸出參數(shù)更新，無(wú)需任何超參數(shù)調(diào)諧，適應(yīng)各種需要優(yōu)化的任務(wù)。

在架構(gòu)上，人工智能優(yōu)化器由LSTM和超級(jí)網(wǎng)絡(luò)MLP組成。

每個(gè)LSTM負(fù)責(zé)設(shè)置多個(gè)MLP的參數(shù)，每個(gè)LSTM通過(guò)全局上下文信息相互協(xié)作。

在訓(xùn)練中，AI優(yōu)化器采用元訓(xùn)練，以參數(shù)值和梯度為輸入，輸出需要更新的參數(shù)。

經(jīng)過(guò)4000個(gè)月的TPU訓(xùn)練，結(jié)合各種優(yōu)化任務(wù)的長(zhǎng)處，VeLO終于誕生了。

效果優(yōu)于手動(dòng)調(diào)優(yōu)優(yōu)化器。

結(jié)果表明，VeLO對(duì)83個(gè)任務(wù)的加速效果超過(guò)了現(xiàn)有的一系列優(yōu)化器。

y軸是加速度與Adam的比值，x軸是任務(wù)的比例。

結(jié)果表明，VeLO不僅優(yōu)于不需要調(diào)整超參數(shù)的優(yōu)化器，甚至優(yōu)于一些仔細(xì)調(diào)整超參數(shù)的優(yōu)化器:

與經(jīng)典老大哥亞當(dāng)相比，VeLO在所有任務(wù)上的訓(xùn)練速度都更快，其中超過(guò)50%的訓(xùn)練速度比調(diào)整自己學(xué)習(xí)速度4倍以上的亞當(dāng)更快，超過(guò)14%的任務(wù)學(xué)習(xí)速度甚至快16倍。

在六種學(xué)習(xí)任務(wù)的優(yōu)化效果上，VeLO在五種任務(wù)上的績(jī)效效果與Adam相當(dāng)甚至更好:

值得一提的是，VeLO這次也部署在JAX看來(lái)谷歌真的推廣了這個(gè)新框架

巴特，有網(wǎng)友認(rèn)為訓(xùn)練VeLO需要4000 TPU月，計(jì)算成本太高:

雖然這個(gè)進(jìn)步很重要，但它甚至可以趕上GPT—3的訓(xùn)練量。

目前VeLO是開(kāi)源的，有興趣的朋友可以試試這個(gè)新的AI優(yōu)化器。

還有一點(diǎn)

前段時(shí)間，哈佛的一個(gè)博士生提出了一個(gè)有趣的想法，得到了很多人的贊同:

Kareem Carr是生物統(tǒng)計(jì)學(xué)的博士生，他的貢獻(xiàn)在生物論文中很常見(jiàn)，之前在AI論文中不多。

不知道以后會(huì)不會(huì)成為機(jī)器學(xué)習(xí)圈的新趨勢(shì)。

GitHub地址:

論文地址:

參考鏈接: