體育播報3月17日宣 16日月之暗面Kimi發(fā)布技術(shù)報告，對大模型十年沒有變化的核心結(jié)構(gòu)殘差連接行重新設(shè)計，使每一層能夠選擇性地關(guān)注此前各層輸出，而非統(tǒng)一求和，48B模型訓(xùn)練效率提升1.25倍，被行業(yè)解讀為提前預(yù)告了下一代模型的關(guān)鍵模塊。

月之暗面三位聯(lián)合創(chuàng)始人楊植麟、吳育昕、周昕宇帶領(lǐng)數(shù)十名研究員完成了這項研究。

論文發(fā)布后，馬斯克評價Kimi的研究令人印象深刻，前OpenAI研究科學(xué)家Andrej Karpathy表示該研究真正踐行了“Attention is All You Need”的理念，推理之父、前OpenAI研究副總裁Jerry Tworek認(rèn)為，深度學(xué)習(xí)2.0來了。（澎湃新聞）