作者：胖胖的小橘
華軒：？？？
或者說……
這小子心裡裝的東西，比錢大得多。
李總沉默了大概兩秒鐘。
然後擺了擺手，笑著說道。
“行，不勉強你。”
“我就是惜才。”
“以後你要是改主意了，隨時給我打電話。”
高穩這個時候才慢悠悠地插了一句。
“行了李總，你也別老盯著我們家這棵苗子。”
“田鋼院士那邊可看著呢，你再這麼挖下去，老田明天就得給我打電話。”
李總立馬“哎喲”一聲，做出一個誇張的告饒手勢。
“不敢不敢，田院士的人，我哪敢動。”
三個人相視一笑。
桌上的氣氛一下子就緩和下來了。
……
六點半的時候，晚宴正式開始了。
服務員推著餐車從門口的側門進來。
宴會廳一共就兩桌，李東、高穩、李總坐在主桌。
旁邊幾個也是比較有分量的人。
包括裡雲那位副總裁，還有一個看起來像是某家做晶片的初創公司CEO的男人，也都坐在主桌上。
服務員退出去之後，話題自然而然就從最近的天氣、最近的政策，慢慢地飄到了“那玩意兒”上面。
“那玩意兒”
這是在場所有人對“GPT-3.5”心照不宣的稱呼。
最先開口的是裡雲AI那位副總裁，姓邱，叫邱明麗。
她端著酒杯，慢悠悠地說道。
“上個禮拜我們組裡專門搞了一個內部測試。”
“中文常識題、英文閱讀理解、程式碼生成、數學推理、長文字總結，五個方向，各出了二十道題。”
她嘆了口氣。
“五個方向，它都贏了。”
桌上一片沉默。
李總放下了筷子，眉頭皺著。
“贏得多嗎？”
邱明麗自嘲的笑了一聲。
“我就不說具體分數了，但差距……不小。”
“尤其是那種需要多步推理的題，我們這邊的模型基本上做到第三步就開始胡言亂語了。”
“它還能穩穩地往下推。”
“你把一道國內高考壓軸題扔給它，它就算做錯，它做錯的路子也是對的。”
“它是在認真地算錯，不是那種一看就知道在瞎編的錯。”
“這個東西，是我們目前的模型最缺的。”
那個戴眼鏡的男人放下了刀叉，慢慢地開口。
“邱總，我其實一直有個問題想請教。”
“GPT-3到GPT-3.5中間這一跳，到底關鍵是跳在哪兒的？”
“外面現在一提就是RLHF，好像那一套人類反饋就是所有答案。”
“但我總覺得沒那麼簡單。”
邱明麗笑了一下。
“你這個問題，問到點子上了。”
“RLHF這幾個字，最近被炒得有點太兇了。”
他用筷子頭在桌布上虛劃了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是程式碼。”
桌上有人愣了一下。
“程式碼？”
邱明麗點頭。
“OpenAI中間悄悄幹了一件事。”
“他們在GPT-3的底座上，又灌了一輪超大規模的程式碼預訓練，內部叫-davinci-002。”
“GitHub上能扒的高質量程式碼，加上一部分自然語言和程式碼混在一起的資料，一鍋燉進去。”
“灌完這一輪出來，模型的推理能力莫名其妙地就起來了。”
“不光是會寫程式碼了，你讓它做數學題、讓它做多步邏輯推理、讓它分析一段很長的論證，它突然就會想了。”
“業內現在把這個叫做程式碼帶出來的思維鏈。”
“程式碼這個東西是很嚴苛的，你少一個分號它就跑不了。”
“模型在海量程式碼上被反覆蹂躪過一遍之後，它對一步一步地把事情想清楚這件事，就有了一種別的語料給不了的感覺。”
邱明麗頓了一下，抿了一口酒。
“在這個底座上，再往上套指令微調、再往上套RLHF那才有了ChatGPT。”
“但你要問跳在哪兒，我也只是個人猜測，最關鍵的一跳我覺得的是在程式碼預訓練那一步。”
“RLHF真正解決的問題，是怎麼讓這個聰明但是野的模型聽人話。”
“它解決的是對齊，不是智商。”
那個戴眼鏡的男人慢慢地點頭，若有所思。
邱明麗接著補了一句。
“當然RLHF那一套也不是簡單東西。”
“我們這邊要追這一套，標註員的培訓體系從零開始搭，至少得半年到一年才能進入狀態。”
桌上一片安靜。
李總端起杯子，輕輕晃了一下。
“我補一句。”
“我們家文心這邊，其實也不是從今年才開始搞的。”
“ERNIE3.0Titan兩年前就發了，2600億引數，中文那些經典榜單上咱們也不虛GPT-3。”
“真要說單純的中文語言理解，我們底子不差。”
李東一直沒有說話，但是他聽的很認真。
李總繼續說道。
“但這次3.5一出來，我自己心裡涼了一下。”
“涼不是涼在它中文比我們好，它中文其實還沒我們好。”
“主要是……它和我們根本不是在做同一件事。”
“我們之前那一代大模型，比的是這個句子的意思你理解得準不準、你分類的對不對、你完形填空填得好不好。”
“它比的是你能不能和人自然地聊天，聊的時候順手把一道題給做了、把一段程式碼給寫了。”
“後面這件事，是另一個維度上的能力。”
“不是我們原來那一套路線自然延伸能接上的。”
“我們內部這兩個月已經在趕下一版了。”
“對外的代號你們可能過一陣子就會聽到，這次我們是對著3.5去的。”
“但我跟你們交個底。”
“第一版出來的東西，和3.5之間，差距肯定還會有。”
“而且還不是那種一個月兩個月就能抹平的差距。”
氣氛沉了一會兒，邱明麗突然看向李東。
笑著開口。
“這位小兄弟一直沒說話啊。”
“還挺面生的。”
第216章 原來你也只是個會做白日夢的小孩
李東禮貌的把筷子放了下來。
“邱總您好，我是高老師的學生，李東。”
邱明麗愣了一下。
然後就有些驚喜的說道。
“你就是李東？”
“那個降維演算法的李東？”
“我的天，你這也太年輕了吧。”
旁邊幾個原本沒對上號的，聽見“降維演算法”這四個字，也反應了過來，紛紛看向李東。
李東被這麼多雙眼睛盯著，多少有點不自在。
“邱總過獎了，我就是個大學生。”
“我就瞎搞的。”
李總在旁邊哈哈大笑。
“瞎搞？你這要是瞎搞，那我們這幫人全都白乾了。”
桌上一片善意的笑聲。
笑聲落下之後，邱明麗率先說道。
“李東啊，我特別想聽聽你的看法。”
“你看剛才咱們聊的，算力、資料……這些東西”
“那你心裡對‘怎麼追上去’這件事，有沒有什麼想法？”
說實話在座的人是真的想聽，畢竟李東演算法的去向他們不知道，不知道本身就很說明問題了。
所以他們對李東是特別的好奇的。
李東沉默了幾秒鐘。
老實講，他心裡其實並沒有什麼完整的能拿出來講的想法。
他只是……
上一篇：我家艺人太没上进心了
下一篇：返回列表