作者：胖胖的小橘
只是想到了牛頓的小黑。
那玩意兒，怎麼看都不像是用現在這一套大語言模型的路子搞出來的。
他斟酌了一下措辭，慢慢開口。
“我沒什麼很專業的看法。”
“就是有個特別外行的問題，大家別笑我哈。”
桌上的人都笑著說不會的。
李東這才繼續說道。
“為什麼……人工智慧就一定要按照現在這種路子做呢？”
“我說的是，為什麼不能更接近人腦真正的工作方式？”
“你看，人腦大概有八百多億個神經元，每天大概就消耗二十瓦的功率。”
“但它能聽、能看、能想、能學、能在一秒鐘之內認出一張臉，還能在兩年之內學會一門語言。”
“而我們現在最先進的大模型……”
“訓練一次要燒幾千萬度電，推理一次也得調動一整個機房的卡。”
“在做某些事情的時候還不如一個三歲小孩。”
“差距在哪兒？”
“我覺得不是在算力上，是在……根本路子上。”
說實話AI這塊李東確實不太懂，所以就是吧自己的想法說出來。
桌上的人沒有一個出聲的。
他們就那樣靜靜地聽著。
李東頓了一下，繼續往下講。
“我前一陣子翻文獻的時候看到過一個方向，叫脈衝神經網路。”
“它的思路就是不用現在這種連續值的啟用函式，而是模仿人腦裡神經元放電的方式。”
“只有放和不放兩種狀態，平時不工作，只有訊號攢到一定程度才發一個脈衝。”
“理論上這種網路的能效比要比現在的ANN高几個量級。”
“還有更激進一點的，叫神經形態計算，乾脆把晶片本身就做成模擬神經元的結構。”
“IBM的TrueNorth、英特爾的Loihi，都是這條路上的嘗試。”
“我就在想……”
“是不是有一天，我們真的能造出一個不用一萬張A100，而是用一顆類腦晶片，就能完成同樣事情的東西？”
李東說完，桌上一片安靜。
倒不是說大家被震驚到了，而是……
“哦，原來你也只是個會做白日夢的小孩”
李總最先反應過來。
他臉上的笑容有點複雜，但看得出來，是真心想跟李東講點東西。
“李東啊。”
“你這個想法，其實在學術圈不算新。”
“不光不新，可以說是非常老了。”
“早在上世紀八十年代，就有人提了。”
李東點了點頭。
李總繼續說。
“但是這條路為什麼這麼多年了都沒起來？”
“因為它太難了。”
他放下杯子，兩隻手一攤。
“我們對人腦本身的瞭解，遠遠沒有外行想象的那麼多。”
“目前為止，全世界唯一一個被完整測出來的連線組。”
“是秀麗隱杆線蟲。”
“它一共就三百零二個神經元。”
“光是這三百零二個神經元的連線圖，科學家整整測了三十年。”
“果蠅的連線組前兩年才剛剛做完一部分，而一隻老鼠腦子裡大概七千萬個神經元，目前連零頭都沒測完。”
“人腦？八百億個神經元，每個神經元平均連一萬個突觸。”
“我們離把它徹底搞清楚，還差著十萬八千里。”
李總看著李東說道。
“就算我們瞭解了大腦，我們也沒法在矽基晶片上
高效地復現它。”
“人腦的神經元和我們的晶片。”
“是兩套完全不同的邏輯。”
“你硬要在GPU上模擬一個脈衝神經網路，效率比直接跑ANN還低。”
“這就是為什麼SNN吹了這麼多年，到現在主流的AI公司也沒真的allin的原因。”
“它現在能做的任務規模，比ANN差得很遠。”
李總嘆了口氣繼續說道。
“還有，我們沒有成熟的訓練方法。”
“ANN為什麼這十年突飛猛進？因為我們有反向傳播。”
“反向傳播這個東西在數學上是很高效的。”
“但人腦裡有反向傳播嗎？沒有。”
“那SNN要怎麼訓練？目前學術界還沒有一個公認的、和反向傳播一樣好用的方法。”
“很多團隊在試，但都還沒試出來。”
李總把手放下，端起杯子。
“所以李東啊。”
“你這個方向，理論上當然是對的。”
“長遠來看，類腦計算很可能就是未來。”
“但是……”
他還是強調了一下。
“在可見的五年、十年之內，能落地、能賺錢、能讓中國的AI追上世界第一梯隊的，只能是現在這條transformer的大模型路子。”
“不是因為它最好。”
“是因為它最現實。”
李總說完，桌上的幾個人都紛紛點頭。
顯然這是行業內已經形成的共識。
李東沒說話。
但心裡有一個聲音，在很堅定地反駁。
不可能？
我親眼“見過”有人做出來啊。
那就是牛頓的“小黑”。
既然有人能在那個時代、把它做出來。
那就說明，這條路是走得通的。
至於眼前這些困難……
對大腦的理解也好，硬體的底層邏輯也好，訓練方法也好……
一步一步克服就是了。
第217章 我確實有興趣
閉門會結束後。
李東回到學校的時候已經快十一點了。
寢室裡只有他一個人，他洗了個澡。
今天晚上那些人講的話，還在他腦子裡轉著。
理論上對，但是不可能。
人腦太複雜，我們看不清。
矽基晶片做不出模擬神經元的效率。
……
李東託著下巴。
確實，這些都是實打實的困難。
不是他憑著一句“我相信”就能跨過去的。
但是……
他又想起了小黑。
想起牛頓在群裡發過的那句話。
“我照著人的腦子來造的。”
牛爵爺好像根本沒在意什麼“反向傳播”。
他甚至連“神經網路”這四個字都沒聽過。
他只是憑著自己對世界的直覺，再加上七千多張解剖圖，硬生生地把它搭出來了。
“中間肯定少了什麼我不知道的東西！”
李東搖了搖頭，也不去想直接問多好呀。
他開啟手機。
【大學科研中】：@艾薩克·牛頓，爵士，在嗎？
發出去之後，他盯著螢幕看了大概兩分鐘。
群裡沒有任何反應。
李東嘆了口氣，把手機扣在桌上。
“算了。”
“先把手頭上的事做完吧。”
他低頭看了看桌上那一遝寫滿了符號的草稿紙……
……
接下來的幾天，李東的生活基本上就是寢室、研討室、食堂三點一線。
學校已經放假了，整個燕園都安靜得有點不真實。
研討室裡只有三個人。
上一篇：我家艺人太没上进心了
下一篇：返回列表