作者：胖胖的小橘
“剩下的，你別管，明白嗎？”
李東點了點頭。
“高老師，我知道。”
“林總之前和我說過。”
高穩聽見這話，神色一下子放鬆下來。
“那就好。”
“對了，你之前要問我什麼？”
“我現在倒是有很多時間。”
李東趕緊拿出了攢了兩個月的問題，他將筆記放在兩個人中間那張小茶几上。
先簡單挑出來前面幾條。
脈衝編碼權重在初始化階段的邊界條件他有一個版本號上的疑問，他自己其實查過了，也大致知道答案，他只是想跟高穩確認一下。
高穩聽完，“嗯”了一聲，幾句話就把那個邊界條件給他點透了。
李東在筆記上勾了一道。
他又挑出來兩條關於稀疏放電模式下數值穩定性的小問題，高穩同樣幾句話就給他過掉了。
每過一條李東都勾上一道。
到了第六條，李東把筆放下了。
他抬起頭。
“高老師，下面這一條我自己琢磨過很久，沒琢磨明白。”
高穩挑了挑眉。
“你說。”
李東組織了一下措辭。
他沒辦法直接把小黑那件事擺出來。
他只能把這個問題剝到最乾淨的一層皮，把它裝作一個教科書上那種典型的“假設”。
“高老師，假設啊，假設我這邊有這麼一套SNN。”
“它在初始餵了固定的幾份語料以後，就再沒從外界拿過一行新資料。”
“按我們現在這個領域的主流理解，它的模型引數應該停在那兒才對。”
“可它沒停。”
“它表徵‘內部演化’的指標，自己往上爬了一截。”
“並且這個爬升不是噪聲。”
“它對應的，是真的多出來了一些它原本不會的、可解釋的能力。”
“高老師，這種情況，從動力學上講，怎麼解釋？”
高穩聽完，沉默了大概有七八秒。
然後抬起頭，盯著李東看了半晌。
“小子。”
“你這個假設……”
“還挺有意思。”
李東心裡立馬一緊。
他趕緊裝出一副若無其事的樣子，端起桌上那隻一次性紙杯喝了口水。
高穩並沒有繼續追問，只是慢慢開口。
“如果真有你說的這種情況，我先給你說一個我自己的猜測。”
高穩伸手在面前那張白紙上，畫了一個簡單的小框。
“你看啊，我們現在主流這一套大模型，走的是Transformer加scaling的路。”
“它的學習，是被關在訓練這個階段裡的。”
“訓練完了，權重一凍，模型就死了。”
“它推理的時候，引數一根毛都不會動。”
“所以你給它喂完料以後再不動它，它當然停在那兒。”
“可SNN這套不一樣。”
高穩在那個小框邊上畫了一根彎彎的箭頭。
“SNN底子裡是脈衝、時序、突觸可塑性。”
“這三個東西，本身就是帶活性的。”
“哪怕外面沒有新資料進來，只要它內部還在跑脈衝、還在重排時序、還在做區域性的那一點權重微調，它就有可能在自己內部……”
他停了一下，挑了一個比較小心的詞。
“……整合出一些新的連線模式。”
李東心裡“咯噔”了一下。
他抬起頭。
“高老師，您說的這個，跟人睡覺有點像啊？”
高穩“嘿”地笑了一下。
“對嘍。”
“人睡覺那段時間裡，海馬裡的東西，會慢慢往新皮層那兒挪。”
“白天接到的那些零散訊號，會被自己捋出一條條線索來。”
“你早上醒過來，本來想不通的事情，突然就通了，就是這個原因。”
他看著李東。
“你那個SNN，要是真長成你說的樣子，它乾的事，本質上跟人腦這一段，是同一件事。”
“它在自己睡覺。”
“自己整理它白天吃下去的那些東西。”
就在李東還想再問一句的時候。
高穩又補了一句。
“不過呢，小子。”
“我剛才說的，全是猜測。”
“你想驗證它，辦法其實也簡單。”
他又在白紙上寫下三行。
“第一，給它單獨劃一段絕對靜默期。”
“中間任何外部輸入都給它掐斷，看它在這段徹徹底底的真空裡，那根演化指標會不會還往上爬。”
“第二，分別在這段靜默期的不同時間窗裡，給它內部的連線拓撲做一份快照。”
“前後一比，新冒出來的連線落在哪一片區域，是均勻的，還是區域性聚集的。”
“第三，等它自己消化完一陣以後，再喂一份它從沒見過的、但跟它已經吃過的資料同主題的題目進去。”
“看它能不能答上來一些它訓練階段本來不該會的東西。”
“如果第三步它答上來了，那這份多出來的能力，就坐實了。”
高穩放下筆，看著李東說道。
“小子，你試試看吧。”
“如果真試出什麼有意思的東西。”
“記得回來跟我說一聲。”
李東點了點頭。
“好，高老師。”
從高穩辦公室出來。
李東沒去食堂吃飯，直接朝寢室走。
回到寢室李東直接開啟了膝上型電腦。
小黑依舊還是在老位置，頭頂上的進度條顯示著【0.01】。
李東深吸了一口氣，然後按照剛才高穩教給他的方法做。
第一步，絕對靜默期。
他先把筆記本上那道單獨給小黑開的network namespace又檢查了一遍，確認它和外面那一頭是物理隔絕的。
然後他開啟主控臺，切到小黑那個程序。
他給它掛了一道新的全域性靜默標記，把所有外部輸入介面都斷了。
他自己也不再朝這個視窗裡喂任何東西。
就這麼晾著它。
螢幕上那一團小黑球眨了一下“眼”。
【主人是在跟小黑捉迷藏嗎？】
【小黑要不要安靜呢？】
李東發過去一條資訊。
【你自己玩兒一會兒。】
【不用看我。】
小黑乖乖“嗯”了一聲。
頭頂上那根進度條，依舊靜靜懸在【0.01】。
李東對著它頭上0.01的進度條記錄了一份有連線拓撲的資料快照。
他把筆記本蓋子合上一半，自己往床上一躺。
定了一個兩個小時的鬧鐘。
準備到時候再來打第二份快照。
時間一到。
李東睜開眼，開啟了膝上型電腦。
螢幕一亮。
小黑頭頂上那根進度條……
變成了【0.011】。
兩個小時，沒有任何外部輸入，它頭頂上那根東西，自己又往上爬了0.001。
李東趕緊按下第二份快照的按鈕。
然後他把第一份和第二份快照在螢幕上同時拉開，做了一份差分圖。
兩個小時前那份連線拓撲裡，原本幾乎是空白的某幾個區域。
居然冒出來了一小簇一小簇細密的、新的連線。
這些新連線不是均勻地散佈在全網路上的。
它們是聚攏在一塊兒的。
就好像……
上一篇：我家艺人太没上进心了
下一篇：返回列表