大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
來源：程序員客棧
時間：2023-05-01 11:48:00
Datawhale干貨
(資料圖)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡下的涌現(xiàn)現(xiàn)象在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質，這些能力和性質在小規(guī)模神經(jīng)網(wǎng)絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經(jīng)網(wǎng)絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf-
大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了一點兒時間看了兩篇文章：《Emergent
-
北京拉丁舞比賽_北京拉丁舞_世界百事通
北京拉丁舞比賽，北京拉丁舞這個很多人還不知道,現(xiàn)在讓我們一起來看看吧！1、估計希望不是很大。2、兩年舞
-
優(yōu)しい彗星 by YOASOBI
本專欄僅供學習和作為交流資料使用今、靜かな夜の中で無計畫に車を走らせた左隣、あなたの橫顔を月が照らし
-
【天天播資訊】炸裂！50分！歷史第1人！湖勇大戰(zhàn)要來了??！
炸裂！50分！歷史第1人！湖勇大戰(zhàn)要來了?。?庫里,科比,盧尼,湖勇,勇士隊,nba歷史
-
電流信號分配器一進二出能分兩次嗎_電流信號分配器
1、，硬件組態(tài)和量程卡都設定為四線制傳感器，將24v電源的正端接傳感器的正端，傳感器的負端接模板的正端，
-
什么樣的家庭出學霸？大數(shù)據(jù)研究顛覆你的常識-全球播報
文丨難得君作為家長也好，老師也好，通常我們會被很多慣有的常識所誤導?？茖W家們的研究已經(jīng)證實，過去的很
-
大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了一點兒時間看了兩篇文章：《Emergent
-
巴基斯坦公民搭中國軍艦撤離 巴外交部：感謝
當?shù)貢r間4月29日上午，中國海軍微山湖艦撤離的第二批中方在蘇丹人員及部分外籍人士安全抵達沙特吉達港。本
-
歐洲議員：歐洲想做美附庸還是對華保持獨立關系-當前焦點
歐洲議會中常批評美國霸權、希望歐洲改變對華敵意的愛爾蘭籍議員克萊爾·戴利28日在推特上發(fā)布了一條她于19
-
中央宣傳部、全國總工會聯(lián)合發(fā)布2023年“最美職工”先進事跡 世界短訊
2023年“最美職工”在發(fā)布儀式上合影留念（4月21日攝）。新華社發(fā)（王鑫攝）新華社北京4月30日電為深入學習
-
理想汽車(02015)：4月交付量為25681輛 同比增長516.3%
2023年4月，理想汽車(02015)共交付新車25,681輛，再次創(chuàng)下理想汽車單月交付的新紀錄并連
-
蘭若寺在哪_湖北黃袍山蘭若寺 當前速訊
1、若寺在湖北黃袍山。2、黃袍山蘭若寺，位于湖北咸寧市通城縣棠湖鎮(zhèn)黃袍山王虎村高山湖西南，始建于漢代(
-
北京拉丁舞比賽_北京拉丁舞_世界百事通
北京拉丁舞比賽，北京拉丁舞這個很多人還不知道,現(xiàn)在讓我們一起來看看吧！1、估計希望不是很大。2、兩年舞
-
欠錢不還法院怎么判的
欠錢不還法院會判決債務人還款，如果債務人拒絕履行判決的，債權人可以申請強制執(zhí)行。欠錢不還的起訴流程是
-
環(huán)球觀熱點：“五一”組圖丨最美“工作寫真”！致敬項目建設一線勞動者
湖南湘江新區(qū)湘陰片區(qū)金龍先導區(qū)首開區(qū)湘江智造中心施工現(xiàn)場。紅網(wǎng)時刻新聞5月1日訊（記者王娟娟）穿行在湖
-
優(yōu)しい彗星 by YOASOBI
本專欄僅供學習和作為交流資料使用今、靜かな夜の中で無計畫に車を走らせた左隣、あなたの橫顔を月が照らし
-
世界快訊:如何防控盛裝過化工物料的廢棄設備切割拆除時的安全風險?附案例分享
一、切割、拆除廢棄設備風險分析1、動火作業(yè)的風險殘留著易燃易爆物質的設備、管道、儲罐、鋼瓶等，在進行
-
土俄烏三方官員 商討延長運糧協(xié)議問題
據(jù)塔斯社報道，土耳其國防部長阿卡爾4月30號在接受土耳其新聞電視臺采訪時表示，俄羅斯、烏克蘭和土耳其的
-
天天熱點評！“五一”假日第二天 上海接待游客442.33萬人次
昨天（4月30日）是 "五一 "假日第二天，申城迎來晴好天氣，熱門景點、購物商圈人氣持續(xù)火爆。根據(jù)上海旅游
-
環(huán)球今日報丨5月1日全國鐵路預計發(fā)送旅客1600萬人次
國鐵集團今天（5月1日）發(fā)布的數(shù)據(jù)顯示，今天全國鐵路預計發(fā)送旅客1600萬人次，較昨天略有回落。昨天，全國
-
逾12年來首次 伊朗總統(tǒng)將訪問敘利亞 當前獨家
據(jù)伊朗官方媒體當?shù)貢r間4月30號報道，應敘利亞總統(tǒng)巴沙爾·阿薩德邀請，伊朗總統(tǒng)易卜拉欣·萊希定于5月3號
-
"五五購物節(jié)"發(fā)力新客群 "二次元"引爆消費潮|每日精選
今年的購物節(jié)發(fā)力新客群，提供新供給，做足外來消費增量，打響最新最潮名片。五一假期，來自全國各地的二次
-
最新資訊：老慣例！亞馬爾接受隊內大哥們拍頭歡迎，加維還跳起來拍
西甲4-0擊敗貝蒂斯，本場比賽巴薩年僅15歲的小將亞馬爾完成職業(yè)生涯首秀。今日，巴薩官方曬出了一段視頻，
-
【天天播資訊】炸裂！50分！歷史第1人！湖勇大戰(zhàn)要來了??！
炸裂！50分！歷史第1人！湖勇大戰(zhàn)要來了??！,庫里,科比,盧尼,湖勇,勇士隊,nba歷史
-
4年累虧近12億元，靠AI大火的思派健康（00314）何時能摘掉虧損的帽子？_快播
3月份，ChatGPT橫空出世。在ChatGPT更新迭代下，“AI+”成了市場最強主線。剛上市不久的
-
什么牌子指針式萬用表好_什么牌子指針萬用表好
1、三和，凱仕，寶工，國產目前也就MF47（一般在南京生產），MF500型（上海四表），勝利有款指針表也還行。
-
上海熟悉的這一幕又來了!隔著屏幕都覺得刺激...-焦點熱聞
每每一到假期，各類景點自然都是人從眾！其中阿拉上海人不得不說的就是——外灘！這不 熟悉又刺激的一幕
-
環(huán)球今日報丨多地景區(qū)最高承載量爆表 旅行體驗感誰來給？
這個 "五一 "假期似乎沒有小眾景點，不但熱門城市一票難求，中長線游、鄉(xiāng)村游等旅游方式熱度也火速飆升。網(wǎng)
-
中國撤僑軍艦抵達沙特 當?shù)剀娙苏f中文迎接 每日熱文
沙特媒體關注到，中國軍艦搭載第二批撤離人員抵達沙特吉達港，沙特派出會中文的軍人參與迎接。在迎接現(xiàn)場，
-
焦點！蘇丹武裝部隊宣布同意繼續(xù)?；?2小時
當?shù)貢r間4月30日晚，蘇丹武裝部隊發(fā)表聲明宣布，該部隊將從上次?；鹌诮Y束時間點開始繼續(xù)停火72小時。蘇丹
-
一場經(jīng)典攻防大戰(zhàn)！申城德比上演 海港1:1平申花 焦點快看
昨晚（4月30日），萬眾矚目的申城德比，在中超第四輪上演。上海海港隊，在主場上汽浦東足球場，迎戰(zhàn)上海申
-
文明旅游在行動：踏青賞花 請您呵護環(huán)境
游客走在桐樹下。廈門網(wǎng)訊（文 圖廈門日報記者黃懷）“五一”假期去哪玩？遠離城市的喧囂，找一處勝地踏青
-
電流信號分配器一進二出能分兩次嗎_電流信號分配器
1、，硬件組態(tài)和量程卡都設定為四線制傳感器，將24v電源的正端接傳感器的正端，傳感器的負端接模板的正端，
-
新鄉(xiāng)市振新混凝土有限公司_關于新鄉(xiāng)市振新混凝土有限公司簡介-速遞
1、新鄉(xiāng)市振新混凝土有限公司于2011年06月23日在新鄉(xiāng)市鳳泉區(qū)工商行政管理局登記成立。2、法定代表人郭平河
-
5月1日重點數(shù)據(jù)和大事件前瞻_天天觀焦點
5月1日，投資者需要關注的重點數(shù)據(jù)：澳大利亞3月投資者貸款值月率，加拿大4月儲備資產合計，美國4月M
-
鞣制工藝會給皮革帶來什么好處_到底有幾種鞣皮工藝_時訊
解答：1、鞣制是皮革生產中最關鍵的工序。2、皮革生產過程以制革為中心。3、鞣制，即通過鞣劑將生皮轉化為
熱門資訊
-
巴基斯坦公民搭中國軍艦撤離 巴外交部：感謝
當?shù)貢r間4月29日上午，中國海軍微...
-
歐洲議員：歐洲想做美附庸還是對華保持獨立關系-當前焦點
歐洲議會中常批評美國霸權、希望歐...
-
土俄烏三方官員 商討延長運糧協(xié)議問題
據(jù)塔斯社報道，土耳其國防部長阿卡...
-
天天熱點評！“五一”假日第二天 上海接待游客442.33萬人次
昨天（4月30日）是 "五一 "假日...
文章排行
圖片新聞
-
62%受訪者對新能源汽車基本了解 汽車“里程焦慮”較為突出
近日，重慶市萬州區(qū)、開州區(qū)、城口...
-
聚焦！2022年全國“綠色產品認證與標識宣傳周”正式啟動
9月26日，由市場監(jiān)管總局主辦的202...
-
昆明市體育中心足球錦標賽落幕 組委會已經(jīng)在為新賽季做準備
9月18日，全民健身·2021昆明市體...
-
中安街道種植了100畝萬壽菊 每畝產值是種植包谷的兩倍多
時下，正是萬壽菊收獲的季節(jié)。走進...
關于我們┊網(wǎng)站合作┊版權聲明┊網(wǎng)站地圖┊友情鏈接┊軟件版權舉報
京公網(wǎng)安備 35075110106號 增值電信業(yè)務經(jīng)營許可證B2-2004115 許可 粵ICP備18025786號 Copyright 1999-2018 © m.shukong365.cn All rights reserved
91資訊 版權所有
聯(lián)系我們:954 29 18 82 @qq.com