Re: [問卦] ChatGpt為什麼開始變笨了?
※ 引述《gindisergo》之銘言
: 最近許多ChatGPT使用者發現ChatGPT變懶變笨了
: 目前OpenAI也坦承了這種狀況
: https://www.ctwant.com/article/303569
: 難道ChatGPT也學習會了躺平
: 然後就變懶了
: 有沒有AI達人來解釋一下原因?
正好半夜看到這篇無聊來回一下
GPT4能力下降大概5月多開始就有人注意到了
但你要怎麼定義能力衰退這件事而且量化他?
於是七月就有一篇論文在討論這件事
https://arxiv.org/abs/2307.09009
證明了gpt4能力隨時間下降這件事
但真正的原因除了OpenAI,沒有其他人知道
版本沒更新所以變笨更是屁話中的屁話
模型又不是人類會變老 腦子老化後會變笨
模型參數在部署的時候跟訓練時完全一模一樣
就是他媽固定在那邊了一輩子不會變
而且LLM的訓練成本高到一個幹破你娘
更不存在直接拿使用者答案onsite訓練這種事
所以大家在猜的幾個原因
1. 為了防範回答危險問題過度限制提問
2. 為了成本考量偷偷蒸餾模型換成較小參數模型
3. 用多個小模型組裝照問題分類各自回答模擬gpt4
總之OpenAI當初沒Open Source模型
背後要省成本換了啥模型也沒人知道 死無對證
LLM光query一次成本就超高
減少模型reasoning的成本也是目前主流研究方向
但像GPT4這種全面菁英級LLM
在不犧牲性能的前提下costdown根本是天方夜譚
加上現在光是開源的LLaMa就能擋很多初階應用場景了
所以懷疑到OpenAI濫竽充數也是很合理的事情
--
之前好像有看到新聞說openAI把效能調低省錢
真的變很笨 而且變得很愛鬼打牆
之前會自己寫程式,最近感覺直接貼網路上
的。
前陣子連簡單的用vba 打開其他excel
檔案都寫不出來 鬼打牆好久
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。25
Re: [閒聊] ChatGPT Plus跟一般版更新一下資訊,今天半夜OpenAI釋出了GPT-4模型了,ChatGPT plus可以搶先體驗 最大更新應該是AI可以辨識圖片了,其他的我沒有Plus所以不清楚 這是官方幾小時前的現場直播 隨後微軟也宣布他們的Bing的AI模型也跟著更新到GPT-4,剛好Edge瀏覽器今天更新可以20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦! 剛好看到這篇文章就回覆一下,這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力,我其實不贊同LeCun說的LLM是歪路,畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證), 但科學上不去驗證你沒辦法證明某些事情的。10
Re: [請益] 為什麼有人說AI會讓資工人失去工作?阿肥外商碼農阿肥啦! 我只能說當前甚至往後十幾年都很難完全取代,除非真正的AGI實現了,那取代的可能不 止資工人,而是整個人類社會了,想想看AGI都有人類智慧了,那鎖螺絲、自己修理自己 或是檢測同類機器人都是很簡單的,那幹嘛還找人類黑手? 先說說像GPT-4即便是大成功的當下,很多企業要復現這樣的模型難度也是跟登天一樣X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。6
Re: [問卦] ChatGPT改變了什麼行為模式?行? : : 業都發揮著重要作用,對許多人的生活產生了深遠影響。我想請問各位前輩,究竟Ch at : : T改變了哪些行為模式呢? : : 希望大家能分享一些寶貴的經驗和看法,讓我對ChatGPT及其對社會行為模式的影響5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?2
Re: [問卦] AI機器人的信度和效度?阿肥外商碼農阿肥啦!在下鍵盤研究員回答一下你的問題, 1. 先說統計檢驗部分,一般而言在傳統研究領域小數據上都會要你做一些傳統的統計檢驗, 例如你加了某個方法以後會更好,你要跟讀者證明A優於B,要避免模型有隨機性那做了可以 證明你是對的。不過現在大部分NLP訓練都是基於巨量數據像GPT-3有45TB的文本,這麼大的 數據情況下我們都會假設數據服從中央極限定理符合常態分佈,那做假設檢驗就有點多餘。1
Re: [問卦] 為什麼人工智慧在這今年炸開了這一波是十年前的AlexNet才開始讓ML實用化 以往都只是研究 AlexNet橫空出世 GPU+大型CNN 辨識率高 忽然讓一堆人想到 啊幹 原來GPU能幹那麼複雜的事情 所以從2012年之後 ML/AI的研究如同雨後春筍呈現爆炸性的增長 ML從事的人多 想法就多 推出的模型多 成功的總會有幾個- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬
爆
[爆卦] 王義川:節目談監控我就退通告93
[問卦] D卡大學生怒:國中小被支那語統戰爆
[問卦] 我被這個東西咬到了,會死嗎?81
[問卦] 雲豹能源聽到史上最貴電費 在想什麼59
[問卦] 過去台灣是不是空轉了8年爆
[爆卦] 向IWIN檢舉4X肉搜未成年公佈個資直接結案67
[問卦] 真的有秒殺蟑螂的方法嗎31
[問卦] 被武統會變二等公民嗎?爆
[問卦] 你曾經喜歡過哪個冷門歌手??46
[爆卦] 台灣國會暴力事件 世界最多 TAIWAN NO.141
[問卦] 鄧麗君終生反共 至今仍被對岸紀念?反觀46
[地震] 地震34
[問卦] Google為什麼只想找學歷好的人?16
[問卦] 法律有哪條規定 西裝是正式服裝?34
[問卦] 古今中外,哪個邪教最恐怖?61
[爆卦] 拜登:以色列願停戰30
[問卦] 日本的行人也太舒服了吧36
[問卦] 國軍為什麼沒教怎麼組步槍?24
[問卦] 有沒有當完青鳥就確診的掛24
[問卦] 為什麼台灣藝人無人敢再聲援64事件!!!24
[問卦] 台灣全球富裕排行第14,各位有感嗎?53
[問卦] 影響人生最大的卡通的八卦?22
[問卦] 地震速報app大家有提醒嗎22
[問卦] 新注音 vsㄅ半 vs 無蝦米?22
[問卦] 有什麼東西看起來省錢實際上反而花錢的?22
[問卦] 狄鶯當你媽媽,要嗎???17
[問卦] 貧乳妹在女上位時 男方雙手要幹嘛?16
[問卦] 個戶賣光電又不太賺,誰賺?18
[地震] 第410號顯著有感地震 花蓮秀林鄉5.513
[爆卦] 經濟學人: 有些台灣人憂慮立法委員賣台