Re: [討論] OpenAI GPT o1模型
阿肥外商碼農阿肥啦!
目前技術太多都說得太雲裡霧裡,但是截至目前為止針對o1其實OpenAI透露出來的技術細節都不如過往得多,像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探,所以就不做過份的臆測了。
以目前的一些文件上有提到的可以確定這次o1使用了CoT這絕對是一個Agent沒錯(跟過往的單一模型不一樣),所以Response Time也會比過往再調用GPT-4o還要久。所謂的CoT本質上就是一系列分解步驟,讓模型先分解問題再一步一步到最後結果,目前很多研究都發現針對CoT再進行微調是有用的( https://arxiv.org/abs/2305.14045 ),所以這種對問題
拆解迭代算是一種拉高對模型能力上限的方法。
然後目前RL for LLM有很多新的方法,像KTO這類方法將模型去比較兩兩對話的問題轉換成一個BSO(二元訊號優化)的問題,研究就發現到相比傳統的RLHF甚至DPO,KTO的效果能起到很好的Regularization(正規化)作用,對比DPO有時候還會過擬和、難以收束優化不易訓練等問題,KTO可以讓收集數據更簡單(只要收集正負樣本)而且效果也不差。
另外就是GPT-2 guidance 的方法也算是這幾年比較重要的研究,當前包含谷歌 Deepmind也發現通過不同種類的LLM不論大小其實也都有對主模型起到類蒸餾的效果,結果也是會比你單做SFT或RLFH還要好,不過如果是同一個模型重複迭代就有很高的機會發生Model Collapse 的問題,這可以從統計學上做很好的解釋,詳細有興趣的就自己去看Paper。
以當前來說,我不太認為o1對業界有掀起很高的技術壁壘,反而從這次OpenAI一反常態的保守有可能推測僅是對現有技術的組合拳。這有可能顯示單一LLM模型這樣訓練下逼近上限的事實(每家模型大廠可能最後表現都不會差異到哪裡去)。
以上
--
你這樣講 感覺AI泡沫就快爆了
當前還有很多商業應用還可以探索,不至於泡沫就是了,而且很多商業應用是有既定模式 的,所以去討論AGI有沒有意義就多了。
※ 編輯: sxy67230 (49.216.223.33 臺灣), 09/19/2024 09:22:39AI軟體有了,但是對應的硬體還在孵
跨某 有沒有外行人也能聽得懂的講法
所以還是跌代逼近嗎 那思考一說又從何而來
AI不會泡沫 但不要過度預估LLM上限
看Claude多久推出競品就知道有沒有壁壘
不錯了啦 比起4o 智能上提升不少
怎麼好像每個版都有一個阿肥==
說穿了o1就是自己做了prompt engineer 的工作,但這
並不代表能推論出各家模型最終能力都差不多吧?只能
說prompt engineer 跟一般使用者用起來的效果差異會
變小吧
剛剛下班才看到,這邊的CoT跟你網路上看到的CoT差異很大喔!傳統上下step by step那 個是prompt engineer沒錯,但這次o1的CoT是類似於隱式設計進去先讓模型生成多個取樣 步驟再像鏈一樣一步一步思考,這也是為什麼當前很多示範都顯示出他很慢,也是我為什 麼會說這次的模型絕對是一個Agent而非傳統意義上的LLM。單一模型存在上限主要也是從 這次OpenAI沒有釋出GPT系列以及其他廠家的技術報告推論出來單一LLM逼近上限的事實, 主要可能原因還是在於高品質數據本身就存在上限,要再提升就要靠類蒸餾(Boostrap) 等方法。至於技術壁壘我認為還是不存在的,畢竟這個谷歌Deepmind大廠其實早在年初也 有類似的技術發表出來了,所以我才會說以OpenAI這次反常到不透露細節的作法,很可能 是怕被競品出現。
這樣假如沒甚麼技術壁壘,也只代表普通人技能更....
谷歌的壁壘就是自己啊 看那個生圖AI還不敢開放 笑死
38
首Po上禮拜OpenAI發布經過強化學習訓練的新型語言模型o1 宣稱模型有更強大的思考能力 o1在回答之前會深入思考產生內部的推理練 結果就是o1模型在各個人類頂尖領域獲得相當好的成績10
不就是語言模型+題庫 題庫1000題不夠,那就10000題 一萬題不夠,那就10萬題 看你人的腦袋能裝多少題庫 拼的過嗎? 但是對那些非一般性的29
OpenAI 最近推出了 GPT-o1,但很多人可能還沒意識到這件事的嚴重性。事實上,OpenAI 已經找到了一條通往 AGI(通用人工智慧)的階梯!這個新模型的關鍵在於,它已經整合了 ToT(思維樹)和 RL(強化學習),在大型語言模型(LLM)領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」,記住了大量的資料,所以我們在人類記憶力上輸了2
嗨 科技板首PO 關於這篇 Open AI發展的新聞 肥宅不懂AI 但高中有參加過AIME 只有寫出四題 被AI屌打 嘻嘻 但肥宅還是想幫人類平反一下
73
Re: [請益] NVDA跟AMD怎麼突然崩了週末有點時間 之前寫的老黃故事 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。45
[爆卦] Openai:GPT o1超越人類理工博士OpenAI今天發布經過強化學習訓練的新型大語言模型o1 擁有執行複雜推理的能力 這就是傳說中的草莓模型 o1在回答前會進行深入思考並產生內部推理鏈5
[問卦] OpenAI o1可以考上台灣司法官嗎開放AI新模型o1 聽說在各方面都贏過gpt4 有博士生等級 那它可以考得上台灣的司法官嗎? 會怎麼處理弊案3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事3
Re: [爆卦] OpenAI 新模型o1輕鬆考上台大資工/台大先不要急 今年的論文 幾位大佬說LLM無法達到AGI 所以你各位不用擔心 AI幹掉你應該還會很久 你該擔心的是你同事- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬
X
Re: [心得] WWDC24節錄-系統級個人助理面世: : Q:阿婆完全照搬OpenAI的GPT模型嗎? : A:沒有,這次提供的是本地自家模型以串接的方式連動GPT模型,也提供用戶關閉此功 能 : 的選項