[問卦] 120b PT的LLM,你用過的感受和心得?
Hugging Face的高手無極限,
推出了多種120b的LLM PT模型,
每個不但超大容量,
還可以只用CPU來跑,
而且號稱同時使用越多張高等級Nvidia顯卡,
跑起來速度越快,
不過每個120b PT模型的容量都不小,
網路速度不快,
可能要下載個兩到三天才能開始使用.
八卦板上臥虎藏龍,
鈣磷量!
這個目前還滿夯的LLM PT模型,
不知道你用過的感受和心得?
有卦嗎?
PS.
Hugging Face計畫接下來要推出
135b, 150b, 160b, 200b,等等的LLM PT模型,
各位買了幾張4090並連在一起了?
等等黨哭哭了嗎?
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.136.74.159 (臺灣)
※ PTT 網址
推
用MoE訓練的吧 推理不知道速度多快
爆
[問卦] 中研院自己做的大型語言模型怎麼了?中研院最近發布了他們自己開發的LLM 說是在處理繁體中文的任務上表現優異 可是小妹看了一下跑出來的成果52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。22
Re: [爆卦] 中央研究院詞庫小組大型語言模型看到這篇真的龜懶趴火 語氣還真的他媽的大啊 敢嗆鄉民去上LLM課程啊 誰不知道LLM的正確率一定會有誤差? 現在的問題是我國最高學術研究機構中央研究院直接拿對岸LLM套 且直接用opencc大量將簡體資料轉繁體資料!20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦! 剛好看到這篇文章就回覆一下,這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力,我其實不贊同LeCun說的LLM是歪路,畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證), 但科學上不去驗證你沒辦法證明某些事情的。X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?6
Re: [新聞] 手機效能過剩了?近七成網友認為:沒必要小弟在幻想哪天移動端設備(手機)能執行大型語言模型LLM,這樣就不用仰賴雲端運算了 在這天的到來對之前我來說手機的效能沒有過剩的問題 由於摩爾定律失效,手機能跑LLM甚麼時候到來實在不好說5
Re: [問卦] AI發展到什麼程度你才會開始感到害怕?阿肥外商碼農阿肥啦!在下鍵盤研究員,基本上現在所有的模型本質上都還是弱人工智慧 的,只是這兩三年研究累積的體現。 當前還有很多問題是需要解決的,像是雖然有偏好模型,但LLM還是對於學習並非是有偏 的 ,這邊的偏好依舊需要人工大量去微調,這就跟我們人類差異很大。3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬
爆
[問卦] 建中生吃麥當勞遭threads大炎上抵制爆
[爆卦] 公益揭弊者保護法三讀通過爆
[問卦] threads:凌晨瞬間湊齊3000萬 肯定貪爆
[問卦] 一句話形容北檢爆
[爆卦] 柯文哲 FB: 終於回家了爆
Re: [問卦] 以後貪污只要沒被找到金流就合法?72
[問卦] 八卦這麼嗜血,你真的OK?爆
[問卦] 鏡週刊居然免費發放,那怎麼盈利啊?爆
Re: [新聞] 許芷瑜男友稱柯家藏現金 北檢擬朝「財產爆
[問卦] 北檢和鏡週刊怎麼還沒被羈押?76
[問卦]黃揚明:就是有一群無知信徒 才會變這地步63
Re: [新聞] 智商157? 柯文哲辯「orange出國」拼錯字68
[問卦] 哇靠記者可以這麼兇的喔67
[問卦] 3億現金的重量 約375公斤 怎麼移轉77
[問卦] 高雄當初是哪一步走錯了74
[問卦] 台灣pay使用率不高的八掛64
[問卦] 長輩:「民眾包圍法院施壓法官判決」?XX
[爆卦] 林楚茵在立法院說鏡週刊是吹哨者 揭弊者79
[問卦] 北檢辦超思會辦成怎樣45
Re: [新聞] 柯文哲泛淚到家了!曝看守所生活「眼睛、68
Re: [爆卦] 林楚茵在立法院說鏡週刊是吹哨者 揭弊者85
[問卦] 裝魚的水要去哪買(認真的在問不要鬧)52
[問卦] 找一部飛進黑洞的片爆
[問卦] 阿北鴨出來第一句話要說什麼才能震撼全57
[問卦]如今陳橘的存活概率?8X
Re: [新聞] 黃國昌、小草喊1500萬沒金流 律師搬爆
Re: [新聞] 法界:柯文哲起訴書充滿檢情緒用詞42
[問卦] Excel Pay商標爆
[問卦] 請問北檢忠組江貞魚現在在想啥爆
[爆卦] 民間司法改革基金會:聲明 九問偵查大公開