Re: [新聞] 輝達H100顯卡「訂價139萬」...上架就秒殺
※ 引述《sxy67230 (charlesgg)》之銘言:
: H100真正的目的就是拿來訓練LLM跟NN模型而已,普通人根本沒Data是要訓練三小模型= =: ?
看你講那麼大聲 結果根本外行
訓練LLM的dataset網路上都找得到 根本看不完
從wikipedia擷取到從fandom蒐集次文化資料、pdf電子書等等
還有專門RolePlay的chat資料集
跟從遊戲擷取的對話文本等等.....
只要你的運用不偏門 大部分的資料都找得到
自己寫一個爬蟲也沒多難 我上週才寫了一個爬pixiv dict的程式
LLM的pretrain跟fine tuning資料來源不是問題 時間跟錢才是
大部分的做法是拿現有pretrain過的model在runpod上租GPU來再訓練
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.52.184 (臺灣)
※ PTT 網址
推
跟你說,政黑的推文都拿來訓練,錢賺飽飽
→
你說的內容一樣說公司會買來裝置來讓費
→
用客戶使用 所以一樣是他提及的公司買
→
貨
噓
糗嘎並軌 你多會爬 你要花幾年爬完人
看你這種論調就知道你連HF dataset要怎麼下載都不知道 就別出來丟臉了
推
所以都是大公司做pretrain model 一
→
般人沒啥資源就fine tune阿
→
fine tune就是拿specific task需要的
→
資料去訓練就好 除非你是要通用領域
推
老婆當然只能裝大器啊 都幾歲了難道要
→
離婚去找第二春喔 老公有持續拿錢回家
→
就好了啦 在外面想怎麼玩就玩 反正就
→
是新台幣維持的婚姻 男生要是沒錢早離
→
※ 編輯: bachelorwhc (36.230.52.184 臺灣), 07/07/2024 22:55:04
樓上推錯文
X
H100打遊戲就是張渣卡 不如送我 我免強吃愧一下 用珍藏已久的GTX-1080 來交換 保證打遊戲不delay! ※ 引述《jis0077 (一個人的輕旅行)》之銘言: : 輝達H100顯卡「訂價139萬」...上架就秒殺! 鄉民震驚1
, : 但竟然已經賣完了,讓鄉民都好震驚。 : 輝達顯卡賣場。(圖/PCHOME) : 有網友在PTT「PC_Shopping」板發文表示「NVIDIA NVIDIA H100 80GB Tensor 核心 GP U2
哪裡沒人買 數位產業署打造的AI力池,首年度採用輝達的H100晶片32片、AMD的MI300X晶片8片,強大 算力展示火力,後續逐年視需求增購顯示卡顯示卡(GPU)算力。 大數發部快拜
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇,雖然我說的內容可能大部分人也可能不太理解, 但巷子內的看到應該會覺得還是蠻怪的,當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言: : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力17
Re: [討論] 跑實驗數據要跑多次取平均嗎路過看到這篇 自己剛好有參與過幾篇ML相關PAPER 來隨手回一下 想到啥就打啥可能有點亂 另外有錯也麻煩推文講一下我再修改 以下只講正規作法 先不討論一些偷雞做法 首先 實驗的目的就是為了證明自己的架構/做法比別人更好 那實驗重點就是要用嚴謹的方式來證明這一點- 兩種狀況: 1.想要程式碼換論文掛名,又不想多做其他維護與修改。 2.怕程式碼給別人維護,你就不能論文掛名了。 1的狀況: 人家的論文主要貢獻,是你的搜尋系統嗎?還是新資料?
- 完整的LLM訓練成本極高 可能一次就要兩百萬美金 如果本土化LLM因預算限制只進行fine tune調整 因為pre trained內容以英文為主 處理中文效率差很多
爆
[爆卦] 在台灣搞詐騙是不是真的很爽,詐騙律師鄭爆
[問卦] 為何廢土集團很喜歡在南部台南高雄倒74
[問卦] 為什麼某些族群更信任考不上律師的人?67
[爆卦] 柯建銘隨扈人員有中國人69
[問卦] 111上街頭可以改變什麼嗎?63
[問卦] 台灣的詐騙破千億元喔?太可怕了?爆
[問卦] 台灣免簽100國是誰的功勞?56
[問卦] 又要教召該怎麼辦?爆
Re: [爆卦] 苗博雅道歉:言者無心,但聽者有意爆
[問卦] 可以查一下廢土回填有沒有給政治獻金?!59
[問卦] 東京大阪京都,強制三選一96
[問卦] Threads熱議:少在那聖母病,誰家不死人42
[問卦] 傾倒廢土有甚麼比較好聽的說法?39
[問卦] 有T主演的AV或女優嗎?38
[問卦] 釜山 北京 香港 玩三天哪個爽?38
[爆卦] 台灣詐騙會不會太誇張啊?36
[問卦] 「小捷」是誰啊?32
[問卦] 幹你娘 豬血湯跟乾麵要100元爆
[問卦] 數位發展部主要業務是什麼?32
[問卦] 父母房子數量不夠分給孩子怎辦?28
[問卦] 買米會避開南部米嗎?85
[問卦] 服喪時為什麼不能刮鬍子?26
[問卦] 學生抹黑老師24
Re: [問卦] 台灣能拿下12強冠軍 是誰的功勞?27
[問卦] 台灣個人進口免稅額這麼低 是在保護誰?51
Re: [爆卦] 苗博雅道歉:言者無心,但聽者有意62
[問卦] 我發現北檢羅織入罪的必勝法了18
[問卦] Ptt的古老碟仙預言17
[問卦] 脆熱議:戰國策11月工作檢討及修正規劃23
[問卦] 開車切西瓜轉彎...為何日本人不會?