Re: [新聞] 雷蒙多態度髮夾彎 允輝達向中國出售AI晶

musie 12/13 02:21我倒覺得Mistral會把算力需求打下去

musie 12/13 02:221. 他主打7B~10B model 強調小模型也可以達標

musie 12/13 02:242. 他的MOE就表明 可以用8x7B 去Complete 40B

LDPC 12/13 02:517B 也要接近千顆gpu耶。8,個agent就要上萬啊

musie 12/13 03:00?? ?你在講啥 一個H100就可以train GPT-3 175B mode

LDPC 12/13 03:04還有scaling law 算力只會要更多啊

LDPC 12/13 03:05h100 80gb 單顆train 100B以上模型？

LDPC 12/13 03:07llama 7b 是82432 hours 80gb A100單顆

LDPC 12/13 03:08h100大概是a100兩倍 用千顆train 也要三天才能train

LDPC 12/13 03:08完整一次

LDPC 12/13 03:107b現在最陽春做法training也要百顆啊

LDPC 12/13 03:13還沒說100b模型用1byte 方式load 要100gb ram 也超

LDPC 12/13 03:13過單顆h100 80gb 記憶體容量

musie 12/13 04:12我的意思是time/money trade-off

musie 12/13 04:141024 A100 train GPT3 需要34d 但我也可以128 340d

musie 12/13 04:14我看7B model是不用一天就跑完.. 跑個2week也沒差

musie 12/13 04:15反正到最後都是卡在data quality

LDPC 12/13 04:18有差啊。你沒此調整一個參數 learing rate 或schedu

LDPC 12/13 04:18le 就兩個裡拜看結果

musie 12/13 04:19而且現在fine-tune都用LORA 記憶體可以大砍

musie 12/13 04:19只有做foundation model的要整個model

musie 12/13 04:20現在做foundation model也才那幾家..

LDPC 12/13 04:21等你找到對的data 架構和training。至少要數十次調

LDPC 12/13 04:21整 每次五天和每次一個月 差距就是被幹掉

musie 12/13 04:21大大做foundmaion model嗎 我們應用沒有這麼多錢

LDPC 12/13 04:22這也是為何meta有五萬張a100 就是搶縮減時間

LDPC 12/13 04:23misra就是做pretrained llm

musie 12/13 04:23應用面就真的都卡在生資料和洗資料 我是不覺得

musie 12/13 04:23大家還會瘋狂搶GPU啦

LDPC 12/13 04:23現在不是只有大廠玩的起 很多學校也玩的起

Alwen 12/13 06:03推特有人說大概明年上半年就能看到有人把GPT4等級的

Alwen 12/13 06:04模型開源，大廠大模型還真的沒辦法獨佔惹

EvilSD 12/13 06:44上半年要把GPT4等級開源很難吧 誰要開第一槍

EvilSD 12/13 06:45哪個大廠願意開源給你fine-tune

Alwen 12/13 07:07很快阿 現在開源已經追上3.5惹

Alwen 12/13 07:07再花半年達到GPT4 蠻正常DER

Alwen 12/13 07:08這東西以後只會越更新越快而已

Alwen 12/13 07:09當然那時候GPT4.5已經推出惹八

cosmo7897 12/13 07:337b叫做小模型XD 真會凹