Re: [討論] sora效率：800塊A100跑一天出一分鐘產品
※ 引述《yoyoruru (哇系笨阿佑)》之銘言：
: 一張 A100，大概1萬鎂
: 算算就一個電影動畫師的平均月薪
: 買來玩個一年
: 「很貴嗎？」
我還覺得底層是跑 Unreal engine 跑出來的
應該有人在朝這方向做了
如果是產生的我只能說，失誤率太高沒有必要
看起來很炫但是不實用
看大家興奮成那樣我也是黑人問題，妥妥的炒股
比起來，Nvidia 前架構師離職這篇論文才更有意思
https://www.facebook.com/nanzong.chen/posts/
pfbid026y5WwQRz2tvCcAG5jTWiFAbcyqLv3CFU92vTBZHPrSZXhuWg3fmaXxiPGv6yyjjml
(接成一行, 懶得縮了)
加州理工學院(Caltech)的布倫教授(Bren Professor)
「我們首次證明，LLaMA 7B可以在僅具有24GB記憶體的單一消費級GPU(RTX 4090)上
進行預訓練(不是微調！)。這意味著訓練期間用於儲存優化器狀態的記憶體減少
了82.5%以上。」
這個才是大新聞，降低大語言模型 training 的記憶體使用量
大家算大語言模型的成本大幅降低
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.0.12 (臺灣)
※ PTT 網址
→
現在限制運算力的應該不是記憶體太小
→
，而是GPU不夠快，雖然較低記憶體需求
→
還是有幫助
→
一般人是記憶體太小啊
→
除了GPU算力問題，還有HBM效能
→
但是還是看 model 長成什麼樣
推
LLaMA 7B效果很差，根本不實用
6
首Po笑掉人大牙，800塊A100，跑一天才能生成一分鐘的視頻 根本就是大力出奇跡，傻大黑粗的代表 就是統計學黑箱，能源黑箱，得優化一萬倍才有商用的可能 最近鏟子製造商發財了，這個消息出來以後，該輪到中國電力股大漲，綠能儲能世界第一就是中國呀 泡沫究竟是泡沫，GG可以收一收了，早就説這種AI只有3成對著正確方向，7成和BTC沒差3
你也是好笑 狂發文章 針對半導體在唱衰台灣 但是中國產業競爭的主要對手是美日韓歐 尤其是汽車新能源車 消費性電子 AI應用 能源產業 台灣不管是什麼產業 基本上都是b2b 都是面對產業 不面對消費者X
一張 A100，大概1萬鎂 算算就一個電影動畫師的平均月薪 買來玩個一年 「很貴嗎？」 動畫最花時間的就是初期組織架構
55
Re: [問卦] 中研院自己做的大型語言模型怎麼了？阿肥外商碼農阿肥啦！ 昨天晚上都在跟獵人直播來不及趕上大型翻車現場，這邊中午看hugging face hub還 可以進去，但現在已經進不去了。 這邊阿肥就直接說，基本上現在所有中文開源語言模型除了少數像chatGLM這種中國比較 早期做的自己完全從零訓練的語言模型外，大家都是從meta 的llama魔改的，差別在於預![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/TT58ZZCb.png "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
24
Re: [新聞] AI晶片競爭開跑，谷歌公布第四代TPU，宣周末下班閒聊, 發現tech版沒有這篇文章, 那就在這裡討論好了, 其實我說的東西都是網路 google+wiki 就有的東西, 先簡單說明一下現代化的ML DeepLearning的基本概念,17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT，但 是硬體需求大大降低，是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本對答。 一些LLaMA可以達成的任務![[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型](https://i.imgur.com/G4o7TYsb.png "[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型")
1
Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡，這麼簡單就大賣的方法不作。還在搞FSR，難道不知道現在是大AI時代嗎？ 7800xtx 24GB，549鎂，還不賣爆。 79x0xtx 48GB，1200鎂，還不搶光。 現在一堆AI inference的需求，欠缺在ram不夠。Training也許還是不行，但inference社群作一堆了，就等你出卡而已。結果你出16GB??? 例如最近mlc-llm測試7900xtx 推理可達4090的80%。![Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市](https://i.imgur.com/LeYPRd4b.jpg "Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市")
7
Re: [問卦] 聽說中研院AI花300萬？阿肥外商碼農阿肥啦！ 推廣一下微軟Azure服務，這邊試算開一張A100機器折合台幣差不多8萬台幣/月，平均一 天3000不到，中研院應該夠划算了，也算是現在市場公道價，反正都用開源簡中數據了， 放Azure訓練也沒什麼資安問題，而且要撈90GB的模型檔案不到十五分鐘就載完了，Azure 又快又好用。5
Re: [新聞] Google與Hugging Face合作宣布推動開放結果Google竟然釋出了開源大模型Gemma，超出預期！ Google 2 款新開源模型「Gemma」來了！直接挑戰 Meta Llama 2 7B 2024/02/22 Sisley 聊天機器人 、 生成式 AI 、 摘要 、 輕量級語言模型 、 負責 任生成式 AI![Re: [新聞] Google與Hugging Face合作宣布推動開放](https://bucket-img.tnlmedia.com/cabinet/2024/02/30fbd444-75f7-43da-9eaf-5b1383f3e73a.jpg?w=1200&h=630&fit=crop&auto=compress "Re: [新聞] Google與Hugging Face合作宣布推動開放")
X
Re: [問卦] 中研院自己做的大型語言模型怎麼了？這語言模型基礎是建構於Llama 2，meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型， 也是開源且開放商用 技術上也不用解釋太多，反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/GQlNhZjb.jpg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
Re: [請益] AI伺服器成本分析——記憶體是最大的輸家請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬![Re: [請益] AI伺服器成本分析——記憶體是最大的輸家](https://picx.zhimg.com/v2-f6c2a117d2575f6cd3b85af859ad7f20_l.jpg?source=172ae18b "Re: [請益] AI伺服器成本分析——記憶體是最大的輸家")
27
[討論] 張啟楷澄清未限期在7/16前要求通過花東3法![[討論] 張啟楷澄清未限期在7/16前要求通過花東3法](https://img.youtube.com/vi/6oSIY0RLzmw/mqdefault.jpg "[討論] 張啟楷澄清未限期在7/16前要求通過花東3法")
27
[討論] 到底立法院可不可以作行政罰鍰處分?20
[討論] 黃名嘴明明很討厭綠為何也要綠72
[轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧![[轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧](https://facebook.com/security/hsts-pixel.gif "[轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧")
19
[討論] 當年廣告 是誰，讓韓國在竊笑![[討論] 當年廣告 是誰，讓韓國在竊笑](https://img.youtube.com/vi/fmjTBggNGyI/mqdefault.jpg "[討論] 當年廣告 是誰，讓韓國在竊笑")
17
[討論] 當年鄧小平如果不鎮壓六四就好了67
[討論] 好油復出？![[討論] 好油復出？](https://i.imgur.com/HiUMB0Nb.jpg "[討論] 好油復出？")
12
[舊文] 原來傅崐萁想蓋絕命高鐵 乘客恐遭大規![[舊文] 原來傅崐萁想蓋絕命高鐵 乘客恐遭大規](https://cdn.taronews.tw/files/2024/05/445757012_858177476339604_7126606257699039986_n-1024x687.jpg "[舊文] 原來傅崐萁想蓋絕命高鐵 乘客恐遭大規")
8
[黑特] 柯總召又想包立法院？![[黑特] 柯總召又想包立法院？](https://www.cmmedia.com.tw/file/2185/%E8%9E%A2%E5%B9%95%E5%BF%AB%E7%85%A7_2016-10-10_%E4%B8%8A%E5%8D%888.47.18.png "[黑特] 柯總召又想包立法院？")
7
[黑特] 徐巧芯救了王義川![[黑特] 徐巧芯救了王義川](https://i.imgur.com/KgiKUC7b.jpeg "[黑特] 徐巧芯救了王義川")
3
[討論] 美籍台獨朋友說台灣一堆人在意六四很奇怪X
[創作] 我非常討厭黃仁勳 看到他 讓我想吐!!8
Re: [轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧3
[討論] 賴清德把黃仁勳叫去總統府蹭不去會怎樣？4
Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃![Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃](https://i.imgur.com/qta76Agb.jpeg "Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃")
5
[黑特] 原住民補償法案也是毀憲亂政吧31
[討論] 為什麼館長要一直罵青鳥？![[討論] 為什麼館長要一直罵青鳥？](https://i.ytimg.com/vi/MxGMKFerFUY/oardefault.jpg?sqp=-oaymwEkCJUDENAFSFqQAgHyq4qpAxMIARUAAAAAJQAAyEI9AICiQ3gB&rs=AOn4CLBYYBpX4QmMdYCBZQ2BHwKz4W98nQ "[討論] 為什麼館長要一直罵青鳥？")
4
[討論] 黃國昌和柯文哲路線不合怎麼解？4
[討論] 政黑怎麼看待「國家統一前」1
[討論] 立委怠惰也能大內宣喔![[討論] 立委怠惰也能大內宣喔](https://cdn2.ettoday.net/images/5016/e5016274.jpg "[討論] 立委怠惰也能大內宣喔")
8
[討論] 黃仁勳滿口台語 台北人聽的懂嗎？5
Re: [討論] 黃暐瀚、謝震武都是很公正的媒體人6
[討論] 台灣可以吸引外資到台灣設立AI研發中心。![[討論] 台灣可以吸引外資到台灣設立AI研發中心。](https://i.imgur.com/QKxwIwRb.png "[討論] 台灣可以吸引外資到台灣設立AI研發中心。")
1
Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃暐瀚![Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃暐瀚](https://s.imgur.com/images/logo-1200-630.png "Re: [新聞] 挺賴清德兩岸論述遭嗆「由藍轉綠」黃暐瀚")
5
[討論] 小草說：輝達囂張沒有落魄久啦21
[討論] 竹市消防局長:急於救災以致沒拔救命器名牌![[討論] 竹市消防局長:急於救災以致沒拔救命器名牌](https://img.youtube.com/vi/2sypSRsBsQU/mqdefault.jpg "[討論] 竹市消防局長:急於救災以致沒拔救命器名牌")
3
Re: [轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧4
[討論] 笑死，中國人把country定義成鄉村![[討論] 笑死，中國人把country定義成鄉村](https://i.ytimg.com/vi/jH46dorUB1I/sddefault.jpg "[討論] 笑死，中國人把country定義成鄉村")
2
Re: [轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧![Re: [轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧](https://i.imgur.com/1SNQj2Xb.jpg "Re: [轉錄] 黃暐瀚FB 不想被統就是綠？那就綠吧")
14
[討論] 輔大學生抗議牆 演說前嗆柯文哲![[討論] 輔大學生抗議牆 演說前嗆柯文哲](https://i.imgur.com/h1bt7gNb.jpeg "[討論] 輔大學生抗議牆 演說前嗆柯文哲")