Re: [討論] 群聯買不起三台nvdia dgx?
我也看了這個訪談
所以故事應該是..
幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX
老闆一看跟公司業務八竿子打不著拒絕了
工程師拿自家SSD變成4090的VRAM自幹LLM
老闆知道後發現自家產品居然也能跟AI沾上邊,開始大量宣傳新發明
這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人)
夠閒才會激發創意
整天趕進度是不會有新發明的
※ 引述《myis8787 (white)》之銘言:
: 來源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題:市值從零到一千億的創業過程!群聯電子如何成為台灣晶片設計傳奇?協助台灣企
: 國際盃?專訪群聯電子創辦人潘健成董事長!
: --------
: 訪談裡面提到群聯同事要求潘董購入三台NV
: 總價六千萬的DGX來訓練公司自己用的LLM
: 潘董直接回答最近市場不好 沒錢!
: 台灣一線IC廠真的買不起嗎?
: 還是潘董覺得沒那個價值呢?
--
這種故事真實性有多高XD
規模大一點的公司都會有 沒做產品 純研發的部門
像gg的pathfinding阿 上班就是看機票跟股票
這故事你會信?
可以跟董事長說得上話的都是長官了
給潘蛇15分鐘
gg PFD都在看機票和股票?笑死唬爛不打草稿
XD
NV是有錢人的AI,這個是窮人版AI
給潘蛇跟皮衣刀客講15分鐘,群聯就起飛了
SSD 當vram 還跑LLM ? 一個月內就報廢了 來搞笑
跑LLM當壓力測試新工具沒問題啦XD
改成ssd慢很多
先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞
事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是
在搞自己而已
很簡單的一個邏輯 假如是你自己當side proj作來玩
的 沒資源時拿什麼理由開口跟你老闆要資源?
除非是你跟你老闆有私交 或是這side proj本身就是
你老闆job assignment的一部分 不然我想不太到這種
情況下能跟老闆開口要資源的合理性
其實好像很多IC設計這樣幹ㄏ
群聯發明的?確定不是別人研究成果拿來用
他們手上ssd很多啊,拿一些來當消耗品還好啦
問題是誰當閒人啊,給我爽,副總下去做?
這個故事是真的,因為開口要的是他們現任技術長
台灣玩不起高階設備,AI都使用錢堆錢
SSD當Vram跑LLM 阿不就只是用時間換取空間
當然還是可以train阿 阿你finetune完別人都出
下一代模型了 這"發明"是有什麼鳥用
阿你如果是拿來infer 你不offload到GPU本來就是
在RAM上 滿了就swap到SSD kv cache也放ssd
阿這不就標準操作 啥發明
老闆看起來是真的不懂才會想到要把這拿來吹
不過潘董有提到說這個是用在公司或家庭內部的模型訓練,不是跟那些巨頭AI相比,這個 概念倒是挺前衛的
基層工程師大概也在苦笑 不就開源兜一兜結果被當寶
有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮
然後股價就噴起來
蹭AI是現在的主流風向
花個半年微調模型 效果好不好要半年後才知道 這觀念
的確是挺前衛的
前衛個屁,家裡用買個GPU啊,誰閒來沒事用SSD搞這個
,費時又麻煩
就概念是有人說可以徒手蓋房子不用工具,當然做得到
,但是意義何在?
單純是蹭AI的噱頭新聞罷了
臉書 谷歌都在放出模型了,主要是要練公司內部資
料吧
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,25
[問卦] AI晶片那麼好賺 為啥台灣黑道不賺?安安 大家都知道 Nvidia的AI晶片供不應求 有多少就賣了多少 一台DGX幾萬美金的 大家都是一貨櫃一貨櫃的拉貨 AI晶片那麼好賺 為啥台灣黑道要賺砂石跟光電? 應該就是花錢搶竹科工程師 協調GG跟封測廠 PCB廠還有代工廠 趕緊把貨做出來9
[請益] 台北群聯現況朋友無 PTT 帳號,故代朋友 PO 文 ~ 各位板友好, 近期有幸收到台北群聯的 Offer (SSD 架構工程師), 礙於身邊朋友無人在群聯 QQ 因此想誠懇地詢問板上各位前輩們幾個問題,5
[問卦] 繪師都被裁員了那工程師呢?我阿肥啦 今天新聞說繪師都被裁員了,那工程師會被裁員嗎?工程師算是技術活有機會被取代嗎? 工程師薪水通常都破百了,如果哪一天被ai取代了,公司會不會說不養閒人? 嘻嘻 --2
Re: [討論] 美國頂大生程度好嗎?以最近小公司的經驗,就第二點來討論, 為什麼工作後,說話邏輯還那麼差? (先說結論:就是他們不想要你發現問題,不然他們之前都做假的?) 1.專業度不足: 很多高階主管非本科系,基礎知識缺乏,有些還是論調過來的,還在用之前的工作邏輯跟1
Re: [問卦] 為什麼人工智慧在這今年炸開了矽谷一定要有話題可以炒呀 不然錢要從哪來 區塊鏈炒一波之後就下去了 AR/VR 接手炒一波也下去了 現在換 AI 接手1
Re: [問卦] 批4090親自跑一趟到中國賣是可行的嗎?爛透了 不如在台灣開公司買個一千台DGX H100 然後翻倍賣給中國公司 一台DGX二十萬美金 只要你有兩億美金 就可以賺進四億美金 這樣每年員工訓練我就可以看到你的公司登記的地址 記得別把公司登記在你家1
[問卦] 120b PT的LLM,你用過的感受和心得?Hugging Face的高手無極限, 推出了多種120b的LLM PT模型, 每個不但超大容量, 還可以只用CPU來跑, 而且號稱同時使用越多張高等級Nvidia顯卡,- 完整的LLM訓練成本極高 可能一次就要兩百萬美金 如果本土化LLM因預算限制只進行fine tune調整 因為pre trained內容以英文為主 處理中文效率差很多