[問卦] 看不懂推理庫為什麼能夠加速模型怎麼辦?

28 

從幾個角度來聊聊 NovelAI角度: 在模型被外洩後 應該會加速模型疊代的腳步 準備下代模型 中短期內幾乎不會"因此"受傷 主因是他們有大量的算力提供流暢的體驗 只要有抓leak模型下來自己跑的就知道 首先門檻是

19 

這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm

14 

1. 我認為未來的AI應該會分科 也就是說不會有全才的AI 其實這個概念在 20幾年以前就有了 就是所謂的專家系統 分科指的是 根據某專業而形成的 AI 例如 醫學的癌症AI , 股票的 AI ............. 現在的 ChatGPT 基本上你問他股票的問題都不會回答你

17 

祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT，但 是硬體需求大大降低，是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本對答。 一些LLaMA可以達成的任務

 1 

AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡，這麼簡單就大賣的方法不作。還在搞FSR，難道不知道現在是大AI時代嗎？ 7800xtx 24GB，549鎂，還不賣爆。 79x0xtx 48GB，1200鎂，還不搶光。 現在一堆AI inference的需求，欠缺在ram不夠。Training也許還是不行，但inference社群作一堆了，就等你出卡而已。結果你出16GB??? 例如最近mlc-llm測試7900xtx 推理可達4090的80%。

 4 

最近版上出現一些深度學習配單，覺得有一些心得可以分享，省的走冤枉路 就來回一下舊文，我最後拿3070喇 先說結論，3060 cp值最高唯一推薦，再上去建議直接攻頂3090 大部分人買顯卡都很關心效能，所以我看到有些人會拿3070, 3060ti上來問 但是跑深度學習除了效能以外，VRAM大小以及資料讀取的IO時間都會影響training效率

 2 

: 阿肥碼農阿肥啦！有興趣可以看我在科技版的文章，看一下chatGPT的思維模式綜述。 #1Zxi_nPB (Tech_Job) 基本上，現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了，現在所有的語言 視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。

 2 

這幾天日本就有出現AI模型專賣的網站 新聞： 推特反應：

 1 

哈哈哈是我啦，又來推優質Youtube影片 台大教授李宏毅用極白話講解大型語言模型運作原理 使用ChatGPT作為範例講解 過程中完全沒有數學(且不談Transformer) 內容極其容易了解

不知道為捨抹會講到邊緣運算啦QQ 不過老黃這波佈局就是替兩三年後落地場景客製化晶片 一般落地場景Inference(AI推理)的工程順序如下 拿一個PreTrain萬用大模型 用特殊資料FineTune 然後Deploy (Inference) 以LLaMA 7B模型為例 假設我今天要做一個醫療問診小幫手的AI 當我用一堆醫療資料 FineTune這個LLaMA 65B模型後達到我需求 (到此為此都會在Cuda生態圈做)