[問卦] 看不懂推理庫為什麼能夠加速模型怎麼辦?
我看說電腦要跑模型 可以用推理庫去優化 然後跑更快更準 但實際上
我看那個說明範例 偏偏就看不懂為什麼會變快 反而還要另外裝這些東西
所以說它的原理是什麼 為什麼訓練好的模型 可以用這個來加速 感覺
就像作弊外掛一樣?
--
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.14.102.211 (臺灣)
※ PTT 網址
推
更神奇的是,安裝好後第一次可以跑,之後
→
就不能跑
推
用天空之城加速器阿 比綠水跑還快
噓
優化三小
28
[閒聊] NovelAI模型外洩事件對各界後續影響從幾個角度來聊聊 NovelAI角度: 在模型被外洩後 應該會加速模型疊代的腳步 準備下代模型 中短期內幾乎不會"因此"受傷 主因是他們有大量的算力提供流暢的體驗 只要有抓leak模型下來自己跑的就知道 首先門檻是19
Re: [討論] AI晶片這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm14
Re: [新聞] 股票老師將失業?ChatGPT 能預測股市未來1. 我認為未來的AI應該會分科 也就是說不會有全才的AI 其實這個概念在 20幾年以前就有了 就是所謂的專家系統 分科指的是 根據某專業而形成的 AI 例如 醫學的癌症AI , 股票的 AI ............. 現在的 ChatGPT 基本上你問他股票的問題都不會回答你17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務1
Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡,這麼簡單就大賣的方法不作。還在搞FSR,難道不知道現在是大AI時代嗎? 7800xtx 24GB,549鎂,還不賣爆。 79x0xtx 48GB,1200鎂,還不搶光。 現在一堆AI inference的需求,欠缺在ram不夠。Training也許還是不行,但inference社群作一堆了,就等你出卡而已。結果你出16GB??? 例如最近mlc-llm測試7900xtx 推理可達4090的80%。4
Re: [請益] 1660S x2 or 3070 組DL server最近版上出現一些深度學習配單,覺得有一些心得可以分享,省的走冤枉路 就來回一下舊文,我最後拿3070喇 先說結論,3060 cp值最高唯一推薦,再上去建議直接攻頂3090 大部分人買顯卡都很關心效能,所以我看到有些人會拿3070, 3060ti上來問 但是跑深度學習除了效能以外,VRAM大小以及資料讀取的IO時間都會影響training效率2
Re: [問卦] AI產出的產品之間有關聯性嗎?: 阿肥碼農阿肥啦!有興趣可以看我在科技版的文章,看一下chatGPT的思維模式綜述。 #1Zxi_nPB (Tech_Job) 基本上,現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了,現在所有的語言 視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。2
Re: [閒聊] 日本大膽 all in AI官方允許任何資料訓練這幾天日本就有出現AI模型專賣的網站 新聞: 推特反應:1
[問卦] 大型語言模型VS咒術迴戰哈哈哈是我啦,又來推優質Youtube影片 台大教授李宏毅用極白話講解大型語言模型運作原理 使用ChatGPT作為範例講解 過程中完全沒有數學(且不談Transformer) 內容極其容易了解- 不知道為捨抹會講到邊緣運算啦QQ 不過老黃這波佈局就是替兩三年後落地場景客製化晶片 一般落地場景Inference(AI推理)的工程順序如下 拿一個PreTrain萬用大模型 用特殊資料FineTune 然後Deploy (Inference) 以LLaMA 7B模型為例 假設我今天要做一個醫療問診小幫手的AI 當我用一堆醫療資料 FineTune這個LLaMA 65B模型後達到我需求 (到此為此都會在Cuda生態圈做)
爆
[問卦] threads:橘子已被日本黑道通緝爆
[問卦] ☺ 道奇484要涼了?84
[爆卦] 中央社 把認為該合憲的大法官 全部消音爆
[問卦] 賀錦麗最後30天為什麼迅速殞落?86
[問卦] 布丁三姐妹的弟弟怎麼了嗎56
[問卦] 不喜歡LGBT有罪嗎?78
Re: [新聞] 憲法法庭:藐視國會罪違憲 立法目的難謂47
[問卦] 003以台女來論PR多少?42
[問卦] 中国人:台湾和我们这儿大致没区别36
[問卦] 選總統弄假民調騙一堆低能的484很壞阿?34
[問卦] 走鐘獎的票怎麼還沒賣完?42
[爆卦] 道奇再見滿貫全壘打,贏下世界大賽第一場60
[問卦] 什麼時候連煎蛋都不能抱怨了?35
Re: [新聞] 憲法法庭限縮國會調查權 立院超思蛋,鏡電36
[問卦] 俄羅斯 是真廢還是裝廢?31
Re: [問卦] 大法官可以宣告立法院不得立法嗎?爆
[爆卦] 中原學生被怪人揮斧頭攻擊29
[問卦] 周杰倫演唱會這次來賓找誰可以嚇死大家?29
[問卦] 菲律賓是以前是亞洲第二富??30
[問卦] 萊爾富49+29太神了吧24
[問卦] 台灣變成LGBT友善是走對了那一步?37
[問卦] 李多慧一直說要生5個小孩是認真的嗎??27
[問卦] 江蕙唱到62歲,周董怎麼45就快不行了?65
[問卦] 以色列打伊拉克??23
[問卦] 紐約郵報宣布支持川普 賀錦麗完蛋了嗎?69
Re: [問卦] 賀錦麗最後30天為什麼迅速殞落?19
[問卦] 這次MLB世界大賽國人一面倒挺道奇?19
[問卦] 日本男明星 最帥是誰?20
[問卦] 中國很愛吹東風飛彈20
[問卦] 人客啊!這高雄四寶飯105太佛了吧