Re: [新聞] 台版ChatGPT雛型曝光 國科會用4個月秀TAI

※ 引述《Waitaha (行人地獄)》之銘言：
: 1.媒體來源:
: 自由時報
: 2.記者署名:
: 記者吳柏軒／台北報導
: 3.完整新聞標題:
: 台版ChatGPT雛型曝光 國科會用4個月秀TAIDE初階成果
: 4.完整新聞內文:
: 美國Open AI去年秀ChatGPT引發人工智慧（AI）浪潮，我國國科會今年2月宣布要推台版
: 的生成式AI模型，耗時4個月今（14日）宣布第一階段成果，目前已投入70億個參數量，
: 針對繁體中文訓練，實測已達自動摘要、翻譯文本、寫信與寫文章，都有不錯表現，並首
: 度透露相關計畫經費約2到3億元，年底前希望釋出更大模型，推向商業應用。
: 國科會主委吳政忠表示，今年2月宣布要推動「可信任AI對話引擎」（簡稱TAIDE），集結
: 產官學研、公私協力下，眾人力量紛紛無私奉獻，不少義工加入，加上國網中心超級電腦
: 算力一半拿出來支持，4個月後今公布第一階段成果，相關經費編列2到3億元，雖跟國外
: 相比「小小小小小」，但確是台灣目前重要成果。
: 協助開發的陽明交通大學應用數學系教授李育杰表示，當國科會宣布台灣要有自己的生成
: 式AI，避免過度依賴外國技術，眾人便開始用跑的，打造TAIDE引擎，目前利用臉書公開
: 學界使用的LLaMA模型，投入70億個參數量（7B，AI訓練所需參數），達中模型規模。

阿肥外商碼農阿肥啦！

其實這四個月整個訓練框架大爆發，阿肥自己也有幫公司訓練了一個中文小羊駝(可商用版)給業務單位使用。

包含微軟自己開源的DeepSpeed(把學習人類對話的強化學習(RLFH)訓練框架開源給大家免費用，還有知名開源框架抱抱臉釋出一些模型壓縮方法可以直接無腦調用，整個訓練阿肥訓練130億參數的模型從無到有弄起來真的不用一個禮拜，新手最多兩個禮拜就可以掌握了，真的蠻無腦的。

不過像Llama這種由於參數量其實只有GPT-3(不是ChatGPT跟GPT-4)的1/10不到，所以其實效能也是有限，像小羊駝Vicuna在通用評價測試集上只有GPT-3的92%，不過只需要一張顯卡又傻瓜是真的值得什麼都不懂又只有小需求的訓練一下拿來玩，像阿肥現在會把他拿來做基石做一些有趣的事情微調到自己的領域上省去人工標註的功夫。

差不多4醬

--