Re: [問卦] 為何台灣是AI晶片重要生產地,但是AI軟體模型都沒

※ 引述《b10213044 (重新連線)》之銘言：
: 台灣不是AI晶片的重要生產地嗎?
: 但是為何軟體都沒起色
: 看人看人家歐美,大量的AI軟體公司 模型雨後春筍般冒出
: 台灣呢?
: 能叫得上號的AI軟體公司 只知道有AI LAB 但是產品也只有雅婷逐字稿
: 收費還很高
: chatgpt 3.5免錢
: stable diffusion 也免錢
: midjourney最便宜也只要8USD
: 台灣現在每個企業都在喊要AI,結果啥都沒有
: 連個台灣自己要用的模型都生不出來
: 還號稱科技之島

一般而言，所謂的AI Chip指得是特化過往CPU功能的晶片，過往CPU集成的晶片會強調指令控制跟緩存的功能，但DL/AI模型其實更強調運算元(ALU)所以像NPU、GPU就是特化計算元其他的功能就縮到最小，所謂AI專用晶片本質上就是這樣的一種類CPU特化架構的晶片。因為對於當前所有的DL模型原子化到最小計算就是在做矩陣加減乘除跟線性變換。

不過目前整個設計還是follow國外廠商的需求，所以台灣更像是代工上游廠商。當然啦！怎麼集成這麼大量運算元到一個小板子上也是很重要的know how 。

然後AI軟體上層會更強調資料中心，收集資料、資料清理、標籤處理最後一步才是訓練模型，維護資
料中心往往就是一個前期需要巨大投入但是收益有限的單位，像谷歌、OpenAI、百度等網路巨頭他們2003年就在建構自己的資料中心，還包含數據管理、Mapreduce、資料清理、怎麼建立一
個平行化資料匯出匯入。

有了第一步才是做標籤數據，初期谷歌他們也是靠大量人力在維護數據標籤，也帶動標記人員的管理，像不同人對同一份文本/圖片可能存在複雜多元的標記同時也存在標記錯誤，那要怎樣提高人員標記的品質，一直到後來像矽谷就誕生很多為了承包這些大公司模型的專業標記公司，標記公司為了節省人力也孕育出一套弱標籤系統透過半機器輔助在很多研究上也證明可以提升模型泛化能力。

而像谷歌這些大公司也在努力想怎樣才能有效利用收集到無標的數據，2021年開始就醞釀了自監督的方法(讓模型自己比對相似的無標數據來學習)才誕生出現在的LLM。

這些都是台灣還在做代工的時候像歐美、中國就開始預見到人工智慧浪潮就開始投資的，阿肥我記得2016年那個時候就一直在疾呼資料中心的重要性，像中國那個時候就舉國之力用幾兆在投資做這些基礎建設了，台灣就錯過那個黃金時期，現在也只能以代工晶片安慰自己。

--

其實軟體產業才是最適合跨國拿下外需市場的，可惜台灣就錯過了，曾經其實台灣有很好 的軟體產業需要的基底，但就沒跟上韓中那波轉型。