PTT推薦

Re: [請益] AI到底是遇到什麼問題？

neo5277 發表於 2024/8/3 上午4:07:53
看板Stock標題Re: [請益] AI到底是遇到什麼問題？作者
neo5277
 (I am an agent of chaos)時間推噓35 推:36 噓:1 →:64

雖然這版是投資版，但是我覺得技術問題，還是先跟投資切開來比較好一點。

昨天還是前天也在八卦回了一篇，內容應該差不多。
這篇可盡可能精準一點。


首先呢，AI這個領域的底層，就是計算大家都已經知道了。

這幾年分析師說爛的LLM，全名是大型語言模型，基本上最基本款是利用

機器學習演算法，一個單元一個單元組成神經網絡的變形決策樹。

LLM，只是他的一小部分應用，根據問題的不同，去設計不同演算法，整理不同資料

做ETL，又對於transfermer 這個特殊模型模式來去做預先訓練來產出，基本上撇除掉

MOE多專家模型，還有多模態的版本，他真的就是一個很強的計算機器然後拿來做

文字接龍跟翻譯，如果沒有其他餵養的"知識"，他回答的就有侷限性，可以自己去拉

其他台灣幾間的模型玩玩，而文字這塊，因為透過字詞嵌入轉向量的技術讓電腦可以計算

理解，跟去求餘弦，讓模型對於聚類，有更好的效果。

一樣的過程，你可以，將任何連續的異質資料，根據這個路徑，餵養給這後面的演算法
神經網路，經過大量的時間，大量的資料，大量的能源消耗會有一個初步結果。

你再去微調，他的確可以解決很多問題，取代很多人力，但他需要燒錢，燒時間。


接下來的東西就跟本版有關係了，我可以直接拿我八卦的文來剪貼。



"理想很豐滿，現實很骨感，infra貴，訂閱現金流沒有多少長進。

都還在吹，還在想拉貨，當董事會跟股東看不到錢，CEO能挺住做決策多久?

"LLM"目前真實應用場景薄弱，你要享受AI模型優點，需要針對你的應用情境

特製，特殊資料ETL，特殊訓練，訓練成效跟時間，資料量，成本成正比。

除了to B 沒多少人可以享受到這種邊際效應，再來換一種需求你要重新設計模型

驗證，訓練，SLM的模型，可以多元集群，一般人可用，只是就像丟一個低配版賈維斯

給你，不是每個人都需要，大部分最終只會變成，聰明一點的SIRI，跟生成軟體。

這點現在openai就做得不錯了，也不是一定要綁在阿婆手機上。

這個世界情勢看下去，這些新出來的AI模型最後的發展跟落地最有辦法回本的領域。

就是戰爭武器，很多已經開始做了，數位孿生，除了可以模擬工廠還可以用來模擬跟訓練

啥，又是高收益的其實很明顯。


順跑單獨一個7B模型，大概一張4070ti 12g .64g ram 13700k可以很順了

但你要跑70b 大概要四張以上，你要跑MOE 多專家版本又要更高，你要多模態

還要再更高，toB的商務需求，短期有，長期效應沒有出來的話，比較難會有單。

成本效益有多少，真的很難說，我只能說最近很多時候是RD被逼著去生更多應用出來

但是僅靠LLM，是做不了多應用的，LLM只是一個這世代AI很好的廣告而已。

AI這局要延續，只能靠機器人，機器人不可能大台裝一堆顯卡，散熱又不好，能源也

不夠。這邊唯一方法就是走邊際運算，所以通訊跟邊際運算，還有製造機器人的能力

，再來就是仿生，生物界是最好學習的對象，如此高效低耗能，你寫code跟ai互動做的

很多事情在台灣，請工讀生或是美編，或是貴一點的美編跟外包就完成了。

現實就是這樣，如果，再沒有新東西出來，美國選舉效應完大家就一起面對真實世界。"

注意，上面說的應用場景薄弱，是LLM的部分，因應其他需求去設計開發的模型都不

在此列，上面幾篇回文，也有幾位點到問題，這資本開支，還有獲益週期，目前不成

正比，也沒有辦法雨露均霑，你看到皮衣刀客馬上推數位孿生，機器人就知道了。

以目前來說，最有可能的，不那麼暴力的領域，就是文內提到的

邊際運算，以後可能是小模型取代各種，本來的韌體演算法，燒上去

這邊第一個遇見就是，記憶體容量問題，還有算力問題，模型領域針對這種問題

有幾種解法，知識蒸餾，模型合併，還有量化(將本來大量浮點數計算轉成整數計算)

會有能力耗損但是，對算力可以不太要求，這樣用晶片來集群的整個叢集裝置。

體積尚可，會出現專門NPU來做矩陣計算，散熱也比較好處理，能源消耗更低。

也跟上文提到的一樣，在這種client server 體制，或是邊際運算體制。

通訊，就是一件很重要的事情，我對AI是很看好，但是在商言商，沒人想做賠錢生意。

也沒有幾間，特別是股東制的公司會一直對看不到現金流的投資say yes 。

八卦底下有一個推文我覺得滿有sense 的我也是抱持這個想法。

AI 包含軟體的模型，其實就跟當年的網路一樣，他是一個infrastructure

基本上是長期投資，適合大廠跟國家去布建的東西， .com 到我們離不開網路

過了8~10年左右，他的價值才真正凸顯出來，後續的效應跟市場才起來。

現在不過是又重現一次而已，但是人生有幾個8~10年呢?，這三四年的熱錢

就是跟各種泡沫一樣摧枯拉朽，AI有問題嗎? 看你從哪個角度來看


其實，模型要訓練到可商業運用，難在配合解決的問題去反覆設計跟訓練微調，還有

做訓練資料整理，這真的要大量的時間跟金錢，還有腦力。但偏偏這是現實世界上最缺

的，然後真正有意義的模型，中小型參數，就玩具，做成叢集，要靠財力。

70b 開始一般人基本玩不起，llama405b 這種幾千萬的機器是基本，然後訓練想要

達成的應用，除非是研究型，不然真得就是不如請人類做來的省錢。

我想版上應該也有很多理工生科研究型的，以前應該都會有要種儀器只有幾台

實驗室只有兩間，你要做你的研究，就是排隊吧，等申請。

目前可花錢投入的大廠，跟研究型的尚且如此，一般商業除非有經驗證，可行的利基模式

不然我想沒幾個會花錢真正洗下去做。



你說雲端御三家沒有開放給企業訂製嗎? 有阿 N家自己也下來做啊 賣不好啊

你沒有確定方向，跟做法還有利基之前，這個研發成本可是用燒的，一旦弄下去

花錢反正可以列成研發經費，資本開支，但是最後有沒有東西端出來才是問題。

你說要做自然語言，管理後台，查詢，什麼的，這個現在都做得出來。
我自己工作也在做這種，應用開發。 但是我們自己覺得滿雞肋的。

你要做aml 也很可以啊，但是很抱歉，用llm為主的模型效果一定不會太好
要從根開始重新挖開設計，跟定義資料集下去重新訓練，有新樣態，在繼續累積然後

微調，微調也是一個坑，你資料量不夠大，就像一顆石頭，丟進太平洋。沒啥用


但也不要這麼灰心，各位在AI上花的$都位我們後代子孫建立起更好的社會。


大概就是這樣，總結一下，前期資本投資太多，短期看不到成效，消費市場不確定。

本來應該是基建的被炒成很高，真的跟思科很像，不能說一模一樣，但是真的很像。
但你要說他不好嗎? 現在哪間公司機房沒有思科?

--
WHY SO SERIOUS???



--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.100.32 (臺灣)
※ PTT 網址
※ 編輯: neo5277 (111.243.100.32 臺灣), 08/03/2024 04:13:12
推

cuteSquirrel08/03 04:11push

推

abc12812 08/03 04:11唬爛機器人 除了詐騙以外就沒啥實際公用

※ 編輯: neo5277 (111.243.100.32 臺灣), 08/03/2024 04:16:02
→

adidas52088 08/03 04:17還敢提13700k

→

adidas52088 08/03 04:18所以特斯拉拿來訓練FSD跟人形機器人的想法不是很好

→

adidas52088 08/03 04:18嗎

沒有不好啊，看台灣有沒有辦法吃到後續產業鏈生意阿

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 04:20:37
→

Arodz 08/03 04:39AI沒什麼問題 有問題的是投資人☺

推

st9061204 08/03 04:54我有個問題，既然進入AI開發的門檻很高

→

st9061204 08/03 04:55實際上能玩得起的大公司在競爭上的緊迫性沒有很高吧

研發是個變數，因為你不知道他會不會單點突破，openai跟google就是好例子，逼得人家 覺得成本效益不符人家就會放棄，除非你是google,燒不完，對內要說服元老院跟股東繼 續投資支持股價都要有東西出來，CEO很重要 啊，他是屬於管理型，還是進取型，還有是不是公司吉祥物，這些都是參數，當然也有玩 脫的，賈伯斯就是。

推

noddle 08/03 04:55推分享

推

David312 08/03 04:56抱歉我有點疑問，想問電動車自動駕駛的部分是否有可

→

David312 08/03 04:56能因為ai而加速成真，自動駕駛L5是我比較看好未來
→

David312 08/03 04:56都市的一部分

這個有點大哉問，對自動駕駛有沒有幫助 一定有，但是台灣會不會有？ 可能只有重劃區吧，要普及應該是因地而異

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:08:40 ※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:10:17
推

apl02 08/03 05:10感謝分享

推

David312 08/03 05:20這...我的疑問確實有點讓人不知所以然，那我問比較

→

David312 08/03 05:20細一點好了，以前有聽說過特斯拉要拼自動駕駛L5，

→

David312 08/03 05:21但是卡在感應週邊環境能力以及運算可能發生的危險

→

David312 08/03 05:21等等因素所以很難突破，而現在的ai則是在算力跟模

→

David312 08/03 05:21型還是啥能力部分進步很多（抱歉這塊我真的不太懂）

→

David312 08/03 05:21，如果以目前的ai能力找一個城市專門訓練電動車自

→

David312 08/03 05:21動駕駛，結合城市內多個攝影機等等提供環境變數參

→

David312 08/03 05:21考來訓練並完成全城內的自動駕駛L5，不要一開始就挑

→

David312 08/03 05:21戰完美L5而是只要某個城市內能自動駕駛L5這樣，以上

→

David312 08/03 05:21想法我覺得有可能，但是也許只有對岸敢作，剛開始

→

David312 08/03 05:21應該很多事故，只有對岸能直接壓下吧...

訓練偵測是一件事，反應速度整合是一件事情，大陸那個也是有人在監督的 自己體驗是現在特斯拉的車，偵測已經是會把周遭的東西很形象的辨識進去，但是操作就 不知道台灣也沒辦法試，之前加州實驗似乎小意外被叫停下了。

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:25:04
推

David312 08/03 05:25然後城市內自動駕駛成功後，我認為最可能發展出來

→

David312 08/03 05:25的會是自動送貨，甚至搭配自動化大樓或機器人幫忙煮

→

David312 08/03 05:25熟等等，上網點個餐或買個東西，30分鐘後就到手裡這

→

David312 08/03 05:25樣，超適合不出門的阿宅不是嗎

這中國有類似的，還不完美

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:26:20
推

David312 08/03 05:28原來對岸有在搞了喔...看來我知道的東西太少了

→

mom213 08/03 05:295年前碩論做自駕視覺相關 L5目前演算法達不到 中國

→

mom213 08/03 05:29那套遠端工人智慧還比較實際

→

afflic 08/03 05:31你看得太短淺了……

→

afflic 08/03 05:31就像你說的，現在就是基礎建設的軍備競賽

→

afflic 08/03 05:31你燒錢燒不過人家，以後就是被人家佔領山頭

一人公司或是家天下可以，在國外就看CEO 囉

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:34:56
→

afflic 08/03 05:36這麼多公司總有一家可以，然後他就獨佔了

推

newbrain 08/03 05:43真的就是初期的思科獨佔網路基建模式重走

推

MangoKai 08/03 05:49Push

推

bluesix4722 08/03 05:50推

推

ohyaehchu 08/03 05:59大家都在賭啊 你不賭市場就沒你的份額，想追上很難

→

ohyaehchu 08/03 05:59了

→

WenliYang 08/03 06:34總之不賺錢 跟一般人也沒啥關係 盡吹
→

WenliYang 08/03 06:35自以為是山頭 實際上難說

推

A80211ab 08/03 06:41一定會獲利， 大數據整合與學習需要時間的

推

dodobaho 08/03 06:51這篇可以

噓

pig789 08/03 06:52自從陳龍看好台積電之後 AI就崩了

推

zzahoward 08/03 07:01你的演繹很清楚耶

→

zzahoward 08/03 07:02所以為什麼大家這麼怕中國搞AI 因為自由資本主義市

→

zzahoward 08/03 07:02場經不起無底洞的現金流 但中國可以餓肚子下去玩

推

huchain 08/03 07:05普及應用方法有限無法突破

→

WenliYang 08/03 07:06人型機器人……科幻片看看可以 實際上太難了 還早

→

WenliYang 08/03 07:06得很

推

afflic 08/03 07:10很難嗎 以前也無法想像會自己回答問題的電腦吧

→

afflic 08/03 07:11科幻片的情節正在一一被實現

推

eejovi 08/03 07:11建議可先考慮在高速公路上發展自動駕駛，場景較為

→

eejovi 08/03 07:11單純，相較城市。甚至若能透過自駕改善駕駛行為，

→

eejovi 08/03 07:11也許能有效提升高速公路的運輸狀況。

→

afflic 08/03 07:11不知道什麼時候輪到時光機

推

modhairs 08/03 07:17推一個

→

guteres 08/03 07:27同意長期投資

推

Samurai 08/03 07:34現在大家等的就是電影鋼鐵人中的賈維斯管家那種AI

→

Samurai 08/03 07:34，要看openAI chatgpt5有沒有大突破

→

Samurai 08/03 07:36LLM在chatgpt出來後已經往前跨了一大步

推

drajan 08/03 07:47Knowledge distillation, mixture of experts, edge

→

drajan 08/03 07:47 computing, quantization. 大哥你這些東西寫成中文

→

drajan 08/03 07:47看得懂的沒幾個吧 寫英文還比較有可比性

推

Cactusman 08/03 08:40還在算capex就沒意義了、問題是你不燒錢做未來連入

→

Cactusman 08/03 08:40場機會都沒

推

poeoe 08/03 08:40這篇是股版裡講得很不錯的了 好文

推

a942195 08/03 09:03高速公路EAP早就接近自動駕駛了 要lag多久

推

junior02048608/03 09:04中國搞這個沒用吧，被晶片禁令ban了

→

democrat 08/03 09:34台灣純軟業爛的跟屎一樣 自己判斷AI有沒有未來有失
→

democrat 08/03 09:34偏頗噢

推

clairehao 08/03 10:13推

推

rivual 08/03 10:28推這篇

推

qrose666 08/03 10:37推！

推

mdkn35 08/03 10:48我猜這版有多數人認為AI=LLM=自駕=各種神奇應用

→

newwu 08/03 11:00Quantization 真的翻量化嗎 這樣翻蠻怪的

推

tmot 08/03 11:01推

推

skylite789 08/03 11:14推一個專業！這才是懂AI的人講出來的

推

huabandd 08/03 11:23所以我才會看好高速網路跟雲端運算，蘋果做的事就

→

huabandd 08/03 11:23是這樣，自己不投資硬體用別人的雲端來訓練模型，

→

huabandd 08/03 11:23硬體淘汰的很快，你不換新的有別人換新的，用別人

→

huabandd 08/03 11:23提供的雲端運算完透過高速網路回傳到自己的系統，

→

huabandd 08/03 11:23未來甚至是傳到個人裝置上，才是省錢省裝置算力的

→

huabandd 08/03 11:23辦法，不然硬體的極限就在那邊，再怎麼想突破都很

→

huabandd 08/03 11:23困難，手機怎麼算都算不贏雲端，還不如直接收資料

推

ProTrader 08/03 11:38LLM當然有用 只是目前成本還是太高

→

ProTrader 08/03 11:38在教主那篇我就說了未來要拼的是AI的演算法

→

ProTrader 08/03 11:39用簡單有效的模型在便宜機台上算出有用結果

→

ProTrader 08/03 11:40也就是AI工程師要對各種專業知識有高度了解

→

ProTrader 08/03 11:41才可能在AI演算法突破 這是人類工程師的價值

→

ProTrader 08/03 11:42當然短期內搶鏟子的風潮會持續

→

ProTrader 08/03 11:43主因是現階段那些模型都是類神經網路

→

ProTrader 08/03 11:44類神經網路要降到夠便宜 至少要小模型甚至迷你模型

推

strlen 08/03 12:51還在擔心錢的事喔？我就問Uber燒了多久才損益平衡

→

strlen 08/03 12:51？YouTube呢？還有那個圖奇燒九年還是虧 電動車燒

→

strlen 08/03 12:51幾年？低軌衛星呢？就連智慧手機題材也是搞了3 5年

→

strlen 08/03 12:51才大爆發 廠商有收手嗎？只有看到後悔沒早點進場最

→

strlen 08/03 12:51後被洗出去的 怎麼會去擔心錢的問題？啊不然巨頭賺

→

strlen 08/03 12:51那麼多 你講一個比ai更有前途的投資嘛

想要左側的話，我都覺得很好啊 每個人接受的價位不同以我目前來說，這裡做左側，我覺得太高了。

※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 13:02:52
推

DarkerDuck 08/03 15:33優質分享推
同系列文章
[請益] AI到底是遇到什麼問題？
其他人也閱讀了
PTT 熱門相關
Stock最新熱門推薦
🔥🔥🔥