PTT推薦 LDPC 過去發表過的文章

13 

雅虎的故事 可以看看這個 最近有些考古文章 這篇寫得滿好 講了狗家AI的歷史發展 和一些精神上核心(註1) 大意就是

16 

@@ HBM這金礦今年 SK Hynix 226.52 % MU 156% Samsung 101.31 然後台灣記憶體

18 

這新聞不太對吧@@ 阿祖公司是個奇行種 因為他們燒錢的不止AI還有一個reality labs 我在2019年面他們Reality Lab on-site 他們有一個項目是要做用手去控制AR/VR 那時候狗家或HTC甚至FB AI lab 是用ar眼鏡上的camera 去做影像檢測 來達到手勢控制 然後那時候負責人跟我說 他們不喜歡用眼鏡上攝影機去做機器學習CV裡面的手勢控制檢測

44 

@@ 現在就算力小隊瘋狂買吧 狗狗蘇媽老黃甲骨文(亞麻我有偏見所以我沒買@@)crwv 另外一個主因是 新創數量在瘋狂的暴漲中 只要有收入的新創 在Inference需求就超大

 2 

paycheck-to-paycheck啊 美國消費物價高 連吃個台灣蛋餅都要八塊美金 小費和稅會總共再加上25% 租房一個套房就要兩三千美金 你年薪八萬(公務員) 扣掉稅 你到手的只有每月5千元 套房吃掉兩三千 開車養車保險 水電網路手機大概會再吃掉500~700 也就是只剩下一千多美金 用來買日常生活用品和吃 就沒錢了 去看脆 就算是台灣人

37 

@@ 這故事跟AI發展有點相關 在2018(免強用transformer劃分)以前 典型的AI research lab就是發發paper 去開開會 吃大餐 聊聊天 一年爽拿個30~40萬美金 那是各研究員的黃金時代 以我前前司為例 一餐可以報銷上限可以高達兩百美金 每天就吃大餐 開會 世界各地旅行 公司用這幫人打打廣告 典型就Fair Lab, MS Research, Adobe Research,

 1 

有啊 這是黃金戰場 各種模型已經顯著地提高醫生的效率 增加醫院 這裡面有各式各樣玩家 並不是只有醫院 包含醫療保險 正確支付 藥物成本控制 處方簽 下游藥物 整個各式各樣的系統 核心概念很簡單 整個醫療體系 是最混亂的unstructure data info system 過去是靠者人力在手動維護 現在全部走向AI自動化 我就是在這樣行業幹 看到一堆遍地黃金 當大家說AI是泡沫

 X 

我以前也不知道味道這概念 然後我跟我韓國老婆結婚後 恩 真的 味道的傳說是真的 然後很多習慣都被改 穿衣服方式 洗臉方式 甚至吃肉都可以注意到味道 我老婆說鼎泰豐是他唯一少數吃過豬肉牛肉沒血腥味道的餐廳 (最高級讚賞) 然後環境整潔意識都提高 甚至起床後 頭髮整理方式 像是頭髮翹起來 是她最不容忍的 然後我嗅覺大概也被提升了 現在對味道也不能容忍了

 X 

這部片是預言片 早就預言這一切的一切 @@/ ※ 引述《crocus (哪來的)》之銘言： : 1.媒體來源:中時 : 2.記者署名:中時新聞網 方翊倩

31 

現在就啥都漲啊 老黃160以後買不下 轉屯倉AMD/TSLA (參照#1egEuDvQ) 現在AMD/TSLA也太貴 剩下還能屯的就ORCL/UNH/GOOG 現在每天舊金山 開始只要PPT和一個POC就可以在那邊開新創了 開了新創後就會開始拿錢去租算力 算力現在已經有種無限內循環感覺 然後記憶體風暴也出現了 我現在已經不知道要買啥了 三星海力士美光我也買不下去了

34 

生態系這邊除了平台 還有模型生態系 現在大概就是進入模型比賽下半場 做模型大概開始有分界了 在2023以前 所有科學家的浪漫就是 自己打造自己模型 也就是自己從無到有訓練模型 因為該死的scale law出現後 開始出現高品質的原始基礎模型(Foundation Model) 基礎模型大體就是 高品質數據 好scalable訓練的模型 以及大量GPU

 1 

幫你們a7的人打打氣 QQ 這是我 7:40am開車出門 ->8:00到達車站搭車->9:30am到公司 這是社畜列車場景 對比 A7 6:46->7:36am 抵達101 有沒有覺得贏麻了 QQ ※ 引述《zouelephant (毛毛象)》之銘言：

32 

人類會找出出路的 我記得我第一份工作 有很多歐洲同事 其中一個是德國人 跟我說德國 很多人思維是跟潮流脫鉤 他講的第一個故事是 他說德國很多傳統手工鐘錶店 然後因為 智慧手錶趨勢 沒人在跑實體鐘錶店 最後這個職業協會每天要求政府補貼和提高電子關稅 來保護產業 第二個故事是 他說德國很多教書教授還是手寫授課。沒有電子化佢決用電腦 ppt打報告。然後他結論就是人要想辦法跟上時代 不然歐洲在科技業就是落後 而民眾就

 6 

我只想知道一個資訊 就是收入和股票投資比 單純只靠進出根本很難大幅打贏大盤 沒有額外現金流加倉 根本比不上買完不要操作刪除app 以下我自己肉身體驗 美股:2個帳戶 (不包含401k) A帳戶:沒在看績效 基本上就是 薪水到帳 想買啥 就買啥 我翻了一下 NVDA最低的記錄有到一塊錢還兩塊錢之類 這帳戶就是股都不賣的 除了2023

 1 

@@ 你可以手動選擇gpt-4o 就不會降速了 只是很麻煩 每次都要手動選取 不然就用狗家的也尚可 ※ 引述《taker627 (你馬英九嗎?)》之銘言： : 大家好 我台南南佳也啦 : 是這樣的

19 

2000年時期 我印象中好像沒看到啥失業率跟網路科技扯上關係 現在上面這表格就是 各行業被AI影響的失業相關性 基於此 泡沫->失業? "Something's not adding up" @@b 失業的性質恰巧是ai生產工具造成結果

之前在看自己的休旅車 去看了mini cooper countryman 開價5萬多美金 然後試開了一下 問說為啥沒有啥打方向燈換線時 警示來車 (我開的BMW會有) 然後車商sales說 歐歐歐 我家的車子窗戶很大 你可以看到來車 不需要這些警示功能分心你 .... -_- 然後我問都誰買Mini 他都會說歐大公司老闆啊 手上一堆車那種 週末出去兜風時會開Mini

11 

@@ 隨便問問 如果兩三層樓台北老公寓每層單戶那種 樓下都被你買光 然後自己重建 成自己要的透天 這種錢花得值嗎 ※ 引述《JQK2 (ACE)》之銘言： : 公寓老舊可以裝潢解決，但沒電梯，樓梯簡陋 : 周遭環境也差，跟宮廟餐飲店混雜，視野狹窄

39 

特特自駕領先 不代表Fusion是落伍的 也不代表 兩個資料互相衝突 系統聽誰的 不是的 不是這樣的 但就拿特特來說吧 特特有八顆鏡頭 假設行駛途中 5顆鏡頭壞掉 那這個剩下三個好的就去聽五個壞掉鏡頭嗎 不是啊 不是這樣的 這是因為模型自己會挑每個來源 特特自己端對端都在做八顆鏡頭融合了

 1 

-_- 真受不了 每天吵這個 fusion才不是1+1這玩意 才不是誰有雜訊不如只用一個 A+B -> 就是看權重 Pa*A + Pb*B 如果B信賴度低(pb=0) 就是退化成只用A 且隨時間軸變化Pa/Pb一直在變 不知道fusion怎用就回去看random forest ensemble 一堆weaker ML集合起來比強ML好 講白話點就是三個臭皮囊打贏一個諸葛亮

 3 

因為不想搬離舒適區吧 因為加州有個Prop19法案 你可以搬去加州任何地段 然後用當年 買房低房地產稅率 然後再低物價的加州地方(像是Sacramento) 享受高品質生活 像我隔壁老太太 房子大概價值2.2M 每年繳稅大概5000美金 還是不願意搬出HCOL (對比 我大概要繳兩萬多美金) 然後加州很多地方比Santa Monica便宜 Santa Monica因為有海景 所以貴 這種舒服地段沒人會想搬出 所以房子物件稀少

參照今年三月#1duFpOst文章 推薦買757應該都能滷肉飯加蛋了吧 @@b 推 justeat : 757漲這麼多了 還要追? 03/24 14:36 看美股母股啊 今日股價都離高點還很遠 NVDA:117 /市值2.88T 個人不負責之後市值預測:>5T GOOGL: 163/市值2.02T 個人不負責之後市值預測:>5T

 1 

@@ 雜魚我自己寫一寫 順便寫個心得文 2008-2009 MTK 印象月薪六萬 入職時三張股票+50萬簽約金 年薪大概就是200-300萬 2010-2015 PhD 2015-2020 D家 Researcher 薪水很爛 但自由度無限高 碰啥自駕 機器人ARVR CV/NLP都行 2020-2023 某廠Researcher 260K-300K WLB超棒 各種題目隨便碰 但以公司產品為主

這些都是老黃的金錢來源 敝司在上面 人生第一次h100可以用到爽..... 我今天加買老黃了QQ -- 你們不知道那種乞丐餓太久看到無限吃到飽感覺嗎.....

15 

@@ 這個是有點原因的 中國人是因為之前 韓國投資移民門檻低(5億韓元->1千多萬台幣) 後期有提高 加上這幾年中國一堆人想潤 韓國變得首選 韓國首爾仁川那邊都是中國人 而美國人 其實就是韓國移民美國 當初被迫放棄韓國國籍 然後韓國是你65歲之後可以從新申請雙重國籍 很多在美國打工族賺飽後 就回移民

34 

QQ 發發廢文 來安利一下最近摸的玩意skypilot 在進入這個技術線前 先講講AI落地兩方向 BtoC vs BtoB 針對BtoC就是 大家看到的Grok/Gemini/ChatGPT 這種面向個人使用的虛擬助手 需要處理幾要複雜的動態環境 畢竟使用者有各種天馬行空需求 不牽涉系統整合

 5 

其實會 加州有個漂亮地方叫做太浩湖 那邊的熊都會去翻居民的食物 當熊媽媽帶者小熊如果過度翻人類食物 也不在害怕人類時 就會被ranger獵殺 因為人類怕小熊會學起這些態度 而事實上 太浩湖的那邊熊 一年比一一年不怕人類 應該是有學到大部分人類不可怕 只要怕ranger(公園警察) 我今年七月去太浩湖露營 就遇到個熊媽媽帶小熊到處翻露營人類食物

 3 

防熊噴霧超有用啊 我之前露營 熊就在我帳篷外面一公尺旁邊聞聞聞 熊的鼻子是人類靈敏2000倍 你那個噴霧會讓他鼻子腦痛到一分鐘無法行動 那就是你黃金逃跑時間@@b 在美國拿眾生平等器還不如防熊噴霧 眾生平等器大概 只有一發時間可以打 除非你能打中他腦袋 以熊的速度馬上就可以把你ko@@ ※ 引述《stellargo (欸潤)》之銘言：

 3 

看起來好像是這家? @@? 看來是 LAmbroise 底下的回答供大家參考一下 GPT回答

 4 

不知道軟家在幹嘛 不過有一幫人都往語音->資料整理邁進 尤其是開會這種 開完會-> (筆記 ->工作日誌 進度日誌)自動產生 這時候原本需要PM 去做的事情 都給AI搞 軟家搞AI語音的前中國大頭 Xuedong Huang就去Zoom當CTO 專心搞這種語音開會 各種自動化電子產生 搭配AI Agent 就想成以後PM可以變成AI了 然後提供給Zoom的這個語音筆記方案是otter ai(獨角獸)

 X 

韓國買美股也是要繳稅 每年超過2.5million韓元 資本利得稅 (1798.34 美金) 就要 繳給韓國政府20% 跟台灣比那個免稅額度(每年海內外總額度750萬)差距很大 而買韓國本土的跟台灣一樣 都是很少0.18%交易稅 所以可以在韓股玩當沖 但我不懂的是韓國房價 QQ....前陣子去看40坪江南20年老公寓 已經衝到350+萬美元了 韓股搞下來 妖骨都是啥BTS股 還有一個一年150% 3年1000%韓國泡麵股票(三養辣泡麵)

52 

分享網路的瓜 <-推薦看這個 基本上 果家幾個原因指向Craig Federighi (就是蘋果宣傳大會那個白頭髮開法拉利的) 他認為AI模型在沒準備好前 不能直接上線 也不能走open source

 5 

00757 就AI浪潮啊 8個加2支半雜魚 我之前文章有寫 叫大家屯00757 不要相信清流君 結果被清流軍的粉絲胖揍 (參照#1duFpOst) 且00757 沒有特特唷 @@b 就算果家現在AI爛成這樣 他永遠有錢 可以買人家公司的選擇 走軟家路線 西雅圖AI team當初就是買人家的 這也意味者 果家有翻身的本錢 不像其他一打就爆 00757 買起來 @@b 你的孩子以後會感謝你的 可以對沖你的AI失業潮風險

12 

@@ 聽起來還沒有客戶 只是想模組化 作為下游數據中心可買的解決方案 但亞洲的數據中心 都是萬國數據吃掉 (日本跟馬來西亞) 看不懂 但感覺好像不會噴...QQ? 因為沒有客戶啊 就只是做個模組化 垂直打造

 8 

資料中心大基建 全世界熱潮今年開始 其中關注馬來西亞已久 主要是馬來西亞政府今年開始砸大錢 中國的萬國數據也很早進駐 @@ 觀望馬來西亞基建已久 但找不到標的 今天看到這個

 8 

去加州啊 這邊隨便社區圖書館都是面向台灣的 吃的部分 有鼎泰豐 八方雲集(即將) 美而美 鮮芋仙 茶湯會 段純貞 士林夜市等等

 1 

應該是真的 不過是屬於inference deploy端 也就是你在MLX訓練好模型 可以直接在NVDIA GPU平台上 用CUDA backend跑起來 這個訊號意味cuda算力平台 已經可以算是主流 所以蘋果逼得只好讓自己框架 在deploy端可以支援cuda gpu 不然訓練好的模型 主流平台都不能滿血跑inference 會挺尷尬的 至於要拿NVDIA GPU外接蘋果os去訓練模型 大概沒機會了 最後一代還能這樣做是TitanXP

14 

haha 高盛明顯想吃貨 現在已經很明顯 記憶體就是只會需求越來越高 尤其用記憶體換速度是一個主軸 加上其他算法上以後希望LLM有長期記憶功能 HBM需求只會更大不會更少 三星因為牽涉到種種因素 無法跟海力士競爭 主因為海力士跟台積已經磨合更好 (部分原因可看 )

20 

最近時間比較多 發發廢文 摘錄"我們希望中國持續使用排名第四的產品，因為他們仍然離不開美國技術"， "中國完全有能力自己做晶片，但你要保持領先一步，這樣他們就會持續買我們的產品" 這意味 美國商務長已接受用次次次次級晶片 來鎖西岸自研 (這論點很久以前就發過 參照2023 11月 1bJpKX18) 所以老黃應該會爆賺

會 會後悔@@ 我阿公當年閒得無聊 到處買房 後來替自己買了一棟全新高級公寓在陽明山 當年那時候的價錢 可以直接在仁愛路買一棟房 然後我家繼承了那棟 阿公其他子女都分到啥仁愛路 天母這種 然後我之前每次回台北住時 就是得搭計程車 上山 然後半夜被凍醒 後來還下山買攜帶暖氣 不然冬天會被凍死.. 最後受不了賣出 也沒人買 直到四五年前 終於賣掉 賣得比花蓮房子還便宜 @@

86 

QQ 可以做個問卷調調查嗎 NV140之後有誰有買 尤其150之後 請接受我的膝蓋 不過老黃這樣終於可以用低算力版本鎖西岸自研了 這也意味者中國萬人AI運動會響起 去小紅書看 一堆人把AI模型算法當小鎮做題家開始玩了(偶鄉下人發抖中QQ) 這也意味者cowos/hbm/tsm小隊 可以復活了 QQ 諸位門 開始全力多!! 半導體又要產黃金了!!@@b

27 

Ruoming Pang是做on-device AI專家 就是如何讓LLM這種在手機上或AR眼鏡運行 做on-device AI就那幾個人(果家跟高通) 其他大廠都在玩雲端AI模型這塊 所以阿祖佈局應該是AR眼鏡 去把果家最強挖過來 斷死果家 又增加自己籌碼 現在AI科學家跟選秀一樣了 簽約金 績效獎金 就像對照啥ESPN 籃球選秀 五星等級球員 AI界 你的openreview就是你的戰力排行表 你的citation就是你的星等職

31 

QQ 曾經我以為人類會變電池 看起來在變成電池前 會先變成AI資本主義的奴隸 最近純碼農裁員率高到一種噁心數字 軟體工程師就業市場已經進入到地獄等級 網路一堆leetcode刷到滿等 還是拿不到職缺 像我們這種在二線有刷到NeurIPS/ICML/ICLR 可以不用去跟碼農打架 但也是開始

39 

韓國首爾房產真的很地獄...QQ 我從五年前看的標的(樂天塔附近) 那時候大概5000萬台幣 還可以買到不錯低於10年的大廈 大概50坪 走路附近商圈都很棒 最近一次去看 已經漲到快8000萬 那邊的人上班薪水都不差 但還要去借貸 給小孩子補習用 第一次聽到 年薪七八百萬台幣的人 要借錢給小孩補習用(啥足球 圍棋 各種名師補習) 老婆的工作每天就是去打聽哪個補習班好 排隊搶抽籤名額 花貴森森錢給小孩補習

14 

目前與論是這篇測試方法有問題... @@ 旁邊吃瓜中 不過作者裡面有Samy Bengio 是AI三巨頭 Yoshua Bengio的弟弟 他們蘋果在去年底之前也發過類似風格一篇 說LLM推里有問題

爆 

這幾天比較有趣的消息是 Mary Meeker的新報告 她在29年前開始寫了一份 internet trends report 成功預測 網路用戶成長 廣告 行動網路等因為internet互聯網路 (The Internet Report” (1995) ) (1995年她在Morgan Stanley寫的報告 預測多媒體電腦等 ) 細節可以看這

31 

週末貢獻我兩分錢意見 竟然有人說waymo要收掉 在自從LLM Agent出現後@@ 機器人領域瘋狂發展 尤其自駕又開始捲起來 在大好戰場線整合戰前 把waymo收掉 @@? (=_= 讓我想起2024 1月 提到業界要把LLM整合自駕 一堆人噴我不懂) 給個時間線

 8 

週三貢獻我的兩分錢意見@@ 我觀察重點就是數據中心 數據中心若越多老黃架構 以及老黃數據中心能提供的量(scale 對應能支持多少個user訪問和大量AI效能低延遲運算 ) 那ASIC就算在推里有低成本 一但拉到cluster 大量scale還是很難贏 最大的問題就是 你數據中心假設用ASIC蓋 算法一但進化 整個數據中心砍掉重練嗎@@? 尤其現在精度可以繼續降低下(int8->int4)

19 

這個是95051郵遞區號房子房價 灣區這邊買房是認郵遞區號 當你跟對方第一次碰面 報上自家住家郵遞區號 就可以知道對方的家境了 類似你在台北報你住大安區一樣 95051就是NV總部區塊 QQ 恭喜士林北投 以後遇到士林北投的人 我都要跪者講話了 --

12 

@@ 其實老黃的情況跟台積電有點像 單顆gpu快 蘇媽已經示範給你看過了 最大問題是整個node-to-node cluster-to-cluster 平行串連 也就是所謂的scale 一堆gpu連起來時候 一堆問題就會出現 LLM inferece端都要拆解不同 cluster-to-cluster運算 LLM一個回答問題還拆解prefill和generation兩個不同cluster ( )

16 

@@ 大大 AI現在已經捲到一種不可思議事件 就是全世界所有的人都往這裡跳 拿NeurIPS這會議來說 他投稿量已經暴漲到27000投稿 你現在每家公司要刷存在感 要拼結果 就是公佈code 然後能複製實驗性 給inference模型 當大家都在捲時候 結果你跑去拿一個腳踏車 來參加F1大賽 等你腳踏車進化到F1賽車等級時候 那些 車手已經跑去下一場參賽了 這種瘋狂競爭下 沒有人能等其他家硬體成熟

 6 

@@ 你可以找有401k帳戶的人問問 一般來說現在401k 自己繳22k 外加公司送10~15k 一年大概就是35K放大盤 有些人會開backdoor 把他硬上到60k多 但用35K來算好了 (撇除每年上限都會浮動增加1~2k) 35kx20年 = 70萬美金本金 20年滾度動複利大概就是4~5倍 大部分人在20年後那天會有3M 也就是台幣一億 聽起來很棒吧@@/

50 

有謠言openAI跟微軟管AI的頭(Mustafa Suleyman) 從去年就在吵架 Mustafa據說 想用依據合約要求openai分享思考鏈(COT)o-1上模型設計 結果被openai直接冷拒絕 加上stargate等相關事情 微軟跟openai關係就生變 以及openai一派元老都出走創業

66 

這10大家 只有CROWDSTRIKE和SERVICENOW INC (算半個)是雜魚 其他八家在AI浪潮底下 且這八家都知道他們裡面在幹嘛 未來至少是光明的 總管理費用大約座落在 1.15% 雖貴 考慮其他八家接下來年化應該有10~20% 能接受 今年開始 我台股大概就會買00757的 底層邏輯很簡單 就是關稅戰一打

 7 

科技的加速在這幾年明顯指數成長 回顧過往幾個奇異點 QnQ 2012年的AlexNet Cuda原始碼 (*) 九年前 DARPA 美國軍方邀請人型機器人做開門 過障礙等 各種失敗合集

版上有沒有人在特特工作啊@@ 上個月特特recuriter找我去面tech lead LLM role 上週突然取消 好奇特特有沒有人能分享公司近況 最近就業市場突然寒冬起來 我好怕QnQ 連矽谷房價都開始跌了 ※ 引述《genius721105 (genius721105)》之銘言： : 真的不要為黑而黑了

92 

QQ 很多人都在說AI根本沒獲利 現在AI軍備競賽都只是泡沫 在講真實情況前 先來簡單科普一下genAI這鬼玩意 genAI是自從foundation model這玩意興起後出現的一種顯學 大體而言就是透過用一堆野生資料 去做預訓練(pre-training) 使得這類模型 之後在做下游任務(有答案數據標籤) 可以透過少量資料 去做許多高效能任務

 8 

有一個故事是這樣的 當年Randy Pausch在阿宅學校教書時候 也是鼓勵信念論 其中他問了一個學生 你將來想要做啥 學生說我希望將來能參與星際大戰 做影像合成美術設計 那時候星際大戰已經拍完 Randy沒說啥 就說 追逐你夢想 孩子 心裡OS 這你一輩子都不可能了 然後米老鼠之後啟動了星際大戰1,2,3和7,8,9 那學生就成功的圓夢了

58 

"遇到任何不能解決的事情 就用C4炸彈" <謠言終結者> 在AI界這邊也是 "遇到任何無法解決的事情 就用算力出奇蹟" < @v@b AI社群> (在下方任何段落 只要看到這** 就跳回來這默念這句話) #算法

63 

蘇媽在最近一次採訪給了ASIC跟GPU大戰的註解 她註解 Despite this, Su doesn't expect dedicated AI ASICs to replace GPUs any time soon.