PTT推薦

Re: [請益] 想從零開始轉行當AI軟體工程師

看板Soft_Job標題Re: [請益] 想從零開始轉行當AI軟體工程師作者
DrTech
(竹科管理處網軍研發人員)
時間推噓23 推:23 噓:0 →:86

大家討論了很多高深的數學,或是頂會。
實際上,我真的很懷疑有多少人真的在業界上搞 AI。

只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多?

好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。


再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。

特徵工程需要用到數學或頂會能力嗎?

前面說可利用數學方法,或各種模型做特徵工程或過濾雜訊,這要看任務。至少我比較熟的語音訊號,NLP,搜尋,推薦排序,跟本就沒有好方法。沒有一套數學方法論,特徵可以有什麼突飛猛進的提升,沒見過。喔有人說預訓練,就能突飛猛進了啊,問題是,你用預訓練需要什麼數學?

你要重新設計一套預訓練模型,即使自己設計,也很難別人好阿。搞數學設計演算法要用在哪? 實際上真的沒機會發揮居多吧。說數學有用的可以回文討論一下嗎。如果是說常用數學,都是寫在 pptx 上用來震撼長官用,我還稍微相信。


非深度學習,各種企業的結構化或數字型資料,也不需要設計什麼數學來做特徵工程吧。常見的不平衡標籤的狀況,用數學重新去設計 loss function, 效果提升真的有限,而且改來改去可能還不如用別人設計好的方法。改來改去不如前面搭一層規則引擎過濾修改 bad case結果。

資料與特徵搞得差不多了,來談談模型吧。
正常有經驗的人,怎麼會馬上跳到複雜的模型,或自己設計。拜託,恨不得模型越簡單越好嗎。能達到產品規格的模型就好,模型用越簡單越好,計算成本才能壓低,性能才會好。

這時有人會跳出來說了:我們會為了提升AI能力,用複雜的模型,然後蒸餾,這時需要數學了吧? 沒吧,機會有夠少的。現成open source的蒸餾模型,scaling,都是經過研發與實驗的,你自己設計跟本很難效果贏別人。當那些世界名校學數學的人,是塑膠做的嗎?自己隨便搞就能贏人?

AI又不只 監督學習, RL,圖學習,各種複雜AI,總會用到數學了吧?問題是有多少人可以搞數學搞到比現成方法好? 要花多少成本呢?

再來跳針一下,面試推導總該需要數學了吧。喔對,大廠工作基本工。問題是,你面完你就忘得差不多了。下次找工作再複習。而且台灣真的多數公司不考。

不是說數學不重要,或 學AI不需要學數學,而是單純找個混口飯吃的工作,還真的不用特別去學數學。只是要有 AI工作,沒頂會,沒kaggle也一堆工作。這才是現況吧。




--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.148.218 (臺灣)
PTT 網址

shomingchang11/11 01:31我覺得會數學跟甚麼頂會、比賽是兩碼子事吧

shomingchang11/11 01:32如果要去看別人論文實作,不懂數學會連符號都看不懂

DrTech11/11 01:33對,我也覺得兩碼子的事情。文中有錯可多指正。

shomingchang11/11 01:34跟設計演算法也是兩碼子事,只是單純讀得懂的而已

DrTech11/11 01:35看論文實作或復現的工作在台灣也很少。多數不需要。

shomingchang11/11 01:38嵌入式環境需要吧 可沒有python的一堆套件可以用

clothg3456911/11 02:23數學 頂會 KAGGLE這三樣沒甚麼關係吧

labbat11/11 02:51重造輪子的工作比你想得多了,需要數學的

min8661511/11 08:10有啦ECCV 會在Kaggle辦比賽,請第一名去會議上分享

frouscy11/11 08:34要在業界做applied ML軟工比數學重要太多了QQ

stmilk11/11 09:39其實依照你的前提“只是要糊口飯吃”,不要說ai了,所有

stmilk11/11 09:39行業都不需要數學了,沒什麼討論點吧。再來,你提到模型

stmilk11/11 09:39的部分不就說了數學的重要性,還是你其實是想告誡大家不

stmilk11/11 09:39要妄想跟世界名校數學人競爭而不是數學的重要性?最後,

stmilk11/11 09:39你提到的部份把前提假設的這麼美好當然就不用數學,來聊

stmilk11/11 09:39聊推薦系統好了,今天老闆給你一行為人的一堆網頁點擊資

stmilk11/11 09:39料,跟一堆他看過的文本圖片,而且都還稀疏各種缺漏,接

stmilk11/11 09:39著就什麼都沒有了,叫你弄推薦系統,你是打算現在流行方

stmilk11/11 09:39法套一套然後交差然後說抱歉我盡力了嗎?還是或嘗試用統

stmilk11/11 09:39計方法處理一下資料?

stmilk11/11 09:44或是股市資料,今天老闆就給你開高低收量,叫你寫策略,

stmilk11/11 09:44你一樣是會用現行流行方法套一套然後說沒辦法,還是嘗試

stmilk11/11 09:44去機率建模分析?

mmonkeyboyy11/11 10:00樓上 你確定現在推薦系統是這樣做的? XD 從數學做

mmonkeyboyy11/11 10:00老板會叫你回家吃自己.... 別人都上市了 你在那刻

mmonkeyboyy11/11 10:03更別提還有很多美麗的數學解不了的工程問題

stmilk11/11 10:07再提一下模型的部分,模型越小越好除了成本考量,最重要

stmilk11/11 10:07的是降低capacity導致的overtraining的問題,深入研發的

stmilk11/11 10:07部分有一大派就是在想辦法降低這個部分,但你只有兩條路

stmilk11/11 10:07,一是改變模型架構這也是,純學術在做的事,因為不用考

stmilk11/11 10:07慮有的沒的只要專注降低capacity跟訓練成本就好,像tran

stmilk11/11 10:07sformer極大程度降低了capacity跟能夠平行運算,另一條路

stmilk11/11 10:07就是想辦法丟進模型的資訊少一點,因為根據Universal ap

mmonkeyboyy11/11 10:07真覺得這麼厲害也有用 可以去對岸試試

stmilk11/11 10:07proximation theorem能在模型上幹的事有限,結果不管怎麼

stmilk11/11 10:07搞就是那樣,所以要嘛像你說的伸手牌去跟需求端要更好的

stmilk11/11 10:07特徵,要嘛就是自己搞,對就是用數學,就算是那些常見手

stmilk11/11 10:07法你不會就不能用

mmonkeyboyy11/11 10:09實務上就一堆數學搞不定的 就是叫工程的搞破壞搞定

mmonkeyboyy11/11 10:11你也就講 那數學哩 你看過一堆暴力pruning?

mmonkeyboyy11/11 10:11至今這幫人也還沒給出啥解釋 但人家超好用啊

stmilk11/11 10:12你總有上線後要優化吧,真的就要放上去就不管喔那我也沒

stmilk11/11 10:12話說啦

mmonkeyboyy11/11 10:12你只是上線後優化....很多時候跟數學沒關啊....

mmonkeyboyy11/11 10:13優化界跟數學沒關的更多了 = =" 很多都是後來再套數

mmonkeyboyy11/11 10:13學上去的 後面來的人傻傻以為人家是這樣想出來的

mmonkeyboyy11/11 10:14現實情況是 如果有數學可以解真好 但多的是沒有

stmilk11/11 10:14我的優化不是優化速度有的沒的,是優化準確率啦

stmilk11/11 10:15你不能沒有就不做阿=_=

mmonkeyboyy11/11 10:15但還是得優化....囧>

mmonkeyboyy11/11 10:15優化準確率 然後你去做數學 結果花一堆時間做出來

mmonkeyboyy11/11 10:16更爛....你老板不立馬開了你 不然你以為大家大部份

mmonkeyboyy11/11 10:16都是從別的地方開始是為啥....

mmonkeyboyy11/11 10:17就拿cnn類來說 自從出來後 真有意義的改良也就幾個

stmilk11/11 10:17你知道平台端的廣告投放商競價系統要做的事嗎?

mmonkeyboyy11/11 10:18一年大拜拜就出那個位數篇 也就幾年而已

stmilk11/11 10:18優化那個機率真的不是你暴力法去搞就好

mmonkeyboyy11/11 10:19我沒跟 平台端做過 到是不知道

mmonkeyboyy11/11 10:19我跟你的上面出推薦的人做過 最後他們用我們暴力方

mmonkeyboyy11/11 10:20案....用空間換

mmonkeyboyy11/11 10:21他們自己算過成本 對方也一堆數學家+AI理論專家

mmonkeyboyy11/11 10:22最後各種比完之後拿下來的是工程硬解上RAM

mmonkeyboyy11/11 10:22後面商家我沒做過 抱歉 也許那端是吧

mmonkeyboyy11/11 10:24數學那麼美麗 我每個都用f32不更美 剛好回家吃自己

mmonkeyboyy11/11 10:24還不如int8/16 混合先撐撐過了再說

mmonkeyboyy11/11 10:25當然我不是說數學不好 只是說要久一點 要多久就是

mmonkeyboyy11/11 10:26比投資人的耐心了....學術界就是要比有沒有人比你更

mmonkeyboyy11/11 10:26快想到....

mmonkeyboyy11/11 10:33說到數學家 一堆都在研究blis/blas/smm-mul

mmonkeyboyy11/11 10:35純數還沒有遇到幾個 還真不知道他們在幹嘛

mmonkeyboyy11/11 10:35但我知道沒有很常在做網路就是了

alpe11/11 11:50四類寫後端又念資管碩寫AI論,非相關科系根本不懂那數學符號

alpe11/11 11:52我寫完論文我還是不懂, 問幾個中階的問題我就死了

aria052011/11 15:56我在業界AI到現在的確是沒什麼碰到數學

aria052011/11 15:56頂會workshop倒是有個一篇

odahawk11/11 16:14我在IC設計公司用過濾波器數學

solitude606011/11 17:05回上面的:你確定現在推薦系統是這樣做+1(好啦我沒

solitude606011/11 17:05有要參戰XD

leptoneta11/11 17:38應該說在台灣 不是職稱有AI就以為自己在搞AI

leptoneta11/11 17:39寫作人工智慧 讀作工人智慧

aria052011/11 20:24不過現在台灣業界對AI的定義就是這樣沒錯

aria052011/11 20:25台灣的純軟公司體量沒有大到像國外可以真的搞研究

aria052011/11 20:25發paper 台灣業界就是要速成有效和部署

mmonkeyboyy11/12 02:02囧> 我也沒有要參戰啊 只是覺得事必有因 這樣XD

mmonkeyboyy11/12 02:03再看幾個回應 嗯 果然不出所料XD

mmonkeyboyy11/12 02:04其實全世界真做nn研究的真的很少 每年做出來的都可

mmonkeyboyy11/12 02:04以用手指數的@[email protected]~ cv來說過去幾年也就某一派大殺四方

mmonkeyboyy11/12 02:05說實話我自認智商不足 還是去一邊畫圈好了XD

mmonkeyboyy11/12 02:06我覺得有效部署不是錯事 因為更多ai都是紙上談兵

mmonkeyboyy11/12 02:08而且要有資金才有新研究 還是要能有錢才轉得動啊

mmonkeyboyy11/12 02:11幾乎所有公司都是拿別的養ai部門 沒有別的搶上市先

mmonkeyboyy11/12 02:11賺一波也不是壞事啊

world4jason11/12 12:35現在推薦系統複雜多了 都是pipeline組合 基本上是工

world4jason11/12 12:35程問題 只是每個環節上有不同model針對該環節指標優

world4jason11/12 12:35化 但說實在看起來很work的論文 套用到在家data上根

world4jason11/12 12:35本不一定work 對資料的研究 前處理 這些工程事情才真

world4jason11/12 12:35的是關鍵 另外像是推薦系統這種雖然有指標但每個人體

world4jason11/12 12:35感大不相同的東西 為了幾%的指標提升從ML改DL 然後每

world4jason11/12 12:35個月燒的數字多一個0 這方案絕對不會被採用的

DrTech11/12 12:44推薦系統,或人的行為紀錄,現在根本沒有好的數學可以提升

DrTech11/12 12:44點擊效果,購買效果。也是考大力出奇蹟。實務上真的沒機會

DrTech11/12 12:44給你用數學去提升。

aiueokaki11/12 12:57這篇才接近現實

aria052011/12 23:32基本上你公司誰算力大誰就贏一半了

aria052011/12 23:34不用算數學 積木設計好丟下去NAS搞定

world4jason11/14 00:09同意原po說的 看起來是業內人XD 推薦系統跟數學完全

world4jason11/14 00:09無關 完全是domain knowledge跟工程 有時候抓到key f

world4jason11/14 00:09eature就吊打千千萬萬模型了

world4jason11/14 00:09不行的話就是大力出奇蹟XD