Re: [請益] 想從零開始轉行當AI軟體工程師
大家討論了很多高深的數學，或是頂會。
實際上，我真的很懷疑有多少人真的在業界上搞 AI。
只論台灣吧。首先市場上純研發，需要數學或考績強制發論文的職缺，占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會，幾乎沒有吧。就連國際研討會，比例來說也沒看到多少人在發，常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構，真的感受差很大，可能是我看得不夠多？
好啦，如果你在國外大公司當我錯了。的確很多人搞數學，但是人數比例還是超級少。
再來談產品。首先論產品的效果，資料面就決定結果論了。實際工作時，有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦，但是可能需求方，多給你一個有用的資料特徵，都比搞數學重要。
特徵工程需要用到數學或頂會能力嗎？
前面說可利用數學方法，或各種模型做特徵工程或過濾雜訊，這要看任務。至少我比較熟的語音訊號，NLP，搜尋，推薦排序，跟本就沒有好方法。沒有一套數學方法論，特徵可以有什麼突飛猛進的提升，沒見過。喔有人說預訓練，就能突飛猛進了啊，問題是，你用預訓練需要什麼數學？
你要重新設計一套預訓練模型，即使自己設計，也很難別人好阿。搞數學設計演算法要用在哪？ 實際上真的沒機會發揮居多吧。說數學有用的可以回文討論一下嗎。如果是說常用數學，都是寫在 pptx 上用來震撼長官用，我還稍微相信。
非深度學習，各種企業的結構化或數字型資料，也不需要設計什麼數學來做特徵工程吧。常見的不平衡標籤的狀況，用數學重新去設計 loss function, 效果提升真的有限，而且改來改去可能還不如用別人設計好的方法。改來改去不如前面搭一層規則引擎過濾修改 bad case結果。
資料與特徵搞得差不多了，來談談模型吧。
正常有經驗的人，怎麼會馬上跳到複雜的模型，或自己設計。拜託，恨不得模型越簡單越好嗎。能達到產品規格的模型就好，模型用越簡單越好，計算成本才能壓低，性能才會好。
這時有人會跳出來說了：我們會為了提升AI能力，用複雜的模型，然後蒸餾，這時需要數學了吧？ 沒吧，機會有夠少的。現成open source的蒸餾模型，scaling，都是經過研發與實驗的，你自己設計跟本很難效果贏別人。當那些世界名校學數學的人，是塑膠做的嗎？自己隨便搞就能贏人？
AI又不只 監督學習， RL，圖學習，各種複雜AI，總會用到數學了吧？問題是有多少人可以搞數學搞到比現成方法好？ 要花多少成本呢？
再來跳針一下，面試推導總該需要數學了吧。喔對，大廠工作基本工。問題是，你面完你就忘得差不多了。下次找工作再複習。而且台灣真的多數公司不考。
不是說數學不重要，或 學AI不需要學數學，而是單純找個混口飯吃的工作，還真的不用特別去學數學。只是要有 AI工作，沒頂會，沒kaggle也一堆工作。這才是現況吧。
--
我覺得會數學跟甚麼頂會、比賽是兩碼子事吧
如果要去看別人論文實作，不懂數學會連符號都看不懂
對，我也覺得兩碼子的事情。文中有錯可多指正。
跟設計演算法也是兩碼子事，只是單純讀得懂的而已
看論文實作或復現的工作在台灣也很少。多數不需要。
嵌入式環境需要吧 可沒有python的一堆套件可以用
數學 頂會 KAGGLE這三樣沒甚麼關係吧
重造輪子的工作比你想得多了，需要數學的
有啦ECCV 會在Kaggle辦比賽，請第一名去會議上分享
要在業界做applied ML軟工比數學重要太多了QQ
其實依照你的前提“只是要糊口飯吃”，不要說ai了，所有
行業都不需要數學了，沒什麼討論點吧。再來，你提到模型
的部分不就說了數學的重要性，還是你其實是想告誡大家不
要妄想跟世界名校數學人競爭而不是數學的重要性？最後，
你提到的部份把前提假設的這麼美好當然就不用數學，來聊
聊推薦系統好了，今天老闆給你一行為人的一堆網頁點擊資
料，跟一堆他看過的文本圖片，而且都還稀疏各種缺漏，接
著就什麼都沒有了，叫你弄推薦系統，你是打算現在流行方
法套一套然後交差然後說抱歉我盡力了嗎？還是或嘗試用統
計方法處理一下資料？
或是股市資料，今天老闆就給你開高低收量，叫你寫策略，
你一樣是會用現行流行方法套一套然後說沒辦法，還是嘗試
去機率建模分析？
樓上 你確定現在推薦系統是這樣做的? XD 從數學做
老板會叫你回家吃自己.... 別人都上市了 你在那刻
更別提還有很多美麗的數學解不了的工程問題
再提一下模型的部分，模型越小越好除了成本考量，最重要
的是降低capacity導致的overtraining的問題，深入研發的
部分有一大派就是在想辦法降低這個部分，但你只有兩條路
，一是改變模型架構這也是，純學術在做的事，因為不用考
慮有的沒的只要專注降低capacity跟訓練成本就好，像tran
sformer極大程度降低了capacity跟能夠平行運算，另一條路
就是想辦法丟進模型的資訊少一點，因為根據Universal ap
真覺得這麼厲害也有用 可以去對岸試試
proximation theorem能在模型上幹的事有限，結果不管怎麼
搞就是那樣，所以要嘛像你說的伸手牌去跟需求端要更好的
特徵，要嘛就是自己搞，對就是用數學，就算是那些常見手
法你不會就不能用
實務上就一堆數學搞不定的 就是叫工程的搞破壞搞定
你也就講 那數學哩 你看過一堆暴力pruning?
至今這幫人也還沒給出啥解釋 但人家超好用啊
你總有上線後要優化吧，真的就要放上去就不管喔那我也沒
話說啦
你只是上線後優化....很多時候跟數學沒關啊....
優化界跟數學沒關的更多了 = =" 很多都是後來再套數
學上去的 後面來的人傻傻以為人家是這樣想出來的
現實情況是 如果有數學可以解真好 但多的是沒有
我的優化不是優化速度有的沒的，是優化準確率啦
你不能沒有就不做阿=_=
但還是得優化....囧>
優化準確率 然後你去做數學 結果花一堆時間做出來
更爛....你老板不立馬開了你 不然你以為大家大部份
都是從別的地方開始是為啥....
就拿cnn類來說 自從出來後 真有意義的改良也就幾個
你知道平台端的廣告投放商競價系統要做的事嗎？
一年大拜拜就出那個位數篇 也就幾年而已
優化那個機率真的不是你暴力法去搞就好
我沒跟 平台端做過 到是不知道
我跟你的上面出推薦的人做過 最後他們用我們暴力方
案....用空間換
他們自己算過成本 對方也一堆數學家+AI理論專家
最後各種比完之後拿下來的是工程硬解上RAM
後面商家我沒做過 抱歉 也許那端是吧
數學那麼美麗 我每個都用f32不更美 剛好回家吃自己
還不如int8/16 混合先撐撐過了再說
當然我不是說數學不好 只是說要久一點 要多久就是
比投資人的耐心了....學術界就是要比有沒有人比你更
快想到....
說到數學家 一堆都在研究blis/blas/smm-mul
純數還沒有遇到幾個 還真不知道他們在幹嘛
但我知道沒有很常在做網路就是了
四類寫後端又念資管碩寫AI論,非相關科系根本不懂那數學符號
我寫完論文我還是不懂, 問幾個中階的問題我就死了
我在業界AI到現在的確是沒什麼碰到數學
頂會workshop倒是有個一篇
我在IC設計公司用過濾波器數學
回上面的：你確定現在推薦系統是這樣做+1（好啦我沒
有要參戰XD
應該說在台灣 不是職稱有AI就以為自己在搞AI
寫作人工智慧 讀作工人智慧
不過現在台灣業界對AI的定義就是這樣沒錯
台灣的純軟公司體量沒有大到像國外可以真的搞研究
發paper 台灣業界就是要速成有效和部署
囧> 我也沒有要參戰啊 只是覺得事必有因 這樣XD
再看幾個回應 嗯 果然不出所料XD
其實全世界真做nn研究的真的很少 每年做出來的都可
以用手指數的@[email protected]~ cv來說過去幾年也就某一派大殺四方
說實話我自認智商不足 還是去一邊畫圈好了XD
我覺得有效部署不是錯事 因為更多ai都是紙上談兵
而且要有資金才有新研究 還是要能有錢才轉得動啊
幾乎所有公司都是拿別的養ai部門 沒有別的搶上市先
賺一波也不是壞事啊
現在推薦系統複雜多了 都是pipeline組合 基本上是工
程問題 只是每個環節上有不同model針對該環節指標優
化 但說實在看起來很work的論文 套用到在家data上根
本不一定work 對資料的研究 前處理 這些工程事情才真
的是關鍵 另外像是推薦系統這種雖然有指標但每個人體
感大不相同的東西 為了幾%的指標提升從ML改DL 然後每
個月燒的數字多一個0 這方案絕對不會被採用的
推薦系統，或人的行為紀錄，現在根本沒有好的數學可以提升
點擊效果，購買效果。也是考大力出奇蹟。實務上真的沒機會
給你用數學去提升。
這篇才接近現實
基本上你公司誰算力大誰就贏一半了
不用算數學 積木設計好丟下去NAS搞定
同意原po說的 看起來是業內人XD 推薦系統跟數學完全
無關 完全是domain knowledge跟工程 有時候抓到key f
eature就吊打千千萬萬模型了
不行的話就是大力出奇蹟XD
15
一般來說 我的面試會加問幾個問題 1. 請描述下 probability 的定義是什麼？ 2. 請描述下 normal distribution 的定義是什麼？ 3. 請描述下 medium 的定義是什麼？給 1234567 這個數組 中位數是多少？123456 中位數 是多少？5
其實看到這串討論文真的心有戚戚焉 目前AI工作2年多，是有一些心得... 其實AI方面的工作，更需要的是系統/資料收集相關的人員 例如 標註師、CUDA優化、嵌入式相關、伺服器相關等等... 這些都不需要數學多好，更要求的是程式/系統能力，需求量也更大39
我來散佈一些正能量好了 小弟在FANG的英國的一個一直賠錢的AI子公司工作4+年了。 其實我覺得數學真的沒那麼重要，除非你是要做理論的。 又不是每個人都是Ian Goodfellow, Ashish Vaswani, 還是 David Silver. 就算是這些重要的工作，也不見得數學有很深吧？![Re: [請益] 想從零開始轉行當AI軟體工程師](https://assets-global.website-files.com/621d30e84caf0be3291dbf1c/623082907ce4897c3820b24c_DeepMind.jpg "Re: [請益] 想從零開始轉行當AI軟體工程師")
35
嘛，看到這標題，身為本命愛蜜莉雅的肥宅工程師也來鼓勵(?)分享一下 本肥在112讀大學時修過CSIE田神的ML 猶記得當初只會寫C/C++的自己 在沒人提示的情況下，矇逼的手刻各種矩陣運算，一個作業寫了上千行code 在EE的繁重課業下忍痛停休![Re: [請益] 想從零開始轉行當AI軟體工程師](https://i.imgur.com/VBSwkjeb.jpg "Re: [請益] 想從零開始轉行當AI軟體工程師")
8
Hello 我勉強算是在一線外商做機器學習的 我覺得討論到這裡需要釐清一下所謂 "AI工程師" 的角色 在業界下圖打*號的都有可能會自稱是 "AI工程師" _________________________圖____________________________ Domain Expert4
就目前我所知道的AI來說，絕大多數都是應用在"現有產品"的加值上面 怎麼說呢? 譬如說我就有聽過EDA的公司找應用DL來把EDA做最佳化的學生， 或像是趨勢想要把DL應用在惡意封包的偵測上， 或是本業是嵌入式系統的公司，想要做出更炫的產品應用等等，12
xxx 這行，水很深。 隨便套個行業或專業都適用。 當遊民撿垃圾這行也很深啊。 我都不知道哪裡貨源比較多，哪裡睡覺蚊蟲少。 哪個遊民不是從無到有去慢慢學的，只是誰先學，誰後學而已啊，拍什麼。這套在任何行業都這樣啊。
我認為要先釐清楚一點，要做AI的模型並非只能透過Python， 大家都用Python原因在於AI套件都已經由國外的大神做好了， 甚至有些套件都事先訓練好資料，提供weight檔案，可以直接使用應用在某些專案， 若只是要用這些AI套件，使用Python非常方便 Python的優點：11
我也來雲一下，因為自己年資尚淺，有些錯誤地方可能請大家提一下 自己算是AI相關工作 首先，如果"興趣"是做個手寫辨識或者讀個書/看個報導就想去做這行的話 我自己是覺得...工作閒暇之餘當作課外作業讀一讀/做一做還不錯啦XD 畢竟多學一些東西總是好的1
on : 當起手 : 因為是新東西，目前就業機會相較其他語言比較少建議從別的學起，也建議我上來問問 各 : 位前輩
37
[討論] ML/AI 工程師需要的數學我換個標題比較方便未來有人需要的話可以搜尋。 我來拋磚引玉一下台灣業界現況。 我個人 112 CSIE 碩畢，但碩論跟 ML 無關，沒有 ML 相關的學術論文。 Kaggle 銅牌以上 x 5 (兩次是抱團靠隊友) 六年工作經驗，算是 deep learning 熱潮起來以前就入行。25
[請益] Backend加點AI技能有搞頭嗎?非本科學士 Java 年資約兩年 日前被公司人力精簡 目前為非自願離職狀態 有看到緯育有開一堂"AI技術應用工程師班"![[請益] Backend加點AI技能有搞頭嗎?](https://cdn-static.tibame.com/eventPage/event-page-default.png "[請益] Backend加點AI技能有搞頭嗎?")
5
Re: [請益] 高薪工作技能要如何獲得?很簡單 就是要點別人不會的能力 你講的C# JS 並不是別人不會的語言 新技術大家也都在看 你的進步速度也和大家一樣 反過來說有甚麼是多數人不會的? 比如數學相關的 寫程式的大部分數學都蠻爛的 什麼領域吃數學? 比如CG(電腦圖學) 你會CG可以丟facebook做VR頭盔的部門 CG吃大量的數學推導6
Re: [請益] 什麼程度履歷上才能說自己會AI恭喜你 : 未來實驗室是做影像辨識、ML/DL之類的 : 可是我大學沒接觸過這塊領域 很多人都這樣，四大四中也不例外 : 雖然這學期有開始在修這方面的課