Re: [請益] 想從零開始轉行當AI軟體工程師
嘛,看到這標題,身為本命愛蜜莉雅的肥宅工程師也來鼓勵(?)分享一下
本肥在112讀大學時修過CSIE田神的ML
猶記得當初只會寫C/C++的自己
在沒人提示的情況下,矇逼的手刻各種矩陣運算,一個作業寫了上千行code
在EE的繁重課業下忍痛停休
然而還是有去把整學期的課聽完,說實話ML/AI背後的數學理論真的收穫很多
後來讀碩班時正好就是李鴻毅開ML的第一年
我也才第一次接觸到python這個暴力且強大的直譯語言
除了有超多數學相關的lib能夠無腦call爆外,最重要的還是處理data的能力
那時瞬間搞不懂自己大學修ML時到底在瞎忙什麼
如果有個拿著流星鎚的藍髮女僕
我會跪求他馬上砸死我,讓我re到大學時期的德田館www
隨著前兩次的作業結束,覺得寫python也太簡單爽快,突然發現自己好想往ML/AI發展
然而學期後半段進入了類神經網路後,一切開始風雲變色
第三次作業的data再怎麼前處理,模型layer再怎麼疊,kaggle上的分數始終慘輸
太無情了,我的信心似乎崩潰了
最後作業結束時,記得老師請前幾名的同學上台分享他們怎麼做的
結果...我震撼了
上台分享的同學大致上也都是亂疊亂串一通,然後分數就突然超高而已
從此,我的AI夢好像也就嘎然而止了
時光荏苒,轉眼間我已是在豬屎屋挑屎挑了三年的肥肥工程師
即使工作內容完全與AI無關
但李鴻毅的那門ML卻是深深的影響著我
自家產品的log項目亂七八糟怎麼辦? python讀出來分類啊
一堆沒用的骯髒數據怎麼辦? 用python踢掉啊
別人給的excel/csv格式排版不是我想要的怎麼辦? python重新輸出啊
反正數據處理方面,python根本神到翻天
再搭配shell語法,各種雜事過來就是一切先自動化處理再說
其實我也不知道別人是怎麼做
但有這些tool對我分析數據上來說就是如虎添翼
但要是我沒修過ML,學到python的處理資料能力
搞不好我現在就還是在用C或人工在處理資料
也許AI風潮不再那麼狂熱,如果AI有顏色那一定是過氣的藍色
但還是很鼓勵可以去接觸看看,也許也能像本肥一樣收穫良多 > <
甚至我認為各個領域都非常有機會運用到處理資料的能力
而透過ML/AI去學習如何處理資料是非常好的一個方式 (燦笑
--
我老婆1 https://imgur.com/VBSwkje 我老婆2 https://imgur.com/wdMQImg我老婆3 https://imgur.com/wkngu3l 我老婆4 https://imgur.com/cOmVBaO我老婆5 https://imgur.com/s6TJwHK 我老婆6 https://imgur.com/cJs96qc我老婆7 https://imgur.com/Mob8u3q 我老婆8 https://imgur.com/qwxYDo5
--
屌耶,就像賈伯斯旁聽字體美學一樣,命運就是這麼神奇
你講的那些處理 perl跟tcl/tk 不是都玩到爛了?
我EDA外商的同學說他都在寫perl跟tcl
結果你講的是 python 有多強不是 AI 阿
不過說實在的很多 library 底層還是 C 實作才快
有些甚至還是 Fortran
python的實作跟compiler不是我的重點 我的資料量不會真的大到需要再去了解底層加速 甚至與其去做這種底層研究 我覺得更實際的是要去了解例如多份資料之間要search/match/merge時 怎麼寫到 O(n) 且一份資料盡量只traverse一次 這才是真正大幅減少時間的方式
fortran是沒辦法
快很好 但正確 易用 才有市場
Speed is irrelevant if you are going in the wrong dire
ction.
不能同意你更多XD
這篇是在說 在豬屎用python打雜混的比做ai好嗎XD
這也是前幾篇一直提到 你本身的domain knowledge才是最重要的XD
推拿流星槌的藍髮女僕(誤)
他的名字是什麼我一直想不起來 (大誤
底層Fortran?
Python 底層是C沒錯,但底層Fortran我見識少還真沒聽過
窩也不知道
之前看線性代數有用到 lapack 裡面有 Fortran 的語法
Fortran好懷念 好久沒寫了
那一堆線代解的裡面很多都有fortran
不信你下次compile時不要叫 gfortran看看
立馬死一堆XD
去搞懂直譯的意思 而不是在那邊我見識少
Kaggle有時候真的就是比模型本身的強度
有的模型就是特別適合拿來打比賽
用對模型基本上分數就會飆上去
剩下的就一些細節在那邊看能不能多拼個幾分
之前修軒田的final project有感
看leader board前面有些組很好心
submit還會附上自己用什麼模型XD
對 我修完課的確能知道說哪類的問題適合用哪類的模型去解 但我覺得tune參數或神經網路在疊layer的過程真的太難有一個方向或依據 當初我覺得就是在亂搞亂try一通,當然可能也是我功力不夠而已啦XD 然後kaggle上我反而喜歡看別組的組名wwww 我當初也取的超滑超中二XDD
我知道有些科學計算用Fortran 啊,我的意思是,有多少主
流套件,或程式,或OS底層是用Fortran?印象中幾乎沒有
或者本系列主題是AI,有多少搞AI工具底層是Fortran寫的
?
結果簽名檔沒放愛蜜莉雅
竟然有人發現了wwwww 快笑死XDDDDDD
而且現在科學計算主流不是幾乎都python和matlab了?
Matlab EE出身的可能還會用 CS底的因該斥之以鼻
Blas裡還有fortran 77 沒死透 而且有幾個還比c快 就
被留下來了
你如果說的科學計算是量子電腦 那python 是 超級電腦
類 python 用很少很少 matlab 就 算了吧
解數值的 FORTRAN 活的很好呢 只是包住你看不到
拿cpu 解DL的 fortran 也用到很多 GPGPU 我猜也有
沒死透不就代表死的差不多了?
死的剩一口氣而已
看你怎麼定義啊,如果那幾個函式被呼叫的次數是高過
其他用 python 寫的好幾個數量級算嗎?
我就只是好奇到底多少底層用Fortran寫的現在還在用就是
了
你去看看哪些呼叫 blas 阿
看起來就是特定領域的少數套件才會用到底層是fortran 寫
的庫
而且我剛看了一下,也不是所有blas都是用Fortran,openB
las就說是用C寫的
我也沒有說全部啊 = ="不跟你說compile下去就知道了
OpenBlas說C compiler必備, Fortran compiler是選配
= ="誰跟你少數領域 囧> 又不是人人都openblas
更別提nv 自己都出fortran
= =" 你要看接誰啊 你跑一個solver 要看它叫誰
它沒叫你可以自己接啦....接很久就是了xd
你真覺得沒用就沒用啊= =" 看一下各大名校都還在教
還一堆是重課 = =" 你做數值拿來模擬各種東西
solver 下去就是很有可能會有 @[email protected]~
可能他沒接觸過的領域就是少數領域吧
我講沒死透只是因為我自己也是在幫忙更新到c的
但 超多好嗎= =" 你一堆工程化學藥學醫學都有
會說科學計算可以用matlab 我只能笑了....
python都到很最近才排得進去好嗎....
世界排名前百大超級電腦 (量子不算的話) 有沒有十台
可以讓你跑python都是問題 (當然商用出租的不算 這
付錢的是老大) matlab....不知道有沒有一台
就我記憶中 mathworks曾想去推 一個大老叫它先跑贏
java 再來.... 然後我知道大家都會放一台讓小朋友在
所有以我說我見識少,沒跟你們討論我還真不知道有這個
一邊先玩沙 玩完再叫你改成c++先
某意議上來說openblas很先進的 先進到沒有fortran
這是當初很多人對這東西的評價 (算一半好壞)
這東西是對岸出的 專門為了某東西做的
你把fortran 先拿掉 然後重compile 全部東西
我認真覺得在linux 環境下 你會有一半以上hpc殘廢
那東西包得太深了....深到我還見過比f77還舊的
為什麼要更新到C?是指重新用C寫嗎?
很多東西你可以用c/c++的對應東西換掉
在某程度上 會有優化上的好處 最少記憶體好做
我看了一下我手正在搞的一個大包 裡面還是滿滿f啊
老的東西很難丟掉的@[email protected]~ nasa想丟了fortran 才總算在
2017年動手 (不過到底丟完了沒我也不知道)
那有什麼時間在重寫 當沒事重造輪哦@[email protected]~
當然是把別人寫好的移過去 做一堆事讓它工作
長知識了哥
這篇講話www 好有畫面(抓頭燦笑
現實世界不要這麼多宅梗 哭啊
整篇重點 太無情了 無情data
無情ML 無情AI
data好難
雷姆派只能噓了
雷姆...是誰?
推
可惡 誰說藍髮的過氣了 她不就叫做......欸......叫什麼
誰?
欸不是 你本命怎麼沒出現在簽名檔
窩不知道
想當年我們都是初音 涼宮的 囧>
(過氣的宅宅 泣T_T)_
初音不就軟體而已 (?
聽起來你只是需要早點認識python而已跟AI真的無關
就是我透過ML/AI的資料前處理過程來學習python得到莫大的收穫
Python 底層是C,那為何不直接用C就好?
python包好的API讓你開發更迅速
噗殺天使嗎
朵庫蘿我看過wwww
省人類的時間比省機器的時間重要
沒錯!!!!
※ 編輯: k300plus (114.32.243.197 臺灣), 11/17/2021 22:48:17是要決鬥泥~
拿到一堆骯髒數據,真的很想哭,該複習python…
15
一般來說 我的面試會加問幾個問題 1. 請描述下 probability 的定義是什麼? 2. 請描述下 normal distribution 的定義是什麼? 3. 請描述下 medium 的定義是什麼?給 1234567 這個數組 中位數是多少?123456 中位數 是多少?5
其實看到這串討論文真的心有戚戚焉 目前AI工作2年多,是有一些心得... 其實AI方面的工作,更需要的是系統/資料收集相關的人員 例如 標註師、CUDA優化、嵌入式相關、伺服器相關等等... 這些都不需要數學多好,更要求的是程式/系統能力,需求量也更大39
我來散佈一些正能量好了 小弟在FANG的英國的一個一直賠錢的AI子公司工作4+年了。 其實我覺得數學真的沒那麼重要,除非你是要做理論的。 又不是每個人都是Ian Goodfellow, Ashish Vaswani, 還是 David Silver. 就算是這些重要的工作,也不見得數學有很深吧?23
大家討論了很多高深的數學,或是頂會。 實際上,我真的很懷疑有多少人真的在業界上搞 AI。 只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多? 好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。 再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。8
Hello 我勉強算是在一線外商做機器學習的 我覺得討論到這裡需要釐清一下所謂 "AI工程師" 的角色 在業界下圖打*號的都有可能會自稱是 "AI工程師" _________________________圖____________________________ Domain Expert4
就目前我所知道的AI來說,絕大多數都是應用在"現有產品"的加值上面 怎麼說呢? 譬如說我就有聽過EDA的公司找應用DL來把EDA做最佳化的學生, 或像是趨勢想要把DL應用在惡意封包的偵測上, 或是本業是嵌入式系統的公司,想要做出更炫的產品應用等等,12
xxx 這行,水很深。 隨便套個行業或專業都適用。 當遊民撿垃圾這行也很深啊。 我都不知道哪裡貨源比較多,哪裡睡覺蚊蟲少。 哪個遊民不是從無到有去慢慢學的,只是誰先學,誰後學而已啊,拍什麼。這套在任何行業都這樣啊。11
我也來雲一下,因為自己年資尚淺,有些錯誤地方可能請大家提一下 自己算是AI相關工作 首先,如果"興趣"是做個手寫辨識或者讀個書/看個報導就想去做這行的話 我自己是覺得...工作閒暇之餘當作課外作業讀一讀/做一做還不錯啦XD 畢竟多學一些東西總是好的1
on : 當起手 : 因為是新東西,目前就業機會相較其他語言比較少建議從別的學起,也建議我上來問問 各 : 位前輩
47
[請益] 想從零開始轉行當AI軟體工程師幫朋友發文代問 ———————————————————— 大家好,小弟最近下定決心要轉行,對AI的部分有點興趣 大概了解之後發現AI是用Python寫的,但做程式相關的朋友說轉行的話不太建議用Python 當起手37
[討論] ML/AI 工程師需要的數學我換個標題比較方便未來有人需要的話可以搜尋。 我來拋磚引玉一下台灣業界現況。 我個人 112 CSIE 碩畢,但碩論跟 ML 無關,沒有 ML 相關的學術論文。 Kaggle 銅牌以上 x 5 (兩次是抱團靠隊友) 六年工作經驗,算是 deep learning 熱潮起來以前就入行。22
Re: 本來學ML是該轉路還是繼續鑽研^^^^^^^^^^^^^^^^^ 恩..."後段國立科大資管",好一點的公司可能連HR那關都過不了 : 因為一些私人原因是不用當兵 : 所以論文完成後準備開始找工作 : 目前程度:5
Re: [請益] 碩士新鮮人找工作請益我學長清交統研在鴻海做ML(視覺相關的好像) 好像是52k*14 加一些分紅的樣子 數學統研的人好像都是r比python熟很多 的樣子