PTT推薦

Re: [請益] 想從零開始轉行當AI軟體工程師

看板Soft_Job標題Re: [請益] 想從零開始轉行當AI軟體工程師作者
k300plus
(300plus)
時間推噓35 推:37 噓:2 →:60

嘛,看到這標題,身為本命愛蜜莉雅的肥宅工程師也來鼓勵(?)分享一下


本肥在112讀大學時修過CSIE田神的ML

猶記得當初只會寫C/C++的自己

在沒人提示的情況下,矇逼的手刻各種矩陣運算,一個作業寫了上千行code

在EE的繁重課業下忍痛停休

然而還是有去把整學期的課聽完,說實話ML/AI背後的數學理論真的收穫很多


後來讀碩班時正好就是李鴻毅開ML的第一年

我也才第一次接觸到python這個暴力且強大的直譯語言

除了有超多數學相關的lib能夠無腦call爆外,最重要的還是處理data的能力

那時瞬間搞不懂自己大學修ML時到底在瞎忙什麼

如果有個拿著流星鎚的藍髮女僕

我會跪求他馬上砸死我,讓我re到大學時期的德田館www


隨著前兩次的作業結束,覺得寫python也太簡單爽快,突然發現自己好想往ML/AI發展

然而學期後半段進入了類神經網路後,一切開始風雲變色

第三次作業的data再怎麼前處理,模型layer再怎麼疊,kaggle上的分數始終慘輸

太無情了,我的信心似乎崩潰了

最後作業結束時,記得老師請前幾名的同學上台分享他們怎麼做的

結果...我震撼了

上台分享的同學大致上也都是亂疊亂串一通,然後分數就突然超高而已

從此,我的AI夢好像也就嘎然而止了


時光荏苒,轉眼間我已是在豬屎屋挑屎挑了三年的肥肥工程師

即使工作內容完全與AI無關

但李鴻毅的那門ML卻是深深的影響著我

自家產品的log項目亂七八糟怎麼辦? python讀出來分類啊

一堆沒用的骯髒數據怎麼辦? 用python踢掉啊

別人給的excel/csv格式排版不是我想要的怎麼辦? python重新輸出啊

反正數據處理方面,python根本神到翻天

再搭配shell語法,各種雜事過來就是一切先自動化處理再說

其實我也不知道別人是怎麼做

但有這些tool對我分析數據上來說就是如虎添翼

但要是我沒修過ML,學到python的處理資料能力

搞不好我現在就還是在用C或人工在處理資料


也許AI風潮不再那麼狂熱,如果AI有顏色那一定是過氣的藍色

但還是很鼓勵可以去接觸看看,也許也能像本肥一樣收穫良多 > <

甚至我認為各個領域都非常有機會運用到處理資料的能力

而透過ML/AI去學習如何處理資料是非常好的一個方式 (燦笑



--
我老婆1 https://imgur.com/VBSwkje 我老婆2 https://imgur.com/wdMQImg我老婆3 https://imgur.com/wkngu3l 我老婆4 https://imgur.com/cOmVBaO我老婆5 https://imgur.com/s6TJwHK 我老婆6 https://imgur.com/cJs96qc我老婆7 https://imgur.com/Mob8u3q 我老婆8 https://imgur.com/qwxYDo5

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.243.197 (臺灣)
PTT 網址

stmilk11/12 21:03屌耶,就像賈伯斯旁聽字體美學一樣,命運就是這麼神奇

Morphee11/12 22:02你講的那些處理 perl跟tcl/tk 不是都玩到爛了?

我EDA外商的同學說他都在寫perl跟tcl

j095832208011/12 22:26結果你講的是 python 有多強不是 AI 阿

j095832208011/12 22:27不過說實在的很多 library 底層還是 C 實作才快

j095832208011/12 22:27有些甚至還是 Fortran

python的實作跟compiler不是我的重點 我的資料量不會真的大到需要再去了解底層加速 甚至與其去做這種底層研究 我覺得更實際的是要去了解例如多份資料之間要search/match/merge時 怎麼寫到 O(n) 且一份資料盡量只traverse一次 這才是真正大幅減少時間的方式

mmonkeyboyy11/12 22:32fortran是沒辦法

drajan11/12 22:36快很好 但正確 易用 才有市場

drajan11/12 22:37Speed is irrelevant if you are going in the wrong dire

drajan11/12 22:37ction.

不能同意你更多XD

leo0821091711/12 22:48這篇是在說 在豬屎用python打雜混的比做ai好嗎XD

這也是前幾篇一直提到 你本身的domain knowledge才是最重要的XD

viper970911/12 23:42推拿流星槌的藍髮女僕(誤)

他的名字是什麼我一直想不起來 (大誤

yamakazi11/13 00:07底層Fortran?

yamakazi11/13 00:08Python 底層是C沒錯,但底層Fortran我見識少還真沒聽過

窩也不知道

j095832208011/13 00:29之前看線性代數有用到 lapack 裡面有 Fortran 的語法

LincolnBoy11/13 00:30Fortran好懷念 好久沒寫了

mmonkeyboyy11/13 01:02那一堆線代解的裡面很多都有fortran

mmonkeyboyy11/13 01:03不信你下次compile時不要叫 gfortran看看

mmonkeyboyy11/13 01:03立馬死一堆XD

wahaha27911/13 01:18去搞懂直譯的意思 而不是在那邊我見識少

shownlin11/13 01:59Kaggle有時候真的就是比模型本身的強度

shownlin11/13 01:59有的模型就是特別適合拿來打比賽

shownlin11/13 01:59用對模型基本上分數就會飆上去

shownlin11/13 01:59剩下的就一些細節在那邊看能不能多拼個幾分

shownlin11/13 02:00之前修軒田的final project有感

shownlin11/13 02:00看leader board前面有些組很好心

shownlin11/13 02:00submit還會附上自己用什麼模型XD

對 我修完課的確能知道說哪類的問題適合用哪類的模型去解 但我覺得tune參數或神經網路在疊layer的過程真的太難有一個方向或依據 當初我覺得就是在亂搞亂try一通,當然可能也是我功力不夠而已啦XD 然後kaggle上我反而喜歡看別組的組名wwww 我當初也取的超滑超中二XDD

yamakazi11/13 09:47我知道有些科學計算用Fortran 啊,我的意思是,有多少主

yamakazi11/13 09:47流套件,或程式,或OS底層是用Fortran?印象中幾乎沒有

yamakazi11/13 09:49或者本系列主題是AI,有多少搞AI工具底層是Fortran寫的

yamakazi11/13 09:49

hprince11/13 10:09結果簽名檔沒放愛蜜莉雅

竟然有人發現了wwwww 快笑死XDDDDDD

yamakazi11/13 10:10而且現在科學計算主流不是幾乎都python和matlab了?

Matlab EE出身的可能還會用 CS底的因該斥之以鼻

mmonkeyboyy11/13 11:10Blas裡還有fortran 77 沒死透 而且有幾個還比c快 就

mmonkeyboyy11/13 11:10被留下來了

mmonkeyboyy11/13 11:15你如果說的科學計算是量子電腦 那python 是 超級電腦

mmonkeyboyy11/13 11:15類 python 用很少很少 matlab 就 算了吧

mmonkeyboyy11/13 11:18解數值的 FORTRAN 活的很好呢 只是包住你看不到

mmonkeyboyy11/13 11:20拿cpu 解DL的 fortran 也用到很多 GPGPU 我猜也有

yamakazi11/13 11:50沒死透不就代表死的差不多了?

yamakazi11/13 11:50死的剩一口氣而已

j095832208011/13 11:55看你怎麼定義啊,如果那幾個函式被呼叫的次數是高過

j095832208011/13 11:56其他用 python 寫的好幾個數量級算嗎?

yamakazi11/13 12:13我就只是好奇到底多少底層用Fortran寫的現在還在用就是

yamakazi11/13 12:13

j095832208011/13 12:15你去看看哪些呼叫 blas 阿

yamakazi11/13 12:27看起來就是特定領域的少數套件才會用到底層是fortran 寫

yamakazi11/13 12:27的庫

yamakazi11/13 12:42而且我剛看了一下,也不是所有blas都是用Fortran,openB

yamakazi11/13 12:42las就說是用C寫的

mmonkeyboyy11/13 12:43我也沒有說全部啊 = ="不跟你說compile下去就知道了

yamakazi11/13 12:43OpenBlas說C compiler必備, Fortran compiler是選配

mmonkeyboyy11/13 12:45= ="誰跟你少數領域 囧> 又不是人人都openblas

mmonkeyboyy11/13 12:45更別提nv 自己都出fortran

mmonkeyboyy11/13 12:46= =" 你要看接誰啊 你跑一個solver 要看它叫誰

mmonkeyboyy11/13 12:47它沒叫你可以自己接啦....接很久就是了xd

mmonkeyboyy11/13 12:48你真覺得沒用就沒用啊= =" 看一下各大名校都還在教

mmonkeyboyy11/13 12:48還一堆是重課 = =" 你做數值拿來模擬各種東西

mmonkeyboyy11/13 12:48solver 下去就是很有可能會有 @[email protected]~

j095832208011/13 12:49可能他沒接觸過的領域就是少數領域吧

mmonkeyboyy11/13 12:49我講沒死透只是因為我自己也是在幫忙更新到c的

mmonkeyboyy11/13 12:50但 超多好嗎= =" 你一堆工程化學藥學醫學都有

mmonkeyboyy11/13 12:51會說科學計算可以用matlab 我只能笑了....

mmonkeyboyy11/13 12:51python都到很最近才排得進去好嗎....

mmonkeyboyy11/13 12:52世界排名前百大超級電腦 (量子不算的話) 有沒有十台

mmonkeyboyy11/13 12:52可以讓你跑python都是問題 (當然商用出租的不算 這

mmonkeyboyy11/13 12:53付錢的是老大) matlab....不知道有沒有一台

mmonkeyboyy11/13 12:54就我記憶中 mathworks曾想去推 一個大老叫它先跑贏

mmonkeyboyy11/13 12:54java 再來.... 然後我知道大家都會放一台讓小朋友在

yamakazi11/13 12:54所有以我說我見識少,沒跟你們討論我還真不知道有這個

mmonkeyboyy11/13 12:55一邊先玩沙 玩完再叫你改成c++先

mmonkeyboyy11/13 12:56某意議上來說openblas很先進的 先進到沒有fortran

mmonkeyboyy11/13 12:56這是當初很多人對這東西的評價 (算一半好壞)

mmonkeyboyy11/13 12:57這東西是對岸出的 專門為了某東西做的

mmonkeyboyy11/13 13:04你把fortran 先拿掉 然後重compile 全部東西

mmonkeyboyy11/13 13:04我認真覺得在linux 環境下 你會有一半以上hpc殘廢

mmonkeyboyy11/13 13:05那東西包得太深了....深到我還見過比f77還舊的

yamakazi11/13 13:11為什麼要更新到C?是指重新用C寫嗎?

mmonkeyboyy11/13 13:13很多東西你可以用c/c++的對應東西換掉

mmonkeyboyy11/13 13:13在某程度上 會有優化上的好處 最少記憶體好做

mmonkeyboyy11/13 13:14我看了一下我手正在搞的一個大包 裡面還是滿滿f啊

mmonkeyboyy11/13 13:16老的東西很難丟掉的@[email protected]~ nasa想丟了fortran 才總算在

mmonkeyboyy11/13 13:172017年動手 (不過到底丟完了沒我也不知道)

mmonkeyboyy11/13 13:17那有什麼時間在重寫 當沒事重造輪哦@[email protected]~

mmonkeyboyy11/13 13:18當然是把別人寫好的移過去 做一堆事讓它工作

長知識了哥

kevin82030811/13 13:24這篇講話www 好有畫面(抓頭燦笑

現實世界不要這麼多宅梗 哭啊

bill199211/13 13:48整篇重點 太無情了 無情data

無情ML 無情AI

bochengchen11/13 14:07data好難

richardz11/13 16:12雷姆派只能噓了

雷姆...是誰?

zebraseven11/13 23:26

cominlin11/14 12:13可惡 誰說藍髮的過氣了 她不就叫做......欸......叫什麼

誰?

ricson11/14 12:50欸不是 你本命怎麼沒出現在簽名檔

窩不知道

mmonkeyboyy11/15 00:16想當年我們都是初音 涼宮的 囧>

mmonkeyboyy11/15 00:16(過氣的宅宅 泣T_T)_

初音不就軟體而已 (?

pjwck11/16 01:12聽起來你只是需要早點認識python而已跟AI真的無關

就是我透過ML/AI的資料前處理過程來學習python得到莫大的收穫

eva1945200211/17 02:18Python 底層是C,那為何不直接用C就好?

python包好的API讓你開發更迅速

damody11/17 03:33噗殺天使嗎

朵庫蘿我看過wwww

longlongint11/17 12:50省人類的時間比省機器的時間重要

沒錯!!!!

※ 編輯: k300plus (114.32.243.197 臺灣), 11/17/2021 22:48:17

mmonkeyboyy11/18 13:19是要決鬥泥~

Yujjlin11/20 22:47拿到一堆骯髒數據,真的很想哭,該複習python…