[請益] 人工智慧與數據模型產品化職涯請益
各位軟體業的先進大神們大家好:
一、前言與發文目的:
近期在檢討與找尋有關個人的職涯與工作狀態,
想持續朝著大數據與人工智慧相關的技術開發與導入工作邁進,
懇請版上各位大神鞭小力一點,給予我一些回饋。
二、背景介紹:
1. 學歷: 四大碩畢,目前27歲,大四開始走有關人工智慧相關技能。
2. 經歷: 今年年中滿三年,主要以數據與人工智慧產品開發經歷。
3. 想持續做人工智慧與數據產品化相關的工作,概念以AIOps或MLOps為基準。
三、目前技能樹經驗:
1. 程式語言: 主要都是以Python做為開發經驗,並且在Python上實作OOP,也嘗試使用MVC
2. ML/DL:
(1) ML相關: SVM、Scikit-learn、LightGBM、XGB等,有使用在專案或論文上。
(2) DL Framework: Keras、Tensorflow。
(3) CV專案: 使用OpenCV、Yolo-base model等到專案上,目前較長接觸。
(4) Text專案: 曾用BERT模型去做文章分類的專案,較少用。
(5) 模型服務: TF-serving、OpenVINO相關。
3. Database: 算熟悉的有PostgreSQL、SQLite、Cassandra等。
4. 開發環境: 主要windows、Linux環境都算熟悉,並且把服務與模型Docker化,
Dockerfile會自己寫,並且透過Docker-compose等方式去做設定。
5. web framework: 目前主要以fastapi為主,flask為輔去做API開發。
6. 前端: 因為公司有平台可以做一些前端呈現,因此會一點點HTML和Javascript語言
7. 雲端: 主要公司合作以Azure為主,曾經參加過AWS和GCP活動,有一些些概念。
8. DevOps相關:
(1) 版控: Git(Gitlab)、DVC。
(2) 測試: Pytest、Pytest-mock去做一些整合和單元測試。
(3) CI: 自己撰寫ci yaml檔案去做container scan、code quality、
單元測試、Pylint、建立模型和註冊模型。
(4) CD: 透過自己撰寫Ansible去deploy邏輯服務與模型服務。
(5) Monitor: 找到相關開源專案來部屬Node Exporter, CAdvisor,
讓後面DevOps組可以協助接到Grafana上。
9. 文化: 利用Scrum和Kanban,來管理我的工作模式。
四、對於人工智慧專案與產品化的過程中,我依專案順序實作過以下經歷;
(1) 資料收集與標籤: 因為部分專案無提供資料,因此需從收集資料與標籤開始,
自己撰寫相關資料收集工具,並且在開源平台上找到相關標籤平台,
並且提供給User做標籤。
(2) 資料分析: 透過python相關套件和繪圖工具,去做資料分析與呈現。
(3) 資料處裡: 透過python撰寫去做ETL處理。
(4) 模型訓練: 雖說我知道MLFlow,但團隊沒有實際去做,所以就也還沒使用,
知道其相關概念,目前主要還是透過jupyter或VScode,
直接撰寫完後,放到公司或雲端的GPU server上面做訓練。
(5) 模型、資料與程式碼版控:
(A) 模型版控: 利用自己開發的工具,將模型存放到第三方服務,
然後在透過git去做管控。
(B) 資料版控: 透過DVC和git,去做資料版控。
(C) 訓練與服務程式碼版控: 透過git做版控。
(6) 模型部屬: 透過gitlab 和CI/CD 工具去做服務與模型部屬工作。
(7) 維護: 透過grafana和telegram bot做提醒和維護,如有任何問題會去做修正。
五、目前計畫:
1. 目前在這個公司已經發展到一定程度,想透過其他方法來去更深化和優化這些技能。2. MLOps相關的能力還在持續補充中,也會持續利用閒暇時間參與開源會議或研討會等。
六、問題詢問:
其實技能數點的很大一顆,但有前輩提點我,應該要更深化裡面的內容,來幫助自己
的專業度更提升,但MLOps要會的東西又很大一包,有時候也不知道這樣點對不對,
或者有甚麼建議可以往下一步邁進?
如果對於我的經歷和技能有些提點或建議,我真的需要一些幫忙,也歡迎推文或站內
信給我一些協助。
--
看起來是想做AI/ML的Infra,那技能樹其實差不多了
問題可能是新創不一定想招一個專做AI/ML Infra的
畢竟GCP/Azure/AWS都有ML的方案
你能做的頂多是簡化computing resource allocation
或是提供hyperparameter的管理
那上述的事除非公司裡有大量ML researchers
不然也沒有必要花錢做這部分的優化
不過以DevOps的角度來看,我覺得你的技能樹很完美
首先,感謝您的讚許,說真的,我不完全是要朝向AI Infra做, 畢竟三大雲都已經做很多了,所以跟他們搶工作只是自己碰一鼻子灰而已, 我想要的是,當ML/DL需求進來時,能夠按照技術,製作出產品出來, 並且交付整套產品線出去給User使用,所以你會看到前後端撰寫與Infra的導入 可以加速ML產品線的導入時間,大概是這樣。
那我覺得Ops的技能就顯得不是很重要
你只要知道如何apply trained model到產品上就好了
那就是個...一般的software engineer
所以在您來看,在Ops的技能樹點太深,應該反而要多回去深化模型那邊相關的技術囉?
什麼都做的話產品能不能趕上時程是個問題
另外一個就是你有沒有能耐全部都做到prod grade
是,我覺得工作你就ML SWE和DevOps擇一就好,看興趣
現在的水溫狀態就是可以做到大概75分左右,所以有些案子已經順利交付完成, 但就是一直思考著是否繼續把各項點深,然後做到80、90分這樣走? 還是說該回頭檢討這個模式這樣了
看案子的大小,可能這個模式在你現在的公司可以繼續
你也可以選擇繼續跳到其他類似大小案子的公司
所以選擇比較像是 1)做同大小的案子可以繼續包辦全部
或是 2)跳到大案子大公司,然後專精流程中的一部分
沒有說哪邊比較好,取決於你的興趣
選1你也是可以練到各項80 90分,然後在各新創嶄露頭角
選2就像是你想加入類似FAANG的公司,當小螺絲做大案子
了解,我的目標會是比較偏向在2,但這樣的話,有可能會有中間過渡期,因為技能樹目前 點的比較廣的情況下,這樣可能必須要慢慢拉回來自己的目標了,不是放棄,而是要有 一個重心這樣。
ai產品是指影像?nlp?碰一堆應該有一塊是值得深入鑽
研
我主要比較熟的是結構化數據預測,影像類是近期的專案產品,要的話會以此2類為主。
這樣年薪多少
目前大約85-90左右
感覺公司給太少了
沒辦法,公司目前處於逐漸不賺錢的狀態...
覺得你的技能樹很夠欸 要不要跳到大公司做做看大的sca
le的東西 這種經歷佩穎的技能 是自學很難學到的
也是一個方向,筆記下來~
不到3年就能學這麼多東西~太厲害了
說真的,其實我只花了一年半時間學這些,一開始進去公司時, 頭一年開始,老闆是偏向讓我們嘗試,但其實我學到的反而很少, 直到轉部門到有豐富軟體開發經驗的主管底下,才在他提點下, 花費許多時間將所有技能盡力補足,那段時間雖然很累, 可是幫助我在這條路上能夠技能豐收,只是主管也離開部門了QQ。
※ 編輯: simon3458 (123.204.46.222 臺灣), 02/24/2021 06:37:0267
[討論] 緯創資通徵5年以上的資深工程師才30k起?最近看到高雄緯創資通在大舉徵才 本來想說雖然是系統廠但也不會太差吧 但看到徵5年以上的資深工程師,待遇居然才30k起~最高70k 這會不會太扯? 看需求也不簡單耶 緯創資通徵5年以上的資深工程師才30k起?80
[請益] Offer 請益 (GG 台積 / Cadence 益華)目前有幸能夠拿到兩份都覺得不錯的offer 因為方向不太一樣不確定怎麼選 背景: 四大電資碩畢新鮮人 主要研究深度學習演算法 Offer1: GG 部門: IT AAID32
[請益] 成為 AI 工程師的進修方向(代po)(本文作者無帳號,協助在科技和軟體兩板代po ^ ^~) 大家好, 小弟目前在台北某傳產擔任數據分析師,學歷是國立統計所,碩論是做 ML 演算法改良(沒投期刊,我覺得是垃圾),碩班期間有自修 DL。 希望能用 DL 找工作,主力程式為 Python。 目前剛進去公司半年多,主要負責影像辨識的專案,內容是用 Yolo 進行 real time 的瑕疵檢測,專案目前也已經上線了,因此算是有一些實務經驗。30
[請益] 降薪到其他領域練功各位前輩好 目前大概有將近三年工作經驗,接近三十歲 年薪約 90 多 兩份工作都是和 ML 相關的 都是產品和專案並行的公司25
[請益] Web仔的職涯請益(代PO)朋友沒有帳號請我代PO,下為內文 文章可能比較長,希望願意看下去的前輩們能給小弟些建議,也希望知道我是誰的朋友能 幫忙低調些,非常感謝! 背景: 118電碩 經歷:22
[請益] 職涯請益各位前輩大家好, 小弟今年26y,美國資工碩畢(Top100, 非名校) 由於各種複雜的因素沒有打算留在美國 目前有幸在一間外商擔任SE(年資< 1y),不過年薪頗低(< 800k) 本身的興趣在純軟+後端,英文有待過國外所以沒問題。17
[請益] 資策會入門課程選擇、選技能樹各位前輩好,小弟是27歲的非本科生,最近面臨職業上的一些選擇,有意願想轉換進入程 式領域。已經爬了不少文,自己現在也有在上udemy的python課,然後搭配書本在學。目 前想去修資策會的課程,算是加強練習然後補一下在程式領域的第一條履歷。 但是現在對自己想要哪個位置的職缺的概念還很模糊,對程式的感覺還在形成當中,現在 要馬上選課程方向,不知道該往哪一條技能樹走12
[請益] offer請益/生涯規劃請益各位前輩大家好, 小弟目前25.5y 私立資管學士畢 目前工作經歷3~4y,開發經歷快3y 中間有一段是在研究、解決客戶在Azure服務使用上的問題 主要開發.NET Framework 4.6 up的系統,前端接觸過kendo、bootstrap11
[請益] 中年人請問轉職雲端(devops/SRE)工作大家好 有點年紀了也怕思考上有盲點而做錯決定,畢竟年紀越大做錯決定的成本就越高,故想跟 前輩/大大請益一下,敬請不吝賜教,覺得我有什麼問題可以盡量鞭。 <介紹背景> 自己今年38歲,上有老下有兩歲多小孩,在IT業大概六年,之前是透過參加資策會養成班6
[請益] 醫療軟體與醫療DL職涯與技能走向請益手機排版請見諒 自我介紹: 小弟北科碩畢業,碩論是研究傳統CV方法, 此份工作已將近四年,也是第一份, 這份工作一開始是以C++開發醫療影像軟體。