[請益] Web跟資料工程
各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎？
或者是說需要補足的知識工具其實更多？
靠刷題之後找Backend Engineer比較容易？
謝謝各位
--
Chatgpt問世後未來說不準了
很多資料工程都要值班維運喔
ETL很可怕
身兼backend和data 老闆最愛
要轉data eng ，看他的JD啊，或是去linkedin敲data
eng 然後問
這些都是高級excel 只是工具 沒啥優勢或門檻
AI 取代這種工具類的操作/分析者 是可預見的未來
Data Engineer 炙手可熱，就算沒落也可以轉後端，沒道理
不選
是怕資料工程這塊 是不是需要補很多東西 弄一弄反而沒刷題走後端高？ 不然好像刷題走後端比較容易？
你可以試著取代看看啊 de的重點一直是人不是工具操作
我沒有說取代de 是取代初級的分析操作者
因為我認為原po敘述 離 de的能力需求還是差滿多
看你想清資料還是繼續當web仔
身為專業工程師，有時間可以拿實際證據與實作來說明吧。如
果DE可以被AI部分取代，真的歡迎拿實際例子來交流學習。
資料工程師養成，要實務一點，不要會一堆工具，然後什麼都
沒做過。舉例：有10億筆結構化資料，你要怎麼存與查詢，一
秒可以查到？ 朝這種很實務的角度去學，才是正軌。沒環境
就自己造垃圾資料，架虛擬環境來玩。
只是用過工具，然後一遇到實際問題就掛，可能很難找類似工
作。
DE 在處理的主要業務不是分析操作，樓上 DrTech 說的才是 D
E 在關心的，需要根據業務需求規劃資料生命周期內的資料儲
存方式跟型態，說是高級 Excel 工具是在哈囉……
看起來你想走運算平台而不是倉儲？
對應該是資料工程那塊 倉儲應該算是資料分析？ 可能比較像Ｄ大跟Ｈ大說這樣 因為我也是自己摸索來用 但說是高級EXCEL工具是有點怪 啦 這些框架大方向應該都算是強調大數據資料可以更快速的吧
原來現在DE只是專注工具的使用?那被AI取代剛剛好
大家都預設AI不能解決實務的問題也是挺值得討論的點
解決老闆不想用rdb想用mongo存結構化資料的問題
ai應該會叫我解決老闆
說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞
清楚資料分析和data engineer的區別好嗎
好的DE跟日本原裝壓縮機一樣十分稀少，要對domain 的深入
理解跟大量的技術與經驗積累。遇過那種高手就知道，本來只
能等都更炸掉重改的中古垃圾屋，都能給你翻成漂漂亮亮的北
歐風溫馨文青宅。
想詢問哪裡可以學到相關知識
倉儲是資料工程喔，經典著作 The Data Warehouse Toolkit
有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到
MapReduce 的部分，但這種操作並不是只能用在分析上……
哦哦 謝謝Ｈ大 我想了一下 現在業務上是用hadoop Flink這類的大數據框架 去應用 似乎好像比較偏向資料分析這塊不是資料工程？ 聽起來只會應該這類框架還是需要補足很多相關知識才能走這條路？ 那感覺是後端那種單純刷題會容易一些？ 我目前是因為剛好接觸到 所以才想說有沒有走這條路的可能這樣
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:11:48至於待遇跟薪水問題，去看 DrTech 寫過的某篇文吧，國家跟
產業的權重會比職稱和使用的技術要高，你說資料工程跟後端
來比誰高，不提產業也無從比較起…
框架的大方向未必是處理效率問題，有的是處理擴展性問題
Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處
我感覺會用這個應該主要是想用分散式集群的功能運算吧 把那些資料套用個什麼規則 整 理出某個 人能參考依據 這樣聽一聽 跟我實際摸索 好像真的不是會用一點工具就能往這 行走
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:25:55理一些需要實時計算的資料的，當大量資料實時產生的同時需
要分析計算會用到，要看一下你現在的業務到底接觸的是哪一
越接近用戶端使用的部分，相較是比較簡單的，上面 D 大提到
的，是偏向於提供資料使用人員（DS/DA）去做的 infra
多數 DE 會在串接跟維護 Data Pipeline，你說的套用某個規
則去整理出某人或是某個部門的資料，可能只是這條 pipeline
上，某一個資料出水口需要做的事~ 要挖的東西是滿多的，有
興趣可以從這個方向開始切進來~
的確在有些公司 DE 除了基礎服務設施和資料處理之外，還要
現在有人在用mapreduce? 我還真的沒在商業產品上看到過
包山包海去處理分析和視覺化…
公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾
億筆資料的 indexing 難到你要一台機器做
還有大量 log 的 data pipeline，use case 很多
還有不少用 Hive 的，背後做還是 MapReduce，現在的確 Spar
k 跟 Flink 居多
只是比較沒有純寫mapreduce 框架背後還是mr啊
de會去服務使用flink分析的user de就要了解flink
DE 是個坑，每家DE 要的技能點可能都有點些許不同，進
來會發現包山包海，什麼能力都要，可以多看看，再看要
不要走 DE
mapreduce早被淘汰了，居然還有人在用Zzzz
分散式運算被後概念就是mr啊，還是你以為跑spark就
不是MR
那你應該先學Java，順便把原始碼、論文看一看，加油 Zz
zz
49
[請益] 純軟該往什麼方向發展（代po 各位年薪300的前輩好 目前就讀私校資料科學相關科系 未來會考研 以四中資管或資科相關系所為目標 對於這個產業有些疑問 想請教各位前輩22
[請益] offer請益各位軟體前輩安安 小弟web仔在年前收到一份offer，年後需要給答覆 但綜觀各個原因再加上手上暫時沒有其他選擇 遲遲做不出決定，因此上來求助各位的經驗 先說說現職狀況17
[請益] IT背景的求職選擇最近在找工作想問問大家意見 本身IT背景 上一份工作在金融業IT 除了前後端coding通包外就是維運跟打雜 前後端技能沒有很深入,主流框架只有自學過,上班沒用過![[請益] IT背景的求職選擇](https://i.imgur.com/7Pjopa4b.jpg "[請益] IT背景的求職選擇")
15
[請益] 前後端的框架學習Hi 大家好 小弟118 CS碩畢+工作兩年(非web相關工作)。 本身一直對web相關的工作很有興趣，但對框架一直都不是很熟悉。 很想找到前後端相關的工作來邊學邊做， 但常常面試的時候被問到很多後端框架的應用，完全回答不出來。14
[請益] 第一份工作轉職各位年薪300萬的大大好 小弟朋友在原本公司因為某些意外離職了 由於事情來得太突然，加上上一份工作也做不到一年， 不曉得轉職會不會很困難，老實說真的很慌 不過木已成舟，雖然各方面都還很迷茫，也只能馬上摸索前進的方向13
[請益] 怎麼處理API版本不同的問題?我是後端工程師 要寫API給WEB跟APP前端 WEB跟APP有些API共用有些沒有 後端就只有一個STA版本 也就是說一個版本要同時滿足APP和WEB的需求6
[問卦] web仔不會設計api?姆咪欸！！ web仔沒學過資料結構就算了 結果連api都不會設計 這不是中學生都會的嗎？ 傳傳參數有這麼難？？![[問卦] web仔不會設計api?](https://i.imgur.com/2s4lQfGb.jpg "[問卦] web仔不會設計api?")
6
[請益] udemy新手課程選擇私立本科畢業，7月中退伍，面試了十家只有一家有上QQ 目前在傳產做MIS專員 已經做了一個月，也當了一個月的薪水小偷，什麼事都沒有做 MIS部門我來之前只有1個人，就是我的主管，沒有人帶我，也沒有交代我要做什麼事情 就叫我先熟悉系統(公司用的是Lotus Notes![[請益] udemy新手課程選擇](https://handmadehero.org/r/HH_logo_cc30b8fe570f2442.png "[請益] udemy新手課程選擇")
6
Re: [請益] 專精前端（或後端）vs全端工程師之前剛好有一份工作是全端，我不知道是否會趨勢化，但全端不一定是一人包前後的案子 事實上那是一份不小的專案，前後端各有數人在開發，甚至客戶 App 也會來串機器 簡單介紹一下那個專案架構 我方開發 web 前端，機器上跑大量 C 的程式，需要把既有 command line 東西視覺化 為了達成雲端操作，所以需要有一個全端來設計 API + SDK2
[請益] web仔職涯請益小弟是非本科系地名資管碩畢 這三年都在接案公司度過 其實就是板上俗稱的web仔 主要都是寫前後端 但是感覺技術能力沒有特別進步