[心得] 資料工程師 X FinMind 架構解析
大家好，我是 FinMind，開源金融數據的作者
https://github.com/FinMind/FinMind
在上次，濃縮個人好幾年的工作經驗、FinMind 專案開發經驗
出版了資料工程師書籍，迴響不錯
今年花了 8 個月的時間，在第一版書上，擴增了 50% 的內容
其中新增了
1. 分散式 Airflow 介紹、架設，提供大量範例，並與爬蟲做結合!!!
2. 業界常用的監控系統 - Grafana & Prometheus，介紹與架設。
3. 並將書中介紹的各項服務，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都
與監控系統做串接，製作統一的 Dashboard 監控儀錶板工具!!!
這樣本書就算是一本，完整的資料工程師攻略了，包含
* 分散式爬蟲
* 資料庫架設
* API 架設
* 雲端系統
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 壓力測試
* Traefik 反向代理
* Redash BI 報表
* 分散式 Airflow
* 業界知名的 Grafana 監控系統
一本書涵蓋大量資料工程師的技能樹。
甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 )
目前書在天瓏書局預售中。
各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv
--
推
推用心
推推
又出新書了？
請問大大所謂的第二版是現在博X來上買的到的嗎?
不是哦，第二版8/20才出版，封面也不同
那一樣會上架在該平台嗎?，因為我比較常用
會上架在博客來
上架後我私信你
推
好的，十分感謝
推推，希望能趕快到8/20!
推，API好用
請問沒看過第一版適合直接閱讀第二版嗎
推個
有興趣
第一版的內容，第二版都有，而第二版新增了50%內容，所
以直接買第二版即可
了解!!馬上下單
推
推有心
沒有spark能叫資料工程師？
感覺和後端技能一樣啊，但我想轉資料工程，都因為沒sp
ark經驗被婉拒
拍拍，目前我在 17LIVE 的 data team，沒有用到 Spark 或許你可以參考以下職缺，還有在徵人 Requirements 也沒有提到 spark，應該可以試試看
https://www.swag.careers/senior-data-engineer
請問有出電子書嗎？
有喔，到時候再貼連結過來
出電子書大概沒多久就可以看到免費版
推 用的技術很貼近業界潮流 有電子書的話會支持
感謝，技術真的都是業界實際在應用的 等出版後，會再附上電子書連結
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 16:57:4377
[心得] 量化交易起頭篇希望藉這篇起頭文和量化交易同好交流，歡迎來信， 若有line或是Telegram群，或是論壇還請分享給我 部落格版本 (正文開始) 這是長榮套在202元努力寫程式脫魯的血淚文，話不![[心得] 量化交易起頭篇](https://i.imgur.com/ywsbuDIb.jpg "[心得] 量化交易起頭篇")
29
[討論] 台灣軟體工程工作內容本人文組轉資工仔，在美國唸書。 暑假在灣區某間資料管理公司實習，從事分散式資料系統的讀取優化，以及雲端資料庫存 取優化（C++）。下學期以後修課也往這方面修：資料庫與資訊系統+分散式系統 我想請問大家，這些技能在台灣的軟體工程界好找工作嗎？ 台灣軟體工程的工作內容，多為什麼呢？24
Re: [請益] 中階後端工程師該如何達到年薪100萬中高階，從來就不是用你工作幾年來看的。 我收過很多超過40歲的資深工程師，工作15年以上，寫履歷是這種"風格"的： 1.使用C#，完成公司內xxx系統，後端資料庫使用MS SQL。 2.使用 Java Spring boot完成後台購物系統。 3.使用 Azure/AWS 完成yyy雲端服務，精通Azure 各項雲服務。使用Azure OCR辨識公司文件。19
[聊天] 搜內徵工伺服器程師 月薪34K起最近(5/9) sonet在104上刊登了徵才廣告 其中有一項恰好是遊戲伺服器工程師 (Server programmer) 以下為工作內容![[聊天] 搜內徵工伺服器程師 月薪34K起](https://static.104.com.tw/b_profile/cust_picture/5000/70811495000/env/l_892440735981265625.jpg?v=20230502173218 "[聊天] 搜內徵工伺服器程師 月薪34K起")
10
[心得] 利用 AWS 打造分散式雲端架構 圖文講解【利用 AWS 快速打造分散式雲端架構】 架構圖： 影片連結： 內容簡介： 大家好，前一週跟大家分享了「什麼是分散式架構的出現？」的介紹，而如何實際建構![[心得] 利用 AWS 打造分散式雲端架構 圖文講解](https://i.imgur.com/YU4Q1imb.jpg "[心得] 利用 AWS 打造分散式雲端架構 圖文講解")
8
[心得] 自動化監控網站運行服務 - Gatus部落格: 影片: ## 前言 不知道大家在部署網站後，怎麼明確讓大家清楚知道現在網站的運行狀況，就像 GitHub 就是提供整體運行的網頁，監控常用的操作指令，像是 Git Operations, Webhooks 或![[心得] 自動化監控網站運行服務 - Gatus](https://img.youtube.com/vi/Fdgp3NpsPIs/mqdefault.jpg "[心得] 自動化監控網站運行服務 - Gatus")
5
【徵才】AsiaYo徵SRE/DevOps 年薪100-160萬標題:[徵才]Asiayo亞洲遊-徵SRE/DevOps工程師100-160K/3Y上 時間: Thu Oct 14 17:35:54 2021 【主要工作內容】 - 雲端資源調度與配置最佳化 (含權限控制與監控) AWS: VPC, IAM, EC2, S3, RDS, ElastiCache, CloudWatch, CloudFront, etc. (目前使4
[心得] 什麼是分散式架構?又為何我們需要它? 圖解介紹「為何會有分散式架構的出現？」 架構圖： 影片連結： 內容摘要： 大家常常聽到 分散式架構，但到底什麼是分散式架構？又為何我們需要它？![[心得] 什麼是分散式架構?又為何我們需要它? 圖解介紹](https://i.imgur.com/oBz0M9kb.jpg "[心得] 什麼是分散式架構?又為何我們需要它? 圖解介紹")
4
[心得] 監控服務 Gatus 系統架構部落格: 投影片: 今年第一場公開的演講 2022 台灣雲端大會，台灣五月開始疫情變嚴重，故延遲了一次到 七月才舉辦，這次帶給大家的是『自動化監控網站運行服務 – Gatus』，內容可以拆為 兩個部分，第一部分是介紹為什麼要使用 Gatus，用來解決開發團隊哪些問題，我也整理![[心得] 監控服務 Gatus 系統架構](https://i.imgur.com/bG24JxHb.png "[心得] 監控服務 Gatus 系統架構")
2
[面試] SRE/DevOps 面試心得(1)板上關於SRE/DevOps相關面試文章比較少 剛好小弟最近轉換跑道來貢獻一下面試經驗 今天先打沒上的公司 背景:中字輩碩資管 年資:5年