PTT推薦

[心得] FreeNAS / TrueNAS 七年之癢(?)

tonysan 發表於 2022/10/7 下午3:49:30
看板Storage_Zone標題[心得] FreeNAS / TrueNAS 七年之癢(?)作者
tonysan
 (旅法師)時間推噓17 推:17 噓:0 →:24

網誌沒有比較好讀版:

https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html


七年前古文: #1MMGYTuc (Storage_Zone)


自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列升級重點，給沒時間細讀的人參考:

記憶體加滿 - 128G
加了一張 PCIe NVMe 擴充卡
把開機 USB 換成 NVMe
再多加一張 NVMe 當成 L2ARC
硬碟就地升級成 8TB
拆外接硬碟，改 SATA 電源接頭
用 smartctl 跟 badblocks 壓力測試硬碟
陣列重組 (resilvering)
升級區網，終於讓主機板上的 10G 網卡解除限制器
CIFS 效能從 3.5Gbps 提升到 5.45Gbps


對細節有興趣的請繼續往下看...



在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。

古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫，官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。） 但這張主機板已經沒有多餘的插槽裝二個開機碟。

還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...　
而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！

不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。



不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升級計畫就暫時被擱置了...

直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳用絕緣膠帶貼起來（用 Molex 轉 SATA也可以）

接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測。

（測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮動。）

燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉，讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2)

最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.105.214.152 (美國)
※ PTT 網址
※ 編輯: tonysan (99.105.214.152 美國), 10/07/2022 15:50:58
推

giorno78 10/07 16:12請問 VM 是跑什麼? 需要這麼多記憶體?

→

tonysan 10/07 16:15其實就算只跑TrueNAS, ARC也會慢慢吃光128G

→

tonysan 10/07 16:16當時VM跑一個 Ubuntu Desktop，二個Ubuntu server,

→

tonysan 10/07 16:16 上面塞一堆service (crashplan, plex, pihole….)

推

baby850811 10/07 16:18看別人花錢就是爽快（？

→

baby850811 10/07 16:18很有趣的紀錄 XD

推

zonppp 10/07 16:21貧窮真的會限制一個人的想像

→

tonysan 10/07 16:23分七年攤下來其實沒有很貴（？

→

Saren 10/07 16:33一直都有計劃搞一個 但是沒有空間給我擺 /__\

→

tomsawyer 10/07 17:16arc預設就是全用啊 你有用zilog嗎？

→

tonysan 10/07 17:46沒有用ZIL，Write heavy application 會跑完再cron

→

tonysan 10/07 17:46 rsync回來

推

a07051226 10/07 18:49我只有給他12G，然後是放在 PVE 上

→

a07051226 10/07 18:49PCI passthrough 進去給他吃 sata controller

→

a07051226 10/07 18:49讀寫效能就，普普通通吧

推

qunxiang 10/07 19:37感謝經驗分享

→

qunxiang 10/07 19:38原PO的膝蓋真好動XD

推

Cubelia 10/07 19:51有料

推

jack860719 10/07 19:52比較好奇原PO用什麼平台跑FreeNAS

推

Taichun318 10/07 21:35感謝分享

→

game0502 10/07 22:09我之前freenas 11.3隨身碟boot也是死很快，後來改5

→

game0502 10/07 22:0900G SSD外接

→

asdfghjklasd10/08 00:15我用 FreeNAS 跑在USB 上也是常常死掉

→

tonysan 10/08 01:29a我id看七年前的文章 上面有寫

→

tonysan 10/08 01:30Supermicro X10 Xeon D ITX

推

Mvp256 10/08 08:46用舊的128g的mlc來灌truenas scale應該不會死很快吧

→

tonysan 10/08 10:41應該不會，但安全起見，mirror boot 壞一顆還可以

→

tonysan 10/08 10:41救XD

→

tonysan 10/08 10:41不過我還沒升級到Scale

推

SmithYANG 10/08 10:53原PO的那篇文章也七年了啊...

推

bluezero000 10/08 12:23我現在在弄，也是掛在pve 上弄sata直通

→

bluezero000 10/08 12:24scale的VM不能直通顯卡，超哭

→

tonysan 10/08 12:37Scale 還不夠成熟，再給他一點時間

推

wk415937 10/09 16:25推分享

推

finaldark 10/09 16:31pve sas2308 直通+1

推

cancelpc 10/09 17:16zfs很吃記憶體

※ 編輯: tonysan (99.105.214.152 美國), 10/10/2022 11:11:08
→

tonysan 10/10 11:12如果要SAS 可以考慮 X10SDV-7TP4F 神版

推

finaldark 10/11 13:02可以請教一下超微的板要去那買?

推

TWN48 10/11 19:57巴德？或是有在賣伺服器的 SI 廠商？

→

TWN48 10/11 19:57拍賣平台搜一下有些賣家看起來也是專賣這類的。

推

FTICR 10/12 00:21感謝分享

同系列文章
Re: [心得] FreeNAS / TrueNAS 七年之癢(?)
其他人也閱讀了
PTT 熱門相關
Storage_Zone最新熱門推薦
🔥🔥🔥