PTT推薦

Re: [情報]

看板PC_Shopping標題Re: [情報] 作者
TWN48
(台灣48)
時間推噓13 推:13 噓:0 →:28

: 推 sflyman : 現在top500排第一的總共是200Peta Flops雙精準浮點 03/23 12:48: → sflyman : 請樓上隨便找一台google的data center比比看喔 03/23 12:48
找了一下參考資料

這是 top500.org 上面 Summit 的資料

https://www.top500.org/system/179397

同樣上面唯一有直接列名的 AWS EC2 cluster

https://www.top500.org/system/179693

把它做成簡表比較一下

Name Summit AWS EC2 C5 us-east-1a xPerf.

Rank (2019-11) 1 179

Cores 2,414,592 41,472

LINPACK Perf. 148,600 TFlops 1,926.4 TFlops 77.1x
(Rmax)

Theoretical 200,795 TFlops 3,981.31 TFlops 50.4x
Peak (Rpeak)


可以看到計算能力跟 Summit 比大約在 77x(LINPACK)到 50x(理論,也就是上面宣
稱 Summit 有 200PFlops 的來源)之間。


這個 AWS cluster 是 Descartes Labs 在 us-east-1 (N. Virginia) 跑出來的。

投影片在
https://d1.awsstatic.com/events/reinvent/2019/Powering_global-scale_predictive_intelligence_using_HPC_on_AWS_AIM227-S.pdf
https://tinyurl.com/tul6myh
(可以直接看第 33 頁)

錄影在
https://www.youtube.com/watch?v=c3HIPExo3HI&t=39m16s
(39:16)

簡錄重點:

1. 開了 1200 台 C5(應該就是 c5.18xlarge)。
2. 沒有事先知會 AWS。

為什麼第二點重要?
因為這代表沒有讓 AWS 事先準備容量、直接從當時 AZ (Availability Zone) 可用
的容量佔下來,也就是說那個 AZ 光是 C5 的備用容量就至少有這麼多。

而 AWS 有一大堆各種不同的 instance family。

我目前沒查到一個 AZ 的確切容量。

但如果你問一個 AZ(而且是 us-east-1),總共的計算能力有沒有 1200 台 C5 的
50 倍甚至 100 倍?
有真的在用、或者聽過看過 real (computational) use cases 的人心中應該都有個
底。

---

這個 AWS cluster 重點不在它的名次,而是它證明了:隨便一個人只要有一個 AWS
帳號(註)、一張信用卡、付得起一萬美金,你就能弄到 PFlops 等級的機器玩個幾
小時。


註:這個敘述其實對一半。新開的 AWS 帳號會有可佔用資源的上限,雖然可以申請
提高上限,但當你的帳號過去沒有一定的消費實績的情況下,要一次申請到這麼
高的上限恐怕不容易。


--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.30.32 (臺灣)
PTT 網址

jeff40108 03/24 02:07商用伺服器的配置比較合理啊,算力疊太高根本看的

jeff40108 03/24 02:07到吃不到

kkcity59 03/24 02:20光看運算力不看資料交換latency吃掉的效能就會這樣

kkcity59 03/24 02:21所以你要假設那些資料間的關連性都極低才行啊

kkcity59 03/24 02:21一旦資料有前後相依關係那就是不同一回事情了

當然。 所以上面的數字只是在試圖驗證原文爭論的話題:「拿一整個 DC 跟 Top500 賽豬公誰 會贏」而已。

kkcity59 03/24 02:23AWS本身就有IAM層級的限制了。開這麼多Instance

kkcity59 03/24 02:23老闆看到帳單後會跳起來,不過不要指開Instance

kkcity59 03/24 02:25記得開各大大的elasticache老闆會跳更高

※ 編輯: TWN48 (140.112.30.32 臺灣), 03/24/2020 02:32:13

kkcity59 03/24 02:36商用伺服器如果去看價格跟運算力那他非常非常的貴

kkcity59 03/24 02:36跟超電腦比啦,看看IBM Z Series那可怕的租金

kkcity59 03/24 02:37他的錢是即使性跟可靠度的保證

kkcity59 03/24 02:37超電腦的可靠度不是最重要的,科學運算都反覆驗證

kkcity59 03/24 02:38所以在可接受的可靠度下用最少錢疊出最高運算力

kkcity59 03/24 02:38其實是超電腦在比的事情,跟商用機器取向是很不同的

kkcity59 03/24 02:39商用機器要有最高的可靠度,但性能.....真的很爛

kkcity59 03/24 02:40如果比對你花下去的錢來說的話啦

※ 編輯: TWN48 (140.112.30.32 臺灣), 03/24/2020 02:43:12

Monoson 03/24 02:54超級電腦通常是做科學計算的,誰說可靠度不重要?

kkcity59 03/24 03:14額 ..我不是說 "不重要"是說 "可接受"的可靠度即可

kkcity59 03/24 03:16也就是超級電腦的可靠度跟商用機器是有一個等級差別

kkcity59 03/24 03:17其實你想想超電腦幹的事情跟[email protected]有八成像

kkcity59 03/24 03:17家用電腦的可靠度也並沒有非常的高

verdandy 03/24 07:37記得類似seti @home 等等的計畫才會將同一任務分給

verdandy 03/24 07:37複數帳號來做比對認證

hcwang1126 03/24 07:45hpc本來就可以租用啊

hcwang1126 03/24 07:46可靠度有點麻煩的是和loading有關

hcwang1126 03/24 07:47滿載跑個兩三天 會看到很多神奇的事

aegis43210 03/24 08:50而且超級電腦有不同體系,臺灣走富士通體系

a000000000 03/24 09:09這些cloud大廠佔server cpu 超過四成上看五成

a000000000 03/24 09:09hpc哪能跟aws比= =

birdy590 03/24 09:50昨天的新聞, IBM/Amazon/Google/微軟聯合起來要提供

birdy590 03/24 09:51運算資源給COVID-19相關研究~ 這種工作本來就很適合

birdy590 03/24 09:52雲服務 大廠通通串起來運算力驚人

hcwang1126 03/24 12:43因為經濟活動停滯 server也會沒事

hcwang1126 03/25 14:36其實這個案例有個地方是可靠度的調整 謝謝分享

hcwang1126 03/25 14:38他的確就是在説aws如何beat傳統hpc

hcwang1126 03/25 14:52台灣杉也是peta級 花費一小時約2萬 玩一次最少500

hcwang1126 03/25 14:52 只是沒那麼容易

hcwang1126 03/25 15:21這個例子證明了可行性 雖然還是需要一點技術

hcwang1126 03/25 15:24AMD ver. c5a c5ad要出了

kkcity59 03/27 23:06AWS通常跟大公司簽完一些多餘跟浮動的運算力

kkcity59 03/27 23:07都是拿去市場給人家用標的,運氣好可以標的很便宜