Re: [麥書] M1 macbook air 8g 心得

zxc123452912/24 19:18為什麼做DS會選擇用excel 太神奇了

benedict7612/24 19:26做前處理還不錯用

Killercat12/24 20:14Data Science用Excel.....=____=a?????

Killercat12/24 20:15很多CSV editor應該會是更好的選擇 如TableTool

Killercat12/24 20:15前處理也不可能是xls/xlsx 多半也是csv而已

benedict7612/24 20:30最好raw data會有人傳csv來，都馬是xlxs傳來，現在上

benedict7612/24 20:30面編輯後再轉csv也是蠻常見的。

benedict7612/24 20:35發現我xlsx打錯XD

Killercat12/24 20:53不是啊，傳CSV什麼前處理都能做 傳xlsx是要幹嘛....

Killercat12/24 20:54這種要我額外寫apache poi的文件我都踹回去的啊...

benedict7612/24 21:01那是工程師間才有辦法這樣做，當你要解決問題的對象是

benedict7612/24 21:01公司某些部門的需求，他們丟的資料來就是xlsx檔，然後

benedict7612/24 21:01裡面一堆工作表跟vba等，開起來真的慢。

Killercat12/24 21:03好吧，我只能說，我工作流程碰到這個都是踹回去...

Killercat12/24 21:04給大資料送xlsx我會直接覺得對方腦袋有洞

benedict7612/24 21:10反正就是個工具而已，excel也有人用來跑svm或是分析蠻

benedict7612/24 21:10好用的。

KotoriCute12/24 22:09用excel做前處理很常見啊

KotoriCute12/24 22:11xlsx格式很常見啊 大驚小怪

benedict7612/24 22:18就我所知有些人以為excel就只是做做表格而已有點看不

benedict7612/24 22:18起它，但是excel要用到精深跟學一門語言差不多有難度

benedict7612/24 22:18。

psion12/24 22:46M$唯一有價值的軟體就是excel

pig12/24 22:48日本人用 excel 用到出神入化，當關聯式資料庫用都可以 XD

allen12585812/24 22:58也想知道，工作上常遇到爆乾大excel檔

WulinWorks12/24 23:12日本人還可以拿 Excel 來畫畫咧

helba12/24 23:28上次不是用excel 做一個可以玩的DQ3

benedict7612/25 00:15我遇到的excel檔開很慢大部分就是公式架太多了，畢竟

benedict7612/25 00:15大部分的人不會寫vba，不然用vba效率會比用內建函式還

benedict7612/25 00:15要高。

maplefff12/25 01:36傳說中的用Excel做大樹鋸！！！

Yukirin12/25 02:34我敢說我們整個data science team都不會用excel.....

azuel12/25 02:44python可以直接讀取xlsx吧，如果資料工整的話

Killercat12/25 05:35之前碰過這種都是前端弄個POI之類的轉CSV在讀

Killercat12/25 05:35不可能叫data pipeline裡面的node去讀xlsx 都是先轉

Killercat12/25 05:36先轉的話poi會比較簡單而且效率高一點

Killercat12/25 05:36我是不知道其他人啦 不過換我我就叫他退件了....

qqaatw12/25 08:29就是個工具而已，用csv就比較高尚？

qqaatw12/25 08:30資料正常轉CSV幾秒鐘時間而已

jackyown12/25 09:54结果沒半個人回答原PO問題 只有自視甚高的工程師在鄙

jackyown12/25 09:54視excel 這版風氣何時變成這樣了？

simongarden12/25 10:24沒幾個人買到機器要回答個毛，這版風氣不都這樣嗎

simongarden12/25 10:25問各種需求一律MBP捏一下攻頂，其他都是渣，先知出沒

simongarden12/25 10:26只有一種作業方跟我一樣才叫正道，其他都是妖魔鬼怪

YJC124812/25 10:30我在等人回答原po的問題

Killercat12/25 11:05沒有鄙視excel 而是對「大數據」「raw data」「excel」

Killercat12/25 11:05放在一起覺得以自身經驗來講很奇怪而已

Killercat12/25 11:06「既然你寫過很多日本美食，那順便問一下機票怎麼買最

Killercat12/25 11:06便宜？外站怎麼開最划算」「蛤？？？」

Killercat12/25 11:11既然真有人前處理用這個又不輸出csv給後台 那我也認啦

eyecolor12/25 12:37我自己有寫了幾萬行公式的跨工作表的excel，用i5-7500桌

eyecolor12/25 12:37機開表格要28秒，等M1到貨來試試會開多久

eyecolor12/25 12:38但客製版要下月月底了 QQ

iPhoneApps12/25 13:05樓上傳給我我幫測

eyecolor12/25 13:07抱歉全部都是個資耶 0 0

maybe1312/25 13:07想知道+1，希望有更多人可以針對原po的問題分享經驗

eyecolor12/25 13:08因為我寫的表格真的是工作用的，都是客戶個資

huabandd12/25 15:00excel有那麼厲害嗎？number可以取代嗎？有人分享一下嗎

simongarden12/25 15:26numbers差excel不止幾條街了，不是同級距產品

azuel12/25 16:25在恰當使用之下，excel確實可以做很多的數據整理分析、呈現

azuel12/25 16:26因為可視化格子互相關聯和公式彈性，不會寫程式也能用

azuel12/25 16:27當然到一定程度的複雜度之後會開始加掛VBA

azuel12/25 16:28資料超過104萬row之後自然就會往寫程式+資料庫去了

azuel12/25 16:28都是工具，作用不同，目標族群不同，沒有啥誰高誰低啦

azuel12/25 16:30以前我也用excel抓dde算black scholes跑選擇權評價啊

cevs12/25 16:36office建議還是用win

iPhoneApps12/25 16:49shorturl.at/qBDSU 這個有5m筆記錄

iPhoneApps12/25 16:59MBA M1 base 21秒開啟 1048576筆紀錄的csv

iPhoneApps12/25 17:01簡單的sort 按下去5秒左右跑完

iPhoneApps12/25 17:25修正一下是15秒左右開啟 1m筆的csv

iPhoneApps12/25 17:26如果轉乘.numbers 開1m筆的檔案是10秒

qqaatw12/25 18:09某人沒鄙視Excel？是誰說給xlsx的腦袋有洞？ 不是所有raw

qqaatw12/25 18:09data都會用csv安排的好好的，

benedict7612/25 18:35http://i.imgur.com/2nBp86R.jpg 這裡有點看不起的感

benedict7612/25 18:35覺。

azuel12/25 21:32其實他說得也沒有錯啦，excel不是用在data science的領域

azuel12/25 21:32他也沒批判excel作為其他統計、呈現、資料整理的用途啊

benedict7612/26 00:05excel不是用在資料科學那麼是用在那？光資料視覺化還

benedict7612/26 00:05有一些資料操作就算資料科學了。

mirror022712/26 09:12要傳data給工程師，不能先弄成csv嗎，這是公司內部流

mirror022712/26 09:12程分工的問題，可能覺得工程師太好凹吧

soiomon12/26 09:30普遍不會把excel當作資料科學的工具

soiomon12/26 09:31拿python來說, numpy, dataframe, sklearn, tensorflow

soiomon12/26 09:32pytorch 這些工具都各有用途

soiomon12/26 09:33但excel可能最多只能執行numpy和dataframe能做到的部分功

soiomon12/26 09:34能，而且還跑得比較慢，也未必能處理百萬以上的資料量

soiomon12/26 09:39倒不是說excel不好，他就是一個入門的處理資料的工具。但

soiomon12/26 09:39歸功於近年Big data/Machine learning的蓬勃發展，他能做

soiomon12/26 09:40到的事情真的不多。

aidansky098912/26 13:06沒玩過kaggle?資料都excel檔

benedict7612/26 13:26excel 外掛power query power pivot就是處理大數據用

benedict7612/26 13:26的

soiomon12/26 14:09雖然一陣子沒打kaggle，但還真的沒看過excel檔，樓樓上

soiomon12/26 14:09要不要分享一下你的經驗。順便教我要怎麼用excel一層一

soiomon12/26 14:09層把DNN疊出來或是rf.fit()等於excel裡面的什麼

soiomon12/26 14:19Excel和Data science 關聯性真的不強，他就是個辦公性質

soiomon12/26 14:19的軟體。可以試著看一些medium文章，像是toward datasci

soiomon12/26 14:19ence之類，瞭解Data science 常在做哪些事，上面很多的

soiomon12/26 14:19問題一開始就沒有必要討論。

benedict7612/26 14:20data science 又不是只有ml dl，你說ml dl不常用excel

benedict7612/26 14:20我比較認同。

soiomon12/26 14:24回到討論本身：如果原po在做Data science的話，我很好奇

soiomon12/26 14:24Torch是怎麼跑，我之前用MBP跑感覺吃的都是CPU，慢到只

soiomon12/26 14:24能認同刷卡用GCP。而且換到ARM的話預期一堆Library不能

soiomon12/26 14:24用，搞不好confusion matrix都要自己寫一個function xd

azure12/26 16:41初原PO說他做演算法開發 回文app大依軟體推想領域問EXCEL

sucker080712/27 15:09我的mbp跑torch只吃得到cpu，mba m1目前torch也是用cp

sucker080712/27 15:09u跑，光是cpu就屌打17年mbp不知道幾條街了