[請益] excel轉資料庫(大量計算)
各位大大您們好,
我正在做實價登錄的分析,因為實價登錄的資料有點亂,所以我寫了一堆算式去算,但是一個檔案都太大(至少150-180MB),所以每次更新都要跑一整個晚上,重點是還不知道是否有跑完(三不五時會發現計算錯誤)。。。。
想改到資料庫或其他的架構,是不是真的會比較快?但是重點是有辦法處理大量的計算。。。。
真的不知道該用什麼。。。
我不是唸相關科系的,實在不知道該從哪裡下手。。。。
想聽聽大家專業意見,不管是ACCESS或是python或是有其他大家覺得更好的方式 ,有一個方向我再去好好鑽研。。。
麻煩大家幫我指點明燈~~~ 跪恩!
--
換電腦
演算法寫得不好吧...連G都沒出現的資料不能稱為大
excel?? 那個不是很慢
用r data table 寫的非常快
excel函數一大就算到死了 改用R或python都舒服很多
mysql mongo都可以我之前也是excel超痛苦
看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變
大 後者的話直接建議塞進db 前者大概就是換語言讀寫
python去讀 再去下你要看的函數
把function換成vba來跑會快不少
之前資料量大用excel都盡量不寫函數,不然下拉時容
量跟耗的效能都會等比成長
不動產業的RD??
才不到200M,用程式讀到記憶體算,就解決了。根本不用資料
庫。
要不要試試看Google colab
Apache Spark
Hadoop
julia
才 180 MB 根本不用什麼 spark 啦 XD
直接 python 全讀到 memory 然後算一算就結了
樓上講完了
用aws elk做資料搜尋
DB用哪一個?
哈哈哈哈,謝謝大家的幫忙,但大家的回覆我真的看不懂,
大家實在是太專業了。。。。我是在一家建商,老闆常叫
我做市調,所以自己弄了套excel+power BI,看來得來自
學python了。。。。
試試access 應該夠用了
VBA 就夠了
excel和power bi有沒有裝64位元的,記憶體有沒有加到3
2G?32位元的軟體跑不動很正常。
c#的話我記得有excel lib支援yield return
Amazon Athena申請一個,資料丟進去 你會發現魔法
59
[情報] 「卡莉嗨」信用卡回饋查詢app更新: 1. 2020.07.04信用卡資料更新 如有不對,一起改進。 2. 把google sheet共用關閉了 ——————————————-54
[請益] 想請問資策會推薦大數據還是JAVA班各位前輩好,個人準備轉投軟體業,本身非理工科出身, 對於電腦大約只有基本(約計算機概論這種程度,會拆開電腦換硬體, 軟體有問題Google後手動解決),以前在學時學過一點C語言(幾乎忘的差不多了), 找查上課資料時發現資策會評價不錯,陸陸續續有去聽一些說明會, 目前比較想去上的課程有兩個,JAVA跟Big Data班,課程大綱如下:41
[請益] 海量EXCEL資料運算比較吃重哪方面的硬體?AS TITLE 問題重點在這句:計算海量EXCEL檔資料會比較吃重哪方面的硬體? (CPU ? 快取? 還是什麼? SSD是基本的我知道) 下文為詳述 因工作之故會處理極大量EXCEL檔,計算的累積數字都是幾千萬到幾億這樣綜合交叉比對20
[其他] 自動爬取公開觀測站股利報告書(python)公開資訊觀測站改版後比較難爬 但網路上很多爬蟲是針對舊版網頁的 這邊提供抓股利報告書的範例 對python跟selenium有基礎的 應該可以很快改成爬其他資料 完整教學在這裡: ~~9
[請益] Docker compose 使用 postgres 問題請問一下 我創建了 postgres 的容器,然後寫了一個 python 的程式去連接這個資料庫(python 的程式一樣在 docker 上) 然後我目前是使用 docker build run 的方式去啟動,但是如果我連資料庫的 IP 填 127.0.0.1 的話會無法連線,如果改成了資料庫容器裡的 IP(這裡是 172.17.0.2) 就可以成功,為什麼阿? 但是當我換成用 docker-compose 執行時,使用 127.0.0.1 跟 172.17.0.2 都失敗,反而使用電腦的IP(192.168.0.102(跑在虛擬機上)),就可以連成功? 請問問題出在哪裡啊? 我找資料找了一整天找不到類似的文章,來這裡問問大神5
[請益] 如何每天定時從TEJ抓資料我目前打算用Python分析TEJ提供的公司營收和財報數據, 我看了TEJ使用手冊, 也會用EXCEL的增益集,把TEJ的數據匯出 但我希望可以每天定時抓TEJ的資料, 抓當天公布的公司營收或財報等等3
Re: [請益] 非本科學習方向我覺得商管想寫程式滿容易進入一個誤區的 就是想要做"分析" 這裡我先解讀成: 想用程式技能協助自己的專業做出更好的分析 更簡單來說: 分析為主程式為輔 但以企業來說,好像沒什麼類似的"複合"職位,大多是原本的職位如會計、特助等1
Re: [問卦] 數學學這麼多真的有用嗎?魯魯很好奇一件事,國高中的數學大多在學計算,如果公式算式列對了只是計算錯誤答案是 錯的,該給幾分呢? 這代表這個人至少讀題跟邏輯是正確的吧,歡迎討論 --- Excel公式跟樞紐分析弄熟我覺得蠻基本的 最好要會多個公式一起使用,尤其是有條件判斷式的公式 Excel書多看幾本大概就OK了 邏輯訓練得還不錯之後就可以玩VBA 一個人再怎麼厲害終究還是一個人
- 請教一下, 我把本來預設的資料庫位置 /Apple Music (以下稱A) 改到我的NAS上的資料夾 (以下稱B) 然後 整理資料庫 把所有在A的檔案移轉到B 順利使用一陣子後,