[問卦] 一天單一table就七十幾萬筆資料的SQL
已經照月份分拆了
但是這樣一個月下來整個月份也是兩千多萬筆資料
這樣讀取效率很差欸
難道要照週去分拆table ?
這樣抓資料還要考慮有沒有跨周
好麻煩喔
有沒有鍵盤資料庫大師可以救救我的
建index真的會有幫助嗎
--
推 afterxxxxx: 我高中同學兄弟倆愛吃麥當勞常跑去偷吃 他爸有次生氣02/16 22:07
→ Merkle: 就射了02/16 22:08
→ afterxxxxx: 了說愛吃就讓你們吃個夠 然後連續兩個禮拜晚餐都吃麥02/16 22:09
→ Merkle: 克阿瑟為子祈禱文02/16 22:09
→ afterxxxxx: 我同學還是吃得很開心然後他爸先崩潰了02/16 22:10
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.3.161 (臺灣)
※ PTT 網址
→
兩千多萬有很多ㄇ
→
兩千萬筆還好吧 有index幾乎秒查
→
table scan才會慢
噓
建議寫一個sp 每天自動創一個table
→
索引本來就要有
→
資料庫是這樣拆的??
噓
看成jable....
→
然後你撈的語法跟數量也有差
→
這樣就可以一個TABLE只有66萬筆資料
噓
看成jable
噓
MapReduce NoSQL MongoDB，自己去google
→
吧
→
用值拆表不是個方法 自找苦吃吧
→
那麼少筆
→
要嘛沒建索引，不然就是條件沒對到索引
推
建看看就知道有沒有效了，欄位記得設對啊
→
建立index啊 會快一點
→
最後一句是在問三小
推
一天就不只2000萬筆了 你一個月兩千萬??
→
好啊 你撈就直接用日期撈 難怪慢到逾時
推
升級量子電腦
推
大家好厲害
→
對不起我半路出家的只會table scan硬幹
→
哇幹 直接用日期撈你也看得出來 高手
噓
你知道資料庫也是有專業的嗎?
→
7萬筆，70萬筆，700萬筆，7000萬筆.....
→
能夠解決越後面的問題，才是專業啊
→
誰建table 不預設key 啊
→
靠妖 都這麼多筆了 才再問index ==
推
分片啦
推
要看你資料打算怎麼抓，把寫好的語法丟進
→
去讓sql建議你怎麼建index吧
推
沒從設計結構調整，光靠索引，還會碰瓶頸
→
先index 再partition end
推
建index啦
53
[問卦] 急...資料庫管理很難嗎?急 如題 非唬爛 單位有人升官轉單位了 組長說沒人了18
[請益] 每日盤後 raw data 原始數據 如何取得你各位每天看得 App , 各股票網站的各種圖表 例如:分點進出,每天開收盤價,量 等等 都是由台灣證券交易所獲得資料,再利用這些資料做出圖表 我想獲得原始資料,匯入資料庫,自行分析 利用 SQL 自己下條件16
[請益] 如何有效益的維護data loader如題 目前做的project架構長這樣 Loader1 Loader2 Loader3 ........... Loader30 Area 1 Area 2![[請益] 如何有效益的維護data loader](https://i.imgur.com/k9yyOpUb.jpg?fb "[請益] 如何有效益的維護data loader")
6
Re: [新聞] 房仲神器「小白機」洩上億筆個資 創始人等64人被逮不懂欸，台灣才2300萬人，為什麼小白機會有多達1億8千多筆資料？ 如果這數字內含左岸個資又太少了... 誰可以說明一下？ ※ 引述《ECZEMA (ID 亂取的啦!)》之銘言： : 1.媒體來源:5
Re: [問卦] 資工系的看實聯制這麼廢是不是很痛苦？我有個大膽的想法 一堆文組在吵沒工作或想進資訊業 那我們就給他們就業機會 就把這些資料txt檔，叫他們一個個key在excel table上面 在進行篩選，全用手動別給我用函式或是SQL語法3
[請益] Django+Mysql資料表問題最近在學習Django，使用Mysql做為資料庫 想呈現的內容是一檔股票每周股權分散的變化 雖然資料表已經創建完成了，不過我用的方式是 先寫好建立資料表的sql語法，用for loop執行(一個csv檔建立一個Table) 表格內容也是用for loop Insert進去2
Re: [新聞] 微風「整個資料庫被打包帶走」！90萬會員笑死 90萬也敢出來賣 某東南亞島國外洩兩千多萬筆資料 有地址 性別 人名 身分證 生日 政府到現在還再裝死 90萬神摸咖==![Re: [新聞] 微風「整個資料庫被打包帶走」！90萬會員](https://img.ltn.com.tw/Upload/news/600/2022/12/09/4149494_1_1.jpg "Re: [新聞] 微風「整個資料庫被打包帶走」！90萬會員")
3
[問卦] 我們ptt是用關聯式資料庫嗎？想問大家，我們每天都在上的ptt是用關聯式資料庫嗎？ 是那種像Oracle, MS-SQL, My SQL 那種有table, 欄位的關聯式資料庫嗎？ 只是我每次回文時，又怕會不小心動到別人的推文，感覺本文跟下面的推文，很像一整篇 純文字型態的概念，沒有欄位的感覺... 想問大家，我們愛上的ptt用的是關聯式資料庫在儲存資料嗎？X
[問卦] Table名稱當外鍵用是什麼操作阿肥最佳看小朋友很愛用orm而不是直接寫一個sql procedure來接資料 阿發現小朋友現在很流行把table名稱直接當外鍵用 像這樣 "SELECT Key FROM … WHERE ..." -> 其他表的鍵 "SELECT * FROM %s" % (其他表的鍵)![[問卦] Table名稱當外鍵用是什麼操作](https://i.imgur.com/qND8tADb.jpg "[問卦] Table名稱當外鍵用是什麼操作")
[請益] 資料清洗請問各位連到SQL資料庫後 會先作資料清洗再匯入到BI 還是先用SQL抓Raw data再用 Python 做資料清洗匯到BI呢? 自動化報表用哪一種比較快速方便呢?
爆
[爆卦] 台中沙鹿槍戰爆
[問卦] 全聯的特價是不是當大家白癡？![[問卦] 全聯的特價是不是當大家白癡？](https://i.imgur.com/rZRSDqob.jpeg "[問卦] 全聯的特價是不是當大家白癡？")
爆
[問卦] 謝宜容的美感是出了甚麼問題?![[問卦] 謝宜容的美感是出了甚麼問題?](https://i.imgur.com/T0zma5pb.jpeg "[問卦] 謝宜容的美感是出了甚麼問題?")
爆
[問卦] 中國已婚正妹老師誘14歲學生開房間![[問卦] 中國已婚正妹老師誘14歲學生開房間](https://pbs.twimg.com/ext_tw_video_thumb/1861406081609805824/pu/img/mpqMsvasoY3t-RuT.jpg:large "[問卦] 中國已婚正妹老師誘14歲學生開房間")
97
[問卦] 給年輕人一個忠告 可以給什麼 幫忙想一下![[問卦] 給年輕人一個忠告 可以給什麼 幫忙想一下](https://i.imgur.com/VkZl19cb.jpeg "[問卦] 給年輕人一個忠告 可以給什麼 幫忙想一下")
49
[問卦] 剛上班茶水間主管一直說想要一個家庭![[問卦] 剛上班茶水間主管一直說想要一個家庭](https://i.imgur.com/B8S07WMb.jpeg "[問卦] 剛上班茶水間主管一直說想要一個家庭")
63
[問卦] 台灣米在日本賣光光![[問卦] 台灣米在日本賣光光](https://i.imgur.com/DioYxk5b.jpeg "[問卦] 台灣米在日本賣光光")
17
[問卦] 沒人發現看棒球根本沒打過棒球嗎？44
Re: [新聞] 自爆做棒球球版涉賭被譙爆 館長：台灣人![Re: [新聞] 自爆做棒球球版涉賭被譙爆 館長：台灣人](https://cc.tvbs.com.tw/img/upload/2019/08/20/20190820171558-751c94bc.jpg "Re: [新聞] 自爆做棒球球版涉賭被譙爆 館長：台灣人")
49
[問卦] 坐捷運看到這種的不會很害怕嗎？怕的莫點![[問卦] 坐捷運看到這種的不會很害怕嗎？怕的莫點](https://scontent.ftpe7-1.fna.fbcdn.net/v/t15.5256-10/468010567_1535970030420186_8388190468034781312_n.jpg?stp=dst-jpg_s1000x1200&_nc_cat=1&ccb=1-7&_nc_sid=c26028&_nc_ohc=sDFdZl69GJkQ7kNvgFoFXgL&_nc_zt=23&_nc_ht=scontent.ftpe7-1.fna&_nc_gid=Aa-M5S4BGE4ekA8ZMKZJ56d&oh=00_AYDVgjQjjvab4-9N8tahTl25ExEtxD8cZZiDaYa6uR8Qrw&oe=674BDD3F "[問卦] 坐捷運看到這種的不會很害怕嗎？怕的莫點")
25
Re: [爆卦] 球員兼裁判，衛環立委陳宜民接疾管署25
[問卦] 作業員要怎麼寫日記![[問卦] 作業員要怎麼寫日記](https://i.imgur.com/4gW8kcsb.jpg "[問卦] 作業員要怎麼寫日記")
4
[問卦] 台灣足球竟然是0-6？![[問卦] 台灣足球竟然是0-6？](https://i.imgur.com/KCoehdLb.jpeg "[問卦] 台灣足球竟然是0-6？")
36
[問卦] 陳傑憲有機會選總統嗎![[問卦] 陳傑憲有機會選總統嗎](https://i.imgur.com/e39k7uQb.jpeg "[問卦] 陳傑憲有機會選總統嗎")
16
[問卦] 人妻外遇是為了啥？？10
[問卦] 可以不要再播棒球新聞了嗎?![[問卦] 可以不要再播棒球新聞了嗎?](https://i.imgur.com/DZAuDOeb.jpeg "[問卦] 可以不要再播棒球新聞了嗎?")
19
[問卦] 請人來洗冷氣要注意什麼嗎![[問卦] 請人來洗冷氣要注意什麼嗎](https://img.youtube.com/vi/_bfqiFcQU-0/mqdefault.jpg "[問卦] 請人來洗冷氣要注意什麼嗎")
12
Re: [新聞] 柯文哲再爆2300萬賄款 不法金額破億！![Re: [新聞] 柯文哲再爆2300萬賄款 不法金額破億！](https://i.imgur.com/LYGe1z1b.jpeg "Re: [新聞] 柯文哲再爆2300萬賄款 不法金額破億！")
11
[問卦] 富二代沒工作早早退休 不會無聊嗎？12
[問卦] 有一說一 美國人真的支持川普課陸貨重稅?7
[問卦] 33處男剩下一個月怎麼賺到1000萬的八卦![[問卦] 33處男剩下一個月怎麼賺到1000萬的八卦](https://i.imgur.com/0b7HSuHb.jpg "[問卦] 33處男剩下一個月怎麼賺到1000萬的八卦")
13
Re: [新聞] 台製飛彈火箭推進劑來自中國 中科院9
[問卦] 辜仲諒吃麥當勞薯條會加大嗎?![[問卦] 辜仲諒吃麥當勞薯條會加大嗎?](https://i.imgur.com/Iq3XVLTb.jpeg "[問卦] 辜仲諒吃麥當勞薯條會加大嗎?")
9
[問卦] 為何不能取中華台灣![[問卦] 為何不能取中華台灣](https://i.imgur.com/VFUn8ZWb.jpeg "[問卦] 為何不能取中華台灣")
X
[問卦] 七年級是棒球人才真空帶嗎？37
[問卦] 陳傑憲的髮型叫什麼阿？![[問卦] 陳傑憲的髮型叫什麼阿？](https://i.imgur.com/B9Ym331b.jpeg "[問卦] 陳傑憲的髮型叫什麼阿？")
8
[問卦] 中國經濟差不多就這樣了吧？9
[問卦] 台灣人後背包一邊雨傘一邊保溫瓶的卦4
[問卦] team taiwan 正名台灣沒什麼問題吧？9
[問卦] 在羅馬遇到扒手怎麼辦啊
![[爆卦] 台中沙鹿槍戰](https://i.imgur.com/FvwuU7Jb.jpeg223.136.123.100 "[爆卦] 台中沙鹿槍戰")
![Re: [新聞] 台製飛彈火箭推進劑來自中國 中科院](https://i.imgur.com/3AHxMNEb.jpeg223.140.170.132 "Re: [新聞] 台製飛彈火箭推進劑來自中國 中科院")
![[問卦] team taiwan 正名台灣沒什麼問題吧？](https://i.imgur.com/VQAPnN9b.jpeg223.140.219.178 "[問卦] team taiwan 正名台灣沒什麼問題吧？")