Mysql某個表有近千萬數(shù)據(jù)，CRUD比較慢，如何優(yōu)化？

數(shù)據(jù)千萬級別之多，占用的存儲空間也比較大，可想而知它不會存儲在一塊連續(xù)的物理空間上，而是鏈式存儲在多個碎片的物理空間上?？赡軐τ陂L字符串的比較，就用更多的時間查找與比較，這就導致用更多的時間。

成都創(chuàng)新互聯(lián)專注于企業(yè)營銷型網(wǎng)站建設、網(wǎng)站重做改版、盤山網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、HTML5、商城網(wǎng)站定制開發(fā)、集團公司官網(wǎng)建設、外貿(mào)營銷網(wǎng)站建設、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為盤山等各大城市提供網(wǎng)站開發(fā)制作服務。

可以做表拆分，減少單表字段數(shù)量，優(yōu)化表結(jié)構(gòu)。

在保證主鍵有效的情況下，檢查主鍵索引的字段順序，使得查詢語句中條件的字段順序和主鍵索引的字段順序保持一致。

主要兩種拆分 垂直拆分，水平拆分。

垂直分表

也就是“大表拆小表”，基于列字段進行的。一般是表中的字段較多，將不常用的， 數(shù)據(jù)較大，長度較長（比如text類型字段）的拆分到“擴展表“。 一般是針對 那種 幾百列的大表，也避免查詢時，數(shù)據(jù)量太大造成的“跨頁”問題。

垂直分庫針對的是一個系統(tǒng)中的不同業(yè)務進行拆分，比如用戶User一個庫，商品Product一個庫，訂單Order一個庫。 切分后，要放在多個服務器上，而不是一個服務器上。為什么？ 我們想象一下，一個購物網(wǎng)站對外提供服務，會有用戶，商品，訂單等的CRUD。沒拆分之前， 全部都是落到單一的庫上的，這會讓數(shù)據(jù)庫的單庫處理能力成為瓶頸。按垂直分庫后，如果還是放在一個數(shù)據(jù)庫服務器上， 隨著用戶量增大，這會讓單個數(shù)據(jù)庫的處理能力成為瓶頸，還有單個服務器的磁盤空間，內(nèi)存，tps等非常吃緊。 所以我們要拆分到多個服務器上，這樣上面的問題都解決了，以后也不會面對單機資源問題。

數(shù)據(jù)庫業(yè)務層面的拆分，和服務的“治理”，“降級”機制類似，也能對不同業(yè)務的數(shù)據(jù)分別的進行管理，維護，監(jiān)控，擴展等。 數(shù)據(jù)庫往往最容易成為應用系統(tǒng)的瓶頸，而數(shù)據(jù)庫本身屬于“有狀態(tài)”的，相對于Web和應用服務器來講，是比較難實現(xiàn)“橫向擴展”的。 數(shù)據(jù)庫的連接資源比較寶貴且單機處理能力也有限，在高并發(fā)場景下，垂直分庫一定程度上能夠突破IO、連接數(shù)及單機硬件資源的瓶頸。

水平分表

針對數(shù)據(jù)量巨大的單張表（比如訂單表），按照某種規(guī)則（RANGE,HASH取模等），切分到多張表里面去。 但是這些表還是在同一個庫中，所以庫級別的數(shù)據(jù)庫操作還是有IO瓶頸。不建議采用。

水平分庫分表

將單張表的數(shù)據(jù)切分到多個服務器上去，每個服務器具有相應的庫與表，只是表中數(shù)據(jù)集合不同。 水平分庫分表能夠有效的緩解單機和單庫的性能瓶頸和壓力，突破IO、連接數(shù)、硬件資源等的瓶頸。

水平分庫分表切分規(guī)則

1. RANGE

從0到10000一個表，10001到20000一個表；

2. HASH取模

一個商場系統(tǒng)，一般都是將用戶，訂單作為主表，然后將和它們相關(guān)的作為附表，這樣不會造成跨庫事務之類的問題。 取用戶id，然后hash取模，分配到不同的數(shù)據(jù)庫上。

3. 地理區(qū)域

比如按照華東，華南，華北這樣來區(qū)分業(yè)務，七牛云應該就是如此。

4. 時間

按照時間切分，就是將6個月前，甚至一年前的數(shù)據(jù)切出去放到另外的一張表，因為隨著時間流逝，這些表的數(shù)據(jù) 被查詢的概率變小，所以沒必要和“熱數(shù)據(jù)”放在一起，這個也是“冷熱數(shù)據(jù)分離”。

分庫分表后面臨的問題

事務支持

分庫分表后，就成了分布式事務了。如果依賴數(shù)據(jù)庫本身的分布式事務管理功能去執(zhí)行事務，將付出高昂的性能代價； 如果由應用程序去協(xié)助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。

跨庫join

只要是進行切分，跨節(jié)點Join的問題是不可避免的。但是良好的設計和切分卻可以減少此類情況的發(fā)生。解決這一問題的普遍做法是分兩次查詢實現(xiàn)。在第一次查詢的結(jié)果集中找出關(guān)聯(lián)數(shù)據(jù)的id,根據(jù)這些id發(fā)起第二次請求得到關(guān)聯(lián)數(shù)據(jù)。

跨節(jié)點的count,order by,group by以及聚合函數(shù)問題

這些是一類問題，因為它們都需要基于全部數(shù)據(jù)集合進行計算。多數(shù)的代理都不會自動處理合并工作。解決方案：與解決跨節(jié)點join問題的類似，分別在各個節(jié)點上得到結(jié)果后在應用程序端進行合并。和join不同的是每個結(jié)點的查詢可以并行執(zhí)行，因此很多時候它的速度要比單一大表快很多。但如果結(jié)果集很大，對應用程序內(nèi)存的消耗是一個問題。

數(shù)據(jù)遷移，容量規(guī)劃，擴容等問題

來自淘寶綜合業(yè)務平臺團隊，它利用對2的倍數(shù)取余具有向前兼容的特性（如對4取余得1的數(shù)對2取余也是1）來分配數(shù)據(jù)，避免了行級別的數(shù)據(jù)遷移，但是依然需要進行表級別的遷移，同時對擴容規(guī)模和分表數(shù)量都有限制。總得來說，這些方案都不是十分的理想，多多少少都存在一些缺點，這也從一個側(cè)面反映出了Sharding擴容的難度。

ID問題

一旦數(shù)據(jù)庫被切分到多個物理結(jié)點上，我們將不能再依賴數(shù)據(jù)庫自身的主鍵生成機制。一方面，某個分區(qū)數(shù)據(jù)庫自生成的ID無法保證在全局上是唯一的；另一方面，應用程序在插入數(shù)據(jù)之前需要先獲得ID,以便進行SQL路由.

一些常見的主鍵生成策略

UUID

使用UUID作主鍵是最簡單的方案，但是缺點也是非常明顯的。由于UUID非常的長，除占用大量存儲空間外，最主要的問題是在索引上，在建立索引和基于索引進行查詢時都存在性能問題。

Twitter的分布式自增ID算法Snowflake

在分布式系統(tǒng)中，需要生成全局UID的場合還是比較多的，twitter的snowflake解決了這種需求，實現(xiàn)也還是很簡單的，除去配置信息，核心代碼就是毫秒級時間41位 機器ID 10位 毫秒內(nèi)序列12位。

跨分片的排序分頁

一般來講，分頁時需要按照指定字段進行排序。當排序字段就是分片字段的時候，我們通過分片規(guī)則可以比較容易定位到指定的分片，而當排序字段非分片字段的時候，情況就會變得比較復雜了。為了最終結(jié)果的準確性，我們需要在不同的分片節(jié)點中將數(shù)據(jù)進行排序并返回，并將不同分片返回的結(jié)果集進行匯總和再次排序，最后再返回給用戶。

mysql 數(shù)據(jù)量超過百萬后怎么處理

我們經(jīng)常會遇到操作一張大表，發(fā)現(xiàn)操作時間過長或影響在線業(yè)務了，想要回退大表操作的場景。在我們停止大表操作之后，等待回滾是一個很漫長的過程，盡管你可能對知道一些縮短時間的方法，處于對生產(chǎn)環(huán)境數(shù)據(jù)完整性的敬畏，也會選擇不做介入。最終選擇不作為的原因大多源于對操作影響的不確定性。實踐出真知，下面針對兩種主要提升事務回滾速度的方式進行驗證，一種是提升操作可用內(nèi)存空間，一種是通過停實例，禁用 redo 回滾方式進行進行驗證。

仔細閱讀過官方手冊的同學，一定留意到了對于提升大事務回滾效率，官方提供了兩種方法：一是增加 innodb_buffer_pool_size 參數(shù)大小，二是合理利用 innodb_force_recovery=3 參數(shù)，跳過事務回滾過程。第一種方式比較溫和，innodb_buffer_pool_size 參數(shù)是可以動態(tài)調(diào)整的，可行性也較高。第二種方式相較之下較暴力，但效果較好。

兩種方式各有自己的優(yōu)點，第一種方式對線上業(yè)務系統(tǒng)影響較小，不會中斷在線業(yè)務。第二種方式效果更顯著，會短暫影響業(yè)務連續(xù)，回滾所有沒有提交的事務。

mysql表很大sum不全

mysql表很大sum不全的解決辦法：

1、優(yōu)化sql和索引。

2、加緩存，memcached，redis。

3、以上都做了后，還是慢，就做主從復制或主主復制，讀寫分離，可以在應用層做，效率高，也可以用三方工具，第三方工具推薦360的atlas，其它的要么效率不高，要么沒人維護。

4、以上都做了還是慢，不要想著去做切分，mysql自帶分區(qū)表，先試試這個，對應用是透明的，無需更改代碼，sql語句是需要針對分區(qū)表做優(yōu)化的，sql條件中要帶上分區(qū)條件的列，從而使查詢定位到少量的分區(qū)上，否則就會掃描全部分區(qū)。

5、以上都做了，那就先做垂直拆分，其實就是根據(jù)模塊的耦合度，將一個大的系統(tǒng)分為多個小的系統(tǒng)，也就是分布式系統(tǒng)。

6、水平切分，針對數(shù)據(jù)量大的表，這一步最麻煩，最能考驗技術(shù)水平，要選擇一個合理的shardingkey，為了有好的查詢效率，表結(jié)構(gòu)也要改動，做一定的冗余，應用也要改，sql中盡量帶shardingkey，將數(shù)據(jù)定位到限定的表上去查，而不是掃描全部的表。

每天數(shù)據(jù)增量很大時，mysql應該怎么搞

1.優(yōu)化數(shù)據(jù)結(jié)構(gòu)，每張數(shù)據(jù)表字段4-5個，加上索引。還可以將不同的種類的數(shù)據(jù)存入不同的數(shù)據(jù)庫。減少單個數(shù)據(jù)庫的壓力。 2.寫入數(shù)據(jù)只是存的問題，問題在于讀取數(shù)據(jù)會變慢。建議使用緩存memcache，redis在向你招收哦。

文章題目：mysql數(shù)據(jù)量大怎么辦 mysql數(shù)據(jù)量大怎么處理
當前網(wǎng)址：http://jinyejixie.com/article24/dossgce.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站營銷、網(wǎng)站制作、外貿(mào)網(wǎng)站建設、用戶體驗、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)