MySQL如何實(shí)現(xiàn)循環(huán)插入千萬級數(shù)據(jù)？

創(chuàng)新互聯(lián)2013年開創(chuàng)至今，先為靖西等服務(wù)建站，靖西等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為靖西企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

1.建表：

CREATE TABLE `mysql_genarate` (  
`id` int(11) NOT NULL AUTO_INCREMENT,  
`uuid` varchar(50) DEFAULT NULL,  
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2.創(chuàng)建一條條循環(huán)插入的存儲(chǔ)過程

create procedure test_two1()
     begin
        declare i int default 0;       while i < 3000 do
            INSERT into mysql_genarate(uuid) VALUES(UUID());            set i = i + 1;
        end while;
    end #

使用 call test_two1(); 測試，3000條數(shù)據(jù)耗時(shí)74秒，如果是千萬級數(shù)據(jù)，這個(gè)速度將無法忍受。

所以我在網(wǎng)上找了一下優(yōu)化的方法，發(fā)現(xiàn)可以拼接批量插入的sql語句，速度提升很多；

3.優(yōu)化后的存儲(chǔ)過程

CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0;
set @exesql = concat("insert into mysql_genarate(uuid) values");
set @exedata = "";
set count=0;
set i=0;while count<sum do 
    set @exedata = concat(@exedata, ",(UUID())");
    set count=count+1;
    set i=i+1;    if i%1000=0
    then 
        set @exedata = SUBSTRING(@exedata, 2);
        set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);
        prepare stmt from @exesql;
        execute stmt;        DEALLOCATE prepare stmt;
        set @exedata = "";    end if;end while;if length(@exedata)>0 then 
    set @exedata = SUBSTRING(@exedata, 2);
    set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);
    prepare stmt from @exesql;
    execute stmt;    DEALLOCATE prepare stmt;end if;end;

調(diào)用 call insertPro(3000) ，耗時(shí)零點(diǎn)幾秒，這個(gè)速度可以接受。

接著調(diào)用 call insertPro(30000000) ;測試3000萬條數(shù)據(jù)插入，結(jié)果耗時(shí)1824.203s(30分鐘)。個(gè)人電腦這個(gè)速度可以了。

另外，采用java多線程同時(shí)拼接sql，每10000條提交一次的方式，在8個(gè)線程同時(shí)運(yùn)行的情況下，3000萬條數(shù)據(jù)插入耗時(shí)336s，1億條數(shù)據(jù)插入耗時(shí)1087s。

以上就是mysql如何實(shí)現(xiàn)循環(huán)插入千萬級數(shù)據(jù)的詳細(xì)內(nèi)容，更多請關(guān)注創(chuàng)新互聯(lián)其它相關(guān)文章！

分享名稱：mysql數(shù)據(jù)庫實(shí)現(xiàn)插入千萬級數(shù)據(jù)的方法
當(dāng)前地址：http://jinyejixie.com/article24/ggeije.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、營銷型網(wǎng)站建設(shè)、Google、面包屑導(dǎo)航、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)