IT貓撲網(wǎng):您身邊最放心的安全下載站! 最新更新|軟件分類|軟件專題|手機(jī)版|論壇轉(zhuǎn)貼|軟件發(fā)布

您當(dāng)前所在位置: 首頁(yè)數(shù)據(jù)庫(kù)MSSQL → 實(shí)戰(zhàn)手記:讓百萬(wàn)級(jí)數(shù)據(jù)瞬間導(dǎo)入SQL Server

實(shí)戰(zhàn)手記:讓百萬(wàn)級(jí)數(shù)據(jù)瞬間導(dǎo)入SQL Server

時(shí)間:2015-06-28 00:00:00 來(lái)源:IT貓撲網(wǎng) 作者:網(wǎng)管聯(lián)盟 我要評(píng)論(1)

想必每個(gè)DBA都喜歡挑戰(zhàn)數(shù)據(jù)導(dǎo)入時(shí)間,用時(shí)越短工作效率越高,也充分的能夠證明自己的實(shí)力。實(shí)際工作中有時(shí)候需要把大量數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù),然后用于各種程序計(jì)算,本文將向大家推薦一個(gè)挑戰(zhàn)4秒極限讓百萬(wàn)級(jí)數(shù)據(jù)瞬間導(dǎo)入SQL Server實(shí)驗(yàn)案例。

本實(shí)驗(yàn)將使用5中方法完成這個(gè)過(guò)程,并詳細(xì)記錄各種方法所耗費(fèi)的時(shí)間。所用到工具為Visual Studio 2008和SQL Server 2000、SQL Server 2008,分別使用5中方法將100萬(wàn)條數(shù)據(jù)導(dǎo)入SQL Server 2000與SQL Server 2008中,實(shí)驗(yàn)環(huán)境是DELL 2850雙2.0GCPU,2G內(nèi)存的服務(wù)器。感興趣的朋友可以下載源代碼自己驗(yàn)證一下所用時(shí)間。

好了,下面我們分別使用基本的Insert 語(yǔ)句、使用BULK INSERT語(yǔ)句、在多線程中使用BULK INSERT、使用SqlBulkCopy類、在多線程中使用SqlBulkCopy類五種方法,挑戰(zhàn)4秒極限。還要有一點(diǎn)需要進(jìn)行說(shuō)明,本實(shí)驗(yàn)中執(zhí)行SQL語(yǔ)句的地方使用了IsLine FrameWork框架中的DataProvider模塊,這個(gè)模塊只是對(duì)SQL配置的讀取和封裝,并不會(huì)對(duì)最終結(jié)果有本質(zhì)性的影響,關(guān)于IsLine FrameWork框架方面的知識(shí),請(qǐng)參考"IsLine FrameWork"框架系列文章。

數(shù)據(jù)庫(kù)方面使用SQL Server 2000與SQL Server 2008,表名TableB,字段名稱為Value1,數(shù)據(jù)庫(kù)名可以在App.config中修改,默認(rèn)為test。

方法一.使用基本的Insert 語(yǔ)句

這種方法是最基本的方法,大多數(shù)人一開始都會(huì)想到這種方法。但是Insert語(yǔ)句似乎并不適合大批量的操作,是不是這樣呢?

本方法中將100萬(wàn)數(shù)據(jù)分為10個(gè)批次,每個(gè)批次10萬(wàn)條,每10萬(wàn)條1個(gè)事務(wù),分10次導(dǎo)入數(shù)據(jù)庫(kù)。

-->基本語(yǔ)句:

Insert Into TableB (Value1) values (‘"+i+"’); 說(shuō)明:語(yǔ)句中的i是宿主程序中的一個(gè)累加變量,用于填充數(shù)據(jù)庫(kù)字段中的值。

SQL Server 2000 耗時(shí):901599

SQL Server 2008耗時(shí):497638

方法二.使用BULK INSERT語(yǔ)句

這個(gè)類的效果,在本實(shí)驗(yàn)中可以說(shuō)是最令人滿意的了,它的使用最簡(jiǎn)便、靈活,速度很快。

"BULK INSERT"語(yǔ)句似乎不是很常用, Aicken聽說(shuō)Oracle中有一種可以將外部文件映射為Oracle臨時(shí)表,然后直接將臨時(shí)表中的數(shù)據(jù)導(dǎo)入Oracle其他表中的方法,這種方法的速度非常令人滿意,SQL SERVER的BULK INSERT是不是同樣令人滿意呢?

--> 基本語(yǔ)句:

BULK INSERT TableB FROM '

c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER

/.,mbMINATOR='|',BATCHSIZE = 100000)

說(shuō)明:"c:\\sql.txt"是一個(gè)預(yù)先生成的包含100條數(shù)據(jù)的文件,這些數(shù)據(jù)以"|"符號(hào)分隔,每10萬(wàn)條數(shù)據(jù)一個(gè)事務(wù)。

SQL Server 2000耗時(shí):4009

SQL Server 2008耗時(shí):10722

方法三.在多線程中使用BULK INSERT

在方法二的基礎(chǔ)上,將100萬(wàn)條數(shù)據(jù)分五個(gè)線程,每個(gè)線程負(fù)責(zé)20萬(wàn)條數(shù)據(jù),每5萬(wàn)條一個(gè)事物,五個(gè)線程同時(shí)啟動(dòng),看看這樣的效果吧。

SQL Server 2000耗時(shí):21099

SQL Server 2008耗時(shí):10997

方法四.使用SqlBulkCopy類

這種方法速度也很快,但是要依賴內(nèi)存,對(duì)于幾千萬(wàn)條、多字段的復(fù)雜數(shù)據(jù),可能在內(nèi)存方面會(huì)有較大的消耗,不過(guò)可以使用64位解決方案處理這個(gè)問題。

幾千萬(wàn)條、多字段的數(shù)據(jù)的情況一般在一些業(yè)務(wù)場(chǎng)景中會(huì)遇到,比如計(jì)算全球消費(fèi)者某個(gè)業(yè)務(wù)周期消費(fèi)額時(shí),要先獲得主數(shù)據(jù)庫(kù)表中的會(huì)員消費(fèi)記錄快照,并將快照儲(chǔ)存至臨時(shí)表中,然后供計(jì)算程序使用這些數(shù)據(jù)。并且有些時(shí)候消費(fèi)者的消費(fèi)數(shù)據(jù)并不在一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器中,而是來(lái)自多個(gè)國(guó)家的多臺(tái)服務(wù)器,這樣我們就必須借助內(nèi)存或外存設(shè)備中轉(zhuǎn)這些數(shù)據(jù),然后清洗、合并、檢測(cè),最后導(dǎo)入專用表供計(jì)算程序使用。

基本語(yǔ)句:

using (System.Data.SqlClient.SqlBulkCopy sqlBC

= new System.Data.SqlClient.SqlBulkCopy(conn))

{ sqlBC.BatchSize = 100000; sqlBC.BulkCopyTimeout

= 60; sqlBC.DestinationTableName = "dbo.TableB";

sqlBC.ColumnMappings.Add("valueA", "Value1");

sqlBC.WriteToServer(dt); }

說(shuō)明:

BatchSize = 100000; 指示每10萬(wàn)條一個(gè)事務(wù)并提交

BulkCopyTimeout = 60; 指示60秒按超時(shí)處理

DestinationTableName = "dbo.TableB"; 指示將數(shù)據(jù)導(dǎo)入TableB表

ColumnMappings.Add("valueA", "Value1"); 指示將內(nèi)存中valueA字段與TableB中的Value1字段匹配

WriteToServer(dt);寫入數(shù)據(jù)庫(kù)。其中dt是預(yù)先構(gòu)建好的DataTable,其中包含valueA字段。

SQL Server 2000耗時(shí):4989

SQL Server 2008耗時(shí):10412

方法五.在多線程中使用SqlBulkCopy類

基于方法四,將100萬(wàn)條數(shù)據(jù)分五個(gè)線程,每個(gè)線程負(fù)責(zé)20萬(wàn)條數(shù)據(jù),每5萬(wàn)條一個(gè)事物,五個(gè)線程同時(shí)啟動(dòng),看看這樣的效果吧。

SQL 2000耗時(shí):7682

SQL 2008耗時(shí):10870

結(jié)果

幾天的時(shí)間終于把這個(gè)實(shí)驗(yàn)給完成了,比較令人失望的是SQL SERVER 2008導(dǎo)入數(shù)據(jù)的性能似乎并不想我們想象的那樣優(yōu)秀。?

關(guān)鍵詞標(biāo)簽:SQL Server

相關(guān)閱讀

文章評(píng)論
發(fā)表評(píng)論

熱門文章 淺談JSP JDBC來(lái)連接SQL Server 2005的方法 淺談JSP JDBC來(lái)連接SQL Server 2005的方法 SqlServer2005對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行分區(qū)具體步驟 SqlServer2005對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行分區(qū)具體步驟 sql server系統(tǒng)表?yè)p壞的解決方法 sql server系統(tǒng)表?yè)p壞的解決方法 MS-SQL2005服務(wù)器登錄名、角色、數(shù)據(jù)庫(kù)用戶、角色、架構(gòu)的關(guān)系 MS-SQL2005服務(wù)器登錄名、角色、數(shù)據(jù)庫(kù)用戶、角色、架構(gòu)的關(guān)系

相關(guān)下載

    人氣排行 配置和注冊(cè)O(shè)DBC數(shù)據(jù)源-odbc數(shù)據(jù)源配置教程 如何遠(yuǎn)程備份(還原)SQL2000數(shù)據(jù)庫(kù) SQL2000數(shù)據(jù)庫(kù)遠(yuǎn)程導(dǎo)入(導(dǎo)出)數(shù)據(jù) SQL2000和SQL2005數(shù)據(jù)庫(kù)服務(wù)端口查看或修改 修改Sql Server唯一約束教程 SQL Server 2005降級(jí)到2000的正確操作步驟 sql server系統(tǒng)表?yè)p壞的解決方法 淺談JSP JDBC來(lái)連接SQL Server 2005的方法