時間：2015-06-28 00:00:00 來源：IT貓撲網(wǎng) 作者：網(wǎng)管聯(lián)盟 我要評論(0)
?? 很少有開發(fā)者遭遇單一表超過4G的情況，因此朋友間的討論只能提供一些外圍的信息。但隨著數(shù)據(jù)流的不斷總價,4G容量是早晚的事兒，本文將以此次問題的解決過程，介紹問題發(fā)生的原因及對策。
?? 根據(jù)經(jīng)驗(yàn)，The table is full提示往往出現(xiàn)在以下兩種情況：
?? 1. 表中設(shè)置了MAX_ROWS值，簡單的說，若MAX_ROWS設(shè)置為100，而程序試圖寫入第101條記錄，會出現(xiàn)此錯誤。
?? 2. 表滿。這種情況是本文討論的重點(diǎn)。
?? 我們認(rèn)為MySQL在存取表的時候，存在一種定位分配規(guī)律。這個規(guī)律在默認(rèn)的情況下，可以尋址4G以內(nèi)的數(shù)據(jù)。超過這個大小，數(shù)據(jù)庫將不能對數(shù)據(jù)定位，因而也無法進(jìn)行讀寫。經(jīng)過實(shí)驗(yàn)，這個限制是完全可以被突破的。
?? 本例中，用戶的系統(tǒng)環(huán)境為雙Athlon處理器、SCSI硬盤72G、2G內(nèi)存，用戶的帖子表數(shù)據(jù)尺寸為4294963640，接近4G(4G的實(shí)際字節(jié)數(shù)為4294967296)。
?? 首先SSH登錄后，查看用戶的系統(tǒng)信息：
?? # uname -a
?? Linux zichen.com 2.4.20-8smp #1 SMP Thu Mar 13 16:43:01 EST 2003 i686 athlon i386 GNU/Linux
?? 證明是Linux系統(tǒng)，根據(jù)內(nèi)核版本2.4.20-8smp，加上國內(nèi)使用的常見系統(tǒng)，估計應(yīng)該是redhat 9發(fā)行包。
?? # cat /etc/*release*
?? Red Hat Linux release 9 (Shrike)
?? 這也證明了我們對系統(tǒng)版本的猜想。
?? 然后看一下用的是什么文件系統(tǒng)。因?yàn)樵撚脩舨⒎歉呤?，估計在裝系統(tǒng)的時候就是一路回車下來，redhat 9默認(rèn)的應(yīng)該是EXT3，不過我們還是看一下：
# parted GNU Parted 1.6.3 Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc. This program is free software, covered by the GNU General Public License. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. Using /dev/sda Information: The operating system thinks the geometry on /dev/sda is 8942/255/63. Therefore, cylinder 1024 ends at 8032.499M. (parted) print Disk geometry for /dev/sda: 0.000-70149.507 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 1 0.031 101.975 primary ext3 boot 2 101.975 10103.378 primary linux-swap |
?? 證明確實(shí)是這樣子。隨后我們翻閱了EXT3文件系統(tǒng)的相關(guān)技術(shù)參數(shù)，EXT3是在EXT2基礎(chǔ)上演變而來。EXT2所支持最大單一文件長度是2G，這個是很蹩腳的一個限制。EXT3做的很大一個改善就是將這個限制放大到了2TB，由此稍松一口氣，起碼不是操作系統(tǒng)上的限制。
?? 經(jīng)過朋友的開導(dǎo)，了解到單一文件大小有如下幾個因素：
?? 1. 文件系統(tǒng)的限制(如剛存所說EXT3的2TB限制)
?? 2. 某一程序進(jìn)程所能存取的第一文件最大尺寸(例如apache在Linux EXT3下能存取的最大尺寸為2G，諸如日志)初步判斷瓶頸就在上述其中第二項(xiàng)。隨后找到myisamchk來顯示一下表信息，證明了瓶頸就在MySQL本身的存取上。
?? # myisamchk -dv cdb_posts
?? 結(jié)果就不貼了，其中有一項(xiàng)Max datafile length的值恰好就是4G。由此產(chǎn)生了瓶頸。
后來翻閱了N多資料，進(jìn)行了N多嘗試，也走了不少彎路，最終覺得還是官方文檔比較可靠。比較老的文檔里寫道這是由于tmp_table_size的值造成的，也有提到用BIG-TABLES這個參數(shù)。事實(shí)證明這些都是歧途。大晚上的確實(shí)很累，這里只給出最終的解決方案吧，中間的就不羅嗦了。
?? 進(jìn)到mysql客戶端。
?? # mysql -uroot -p
?? Enter password: ******
?? Welcome to the MySQL monitor. Commands end with ; or \g.
?? Your MySQL connection id is 59411 to server version: 4.0.18-standard
?? Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
???mysql> use ******
?? Database changed
?? mysql> ALTER TABLE cdb_posts MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;
?? 因?yàn)檫@個表非常大，執(zhí)行時間在雙Athlon的專業(yè)服務(wù)器上竟然花了30分鐘！
之后再通過myisamchk查看該表的信息：
|
?? 令人振奮的事情發(fā)生了，該表的 Max datafile length: 281474976710654 Max keyfile length: 4398046510079，即最大數(shù)據(jù)尺寸(MYD文件)達(dá)到了2TB，最大索引尺寸(MYI)仍然為4G。
?? 由此默認(rèn)的4G限制被突破了。關(guān)于其中的原理，其實(shí)很簡單：假設(shè)你有一個日記本，上面有10頁紙可以寫東西，編排目錄只需要1個字節(jié)(因?yàn)?～9就夠了)。如果你把這本子又塞進(jìn)兩張紙，變成12頁，1個字節(jié)的目錄空間就無法尋址到后面的兩頁中，進(jìn)而產(chǎn)生了錯誤。上面那個ALTER語句中的數(shù)值都是我為保證成功，取的比較大的值(因?yàn)锳LTER一次實(shí)在是太慢了，沒時間在那亂試驗(yàn))，相當(dāng)于告訴數(shù)據(jù)庫，這個本子有1000000000頁，每頁平均有15000個字節(jié)。這樣數(shù)據(jù)庫便知道這是很大的一個本子，因此不遺余力的拿出了100頁(假設(shè)說)做目錄編排，這樣這個新的目錄就可以尋址到日記本的所有內(nèi)容了。錯誤消失。
?? 惟一的缺點(diǎn)就是，目錄占用的空間多了一些，但已經(jīng)微乎其微了，做了這種改變其實(shí)4G的文件尺寸大小只增大了1M多，非常令人振奮。
關(guān)鍵詞標(biāo)簽：MySQL
相關(guān)閱讀
熱門文章
Xbox Game Pass
10款MySQL數(shù)據(jù)庫客戶端圖形界面管理工具推薦
MySQL常用維護(hù)管理工具
MySQL數(shù)據(jù)庫啟動失敗1067進(jìn)程意外終止的解決辦法總結(jié)
人氣排行 10款MySQL數(shù)據(jù)庫客戶端圖形界面管理工具推薦 MySQL數(shù)據(jù)庫啟動失敗1067進(jìn)程意外終止的解決辦法總結(jié) Mysql 1045錯誤解決辦法 MySQL服務(wù)器進(jìn)程CPU占用100%解決辦法 MySQL導(dǎo)出導(dǎo)入命令的用例 MySQL連接字符串的實(shí)際操作步驟匯總 MySQL無法啟動、無法停止各種解決方法總結(jié) 三種常用的MySQL建表語句