2千萬數(shù)據(jù)下帝國CMS超強(qiáng)生成速度

時(shí)間：2009-12-16 11:28:33

數(shù)據(jù)庫總大小：17.3GB、總記錄數(shù)：4千萬零450條、信息數(shù)量：2千萬條、單表最大信息數(shù)：400萬條

一、前言：
帝國CMS 6.0版本最重要的升級(jí)功能是對(duì)系統(tǒng)構(gòu)架進(jìn)行升級(jí)，構(gòu)架更加完美、負(fù)載容量更大。然而很多人就問，這個(gè)全新的構(gòu)架有多大的魅力、容量是多少？其實(shí)我也不能準(zhǔn)確的告訴你，因?yàn)?.0剛發(fā)布不久并且沒有空閑時(shí)間測試，那時(shí)我只能告訴你“總體容量可無限放大，單表存放容量是原來的幾十倍、甚至更多，副表數(shù)據(jù)量達(dá)到一定大小后可設(shè)置分表，副表支持無限分表，因而副表容量是無限的”。然而理論是需要實(shí)踐去驗(yàn)證的，所以趁著這兩天比較空閑試著測試，并且測試結(jié)果令我非常吃驚，
在2000萬數(shù)據(jù)中最大的news單表中從50萬導(dǎo)到400萬數(shù)據(jù)無論從生成內(nèi)容頁效率還受理信息列表竟然沒有多大差別：
單表無論是50萬還是400萬生成5000個(gè)內(nèi)容頁速度為：19秒
單表無論是50萬還是400萬后臺(tái)管理信息列表速度為：0.009秒

二、測試環(huán)境
1、硬件配置：使用本人工作使用的機(jī)器測試，普通的配置

CPU：2.0 GHz
內(nèi)存：1GB

2、軟件環(huán)境：使用無任何優(yōu)化的帝國CMS6.0一鍵安裝包

WINDOWS 2003
APACHE 2.2.4
PHP 5.2.0
MYSQL 5.0.27
ZEND Optimizer 3.2.6
帝國CMS6.0開源版(GBK)
(注：因?yàn)橹皇菧y試所以采用效率比較一般的WINDOWS平臺(tái)，最好的PHP+MYSQL運(yùn)行環(huán)境建議采用LINUX或UNIX平臺(tái)。)

三、以2000萬數(shù)據(jù)中最大的news表數(shù)據(jù)量為400萬、數(shù)據(jù)表大小為3.4GB為例：
400萬單表情況下生成5000條數(shù)據(jù)：19秒
1、后臺(tái)點(diǎn)管理信息列表速度：0.008秒

2、修改信息頁讀取數(shù)據(jù)：0.005秒

3、400萬單表情況下生成5000條數(shù)據(jù)：19秒
開始生成：

生成過程截圖：

5000條生成時(shí)間：19秒

查看成后的欄目目錄HTML：

4、測試在使用內(nèi)容動(dòng)態(tài)頁的數(shù)據(jù)讀取速度：0.0025秒

四、由于章節(jié)比較多，所以不能在貼子中說明，點(diǎn)擊下面鏈接查看完整的測試過程
《2千萬數(shù)據(jù)、17.3GB數(shù)據(jù)庫用帝國CMS6.0分表合理存放》分成數(shù)個(gè)篇章對(duì)帝國CMS大數(shù)據(jù)量如何合理存放的進(jìn)行介紹，整個(gè)測試過程都是邊運(yùn)行邊截圖，采用透明、公開的方式供大家監(jiān)督！如果有誰對(duì)測評(píng)過程和測評(píng)結(jié)果有疑問，可以自行參照我們的測試過程搭建類似的測試環(huán)境自己測試和對(duì)比測試結(jié)果。
點(diǎn)擊這里查看完整的測試過程：/ecms6/jm/20000000/20000000.html

五、本次2000萬數(shù)據(jù)最終測試數(shù)據(jù)統(tǒng)計(jì)：

本次測試經(jīng)驗(yàn)總結(jié)：
優(yōu)點(diǎn)：6.0在大數(shù)據(jù)下的優(yōu)勢非常明顯，生成內(nèi)容頁、動(dòng)態(tài)內(nèi)容頁效率非常之快且不受數(shù)據(jù)量影響，解決了CMS負(fù)載最大的問題，并且使用按表管理信息列表速度很快，單表幾十萬和幾百萬數(shù)據(jù)沒有明顯區(qū)別。
不足之處：在于單欄目數(shù)據(jù)量大于200萬時(shí)標(biāo)簽調(diào)用、欄目列表速度有所下降(指的是增加檢索條件的情況)，主要由于最耗資源的置頂排序與多重排序，下版會(huì)考慮刪除置頂功能與優(yōu)化列表，并且會(huì)增加大數(shù)據(jù)量標(biāo)簽調(diào)用優(yōu)化處理功能，以達(dá)到所有頁面速度在大數(shù)據(jù)量都很優(yōu)秀，不僅是內(nèi)容頁效率優(yōu)秀。

本次測試2000萬只是本人空閑時(shí)搞的小測試，主要讓大家知道帝國分表如何處理更好，只要分表均勻可以將一個(gè)很大的數(shù)據(jù)分解成無數(shù)個(gè)相同效率的表，單表無論是50萬、400萬甚至1000萬數(shù)據(jù)在管理信息列表與生成頁面效率基本是相同的，例如：5000萬數(shù)據(jù)中12個(gè)欄目可以分成每表存放450萬，每個(gè)450萬數(shù)據(jù)表效率都是一樣的。未來版本帝國將會(huì)推出更完美的構(gòu)架，主表可以像副表一樣無限分表，讓系統(tǒng)性能再度翻倍提升。做一個(gè)完美的安全、穩(wěn)定高效、強(qiáng)大、靈活的CMS是我們的終極目標(biāo)，多年來我們一直朝這個(gè)方向邁進(jìn)，不斷創(chuàng)新不斷完善。帝國軟件以為中國網(wǎng)站提供最完善的建站解決方案為已任，打造國內(nèi)最好的CMS程序。

帝國CMS對(duì)大數(shù)據(jù)情況建議：
數(shù)據(jù)表結(jié)構(gòu)最好的優(yōu)化是將所有的自定義字段都存放到副表；主表只存放標(biāo)題字段；
總體的數(shù)據(jù)表數(shù)據(jù)分配均勻，主表下的每個(gè)副表存放建議100萬數(shù)據(jù)以內(nèi)；
內(nèi)容頁減少標(biāo)簽調(diào)用或采用JS調(diào)用或者采用.shtml包含最新內(nèi)容頁面的方式；
欄目列表設(shè)置最大顯示數(shù)量；
過期信息或不再調(diào)用的信息進(jìn)行歸檔；
減少使用搜索，搜索是最耗資源的功能；
自行修改文件去除標(biāo)簽和列表的置頂排序(置頂功能下版會(huì)默認(rèn)刪除)，對(duì)性能更高要求的可只采用id排序；
優(yōu)化運(yùn)行環(huán)境，特別是MYSQL數(shù)據(jù)庫優(yōu)化；
服務(wù)器配置最好2GB以上內(nèi)存、采用更快的CPU以及硬盤轉(zhuǎn)速緩存更高IO更快。

未來帝國CMS版本對(duì)大數(shù)據(jù)方面功能展望：
標(biāo)簽調(diào)用與列表性能優(yōu)化，刪除置頂功能并且對(duì)標(biāo)簽調(diào)用優(yōu)化處理；主表結(jié)構(gòu)更加優(yōu)化。
推出更完美的構(gòu)架，主表可以像副表一樣無限分表，讓系統(tǒng)無論從維護(hù)數(shù)據(jù)還是生成頁面性能將再度翻倍提升。
多服務(wù)器結(jié)構(gòu)支持，實(shí)現(xiàn)負(fù)載均衡。
增加Oracle、postgresql、Mssql等多種數(shù)據(jù)庫支持。
......更多功能我們正在不斷的探索與創(chuàng)新，相信會(huì)給大家更多的驚喜。

附：帝國CMS6.0系統(tǒng)數(shù)據(jù)構(gòu)架圖

旗下其它產(chǎn)品：【帝國備份王】【EBMA系統(tǒng)】【帝國下載系統(tǒng)】

關(guān)于帝國 \| 聯(lián)系我們 \| 法律聲明 \| 隱私條款 \| 許可協(xié)議	Powered by EmpireCMS
版權(quán)所有 ©2002-2024 EmpireSoft Inc.