2千萬數據下帝國CMS超強生成速度

時間：2009-12-16 11:28:33

數據庫總大小：17.3GB、總記錄數：4千萬零450條、信息數量：2千萬條、單表最大信息數：400萬條

一、前言：
帝國CMS 6.0版本最重要的升級功能是對系統構架進行升級，構架更加完美、負載容量更大。然而很多人就問，這個全新的構架有多大的魅力、容量是多少？其實我也不能準確的告訴你，因為6.0剛發布不久并且沒有空閑時間測試，那時我只能告訴你“總體容量可無限放大，單表存放容量是原來的幾十倍、甚至更多，副表數據量達到一定大小后可設置分表，副表支持無限分表，因而副表容量是無限的”。然而理論是需要實踐去驗證的，所以趁著這兩天比較空閑試著測試，并且測試結果令我非常吃驚，
在2000萬數據中最大的news單表中從50萬導到400萬數據無論從生成內容頁效率還受理信息列表竟然沒有多大差別：
單表無論是50萬還是400萬生成5000個內容頁速度為：19秒
單表無論是50萬還是400萬后臺管理信息列表速度為：0.009秒

二、測試環境
1、硬件配置：使用本人工作使用的機器測試，普通的配置

CPU：2.0 GHz
內存：1GB

2、軟件環境：使用無任何優化的帝國CMS6.0一鍵安裝包

WINDOWS 2003
APACHE 2.2.4
PHP 5.2.0
MYSQL 5.0.27
ZEND Optimizer 3.2.6
帝國CMS6.0開源版(GBK)
(注：因為只是測試所以采用效率比較一般的WINDOWS平臺，最好的PHP+MYSQL運行環境建議采用LINUX或UNIX平臺。)

三、以2000萬數據中最大的news表數據量為400萬、數據表大小為3.4GB為例：
400萬單表情況下生成5000條數據：19秒
1、后臺點管理信息列表速度：0.008秒

2、修改信息頁讀取數據：0.005秒

3、400萬單表情況下生成5000條數據：19秒
開始生成：

生成過程截圖：

5000條生成時間：19秒

查看成后的欄目目錄HTML：

4、測試在使用內容動態頁的數據讀取速度：0.0025秒

四、由于章節比較多，所以不能在貼子中說明，點擊下面鏈接查看完整的測試過程
《2千萬數據、17.3GB數據庫用帝國CMS6.0分表合理存放》分成數個篇章對帝國CMS大數據量如何合理存放的進行介紹，整個測試過程都是邊運行邊截圖，采用透明、公開的方式供大家監督！如果有誰對測評過程和測評結果有疑問，可以自行參照我們的測試過程搭建類似的測試環境自己測試和對比測試結果。
點擊這里查看完整的測試過程：/ecms6/jm/20000000/20000000.html

五、本次2000萬數據最終測試數據統計：

本次測試經驗總結：
優點：6.0在大數據下的優勢非常明顯，生成內容頁、動態內容頁效率非常之快且不受數據量影響，解決了CMS負載最大的問題，并且使用按表管理信息列表速度很快，單表幾十萬和幾百萬數據沒有明顯區別。
不足之處：在于單欄目數據量大于200萬時標簽調用、欄目列表速度有所下降(指的是增加檢索條件的情況)，主要由于最耗資源的置頂排序與多重排序，下版會考慮刪除置頂功能與優化列表，并且會增加大數據量標簽調用優化處理功能，以達到所有頁面速度在大數據量都很優秀，不僅是內容頁效率優秀。

本次測試2000萬只是本人空閑時搞的小測試，主要讓大家知道帝國分表如何處理更好，只要分表均勻可以將一個很大的數據分解成無數個相同效率的表，單表無論是50萬、400萬甚至1000萬數據在管理信息列表與生成頁面效率基本是相同的，例如：5000萬數據中12個欄目可以分成每表存放450萬，每個450萬數據表效率都是一樣的。未來版本帝國將會推出更完美的構架，主表可以像副表一樣無限分表，讓系統性能再度翻倍提升。做一個完美的安全、穩定高效、強大、靈活的CMS是我們的終極目標，多年來我們一直朝這個方向邁進，不斷創新不斷完善。帝國軟件以為中國網站提供最完善的建站解決方案為已任，打造國內最好的CMS程序。

帝國CMS對大數據情況建議：
數據表結構最好的優化是將所有的自定義字段都存放到副表；主表只存放標題字段；
總體的數據表數據分配均勻，主表下的每個副表存放建議100萬數據以內；
內容頁減少標簽調用或采用JS調用或者采用.shtml包含最新內容頁面的方式；
欄目列表設置最大顯示數量；
過期信息或不再調用的信息進行歸檔；
減少使用搜索，搜索是最耗資源的功能；
自行修改文件去除標簽和列表的置頂排序(置頂功能下版會默認刪除)，對性能更高要求的可只采用id排序；
優化運行環境，特別是MYSQL數據庫優化；
服務器配置最好2GB以上內存、采用更快的CPU以及硬盤轉速緩存更高IO更快。

未來帝國CMS版本對大數據方面功能展望：
標簽調用與列表性能優化，刪除置頂功能并且對標簽調用優化處理；主表結構更加優化。
推出更完美的構架，主表可以像副表一樣無限分表，讓系統無論從維護數據還是生成頁面性能將再度翻倍提升。
多服務器結構支持，實現負載均衡。
增加Oracle、postgresql、Mssql等多種數據庫支持。
......更多功能我們正在不斷的探索與創新，相信會給大家更多的驚喜。

附：帝國CMS6.0系統數據構架圖