| ZFS的寫入和讀取行為，實際硬體測試結果 | ||||||||||
| 在測試ZFS的過程中，發現一些ZFS與一般RAID加上檔案系統的組合，有著差異相當大的寫入和讀取行為，非常的有趣和吸引人。 但是進一步在網路上尋找相關ZFS資料時，發現大多文章只是拿官方的宣傳稿介紹ZFS，或是只專注於說明系統架設的過程。而針對ZFS的寫入讀取行為，找不到詳細說明。 官方的"Solaris ZFS Administration Guide"也只針對ZFS管理方面說明，雖然最後在官方ZFS開發人員的blog上有找到一些說明，但是屬於較深入的部份，較基本的ZFS寫入讀取行為部份一樣缺乏。 所以我根據之前實際測試的結果，加上自己的分析整理出這篇關於ZFS寫入讀取行為的基本說明。 以下的結果來自實際的硬體測試結果，測試的紀錄請自行參閱我過去的測試中相關註解。 總共測試了三種組態，分別是單一mirror，兩組mirror，或是一組raidz1。分別在正常下，硬碟故障下，以及從故障情況下復原後的ZFS寫入讀取行為。 資料用ABCDEFGH英文字母代表，每一個字母代表容量相同，但是內容不同的資料。測試時故障硬碟使用關機拔SATA線的方式模擬，故障復原則使用另外準備的空白硬碟替換拆下來的硬碟。 |
| XD | ||
| mirror | ||
| c2t2d0 | ||
| c2t3d0 | ||
| mirror | ||
| c2t4d0 | ||
| c2t5d0 |
| PC | E1500 | 11x200 | 2200MHz | 乾淨 | XD-root | RAMdisk | 標準 |
| NAS | Q6600 | 6x200 | 1200MHz | XD-ZFS | zpool | 降頻 | |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal | cifs | 寫入 PC => NAS | FastCopy | 81~85 | 40~45 | ||
| 寫入 PC => NAS | FastCopy x2 同時 | 89 (44+45) | 40~45 | ||||
| 讀取 NAS => PC | FastCopy | 33 | 9~10 |
| XD | ||
| mirror | ||
| c2t2d0 | ||
| c2t3d0 | ||
| mirror | ||
| c2t4d0 | ||
| c2t5d0 |
| PC | Q6600 | 9x266 | 2400MHz | 乾淨 | XD-root | RAMdisk | 定頻 |
| NAS | E1500 | 11x233 | 2563MHz | XD-ZFS | zpool | 超頻 | |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal | cifs | 讀取 NAS => PC | FastCopy | 42 | 20+ | ||
| 讀取 NAS => PC | Cdcheck x2 同時 | 79 (39+40) | 40 | ||||
| 寫入 PC => NAS | FastCopy | 89,89,91 | 75~85 | ||||
| 寫入 PC => NAS | FastCopy x2 同時 | 104 (51+53) | 80~85 | ||||
| 寫入 PC => NAS | FastCopy x3 同時 | 103 (34+34+35) | 80~85 |
| XD | ||
| mirror | ||
| c2t2d0 | ||
| c2t3d0 | ||
| mirror | ||
| c2t4d0 | ||
| c2t5d0 |
| PC | Q6600 | (6~9)x266 | 1600~2400MHz | 亂 | XD-base | RAMdisk | 標準 |
| NAS | E1500 | 11x200 | 2200MHz | XD-ZFS | zpool | 標準 | |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal | cifs | 寫入 PC => NAS | FastCopy | 50~56 | 70 | ||
| 讀取 NAS => PC | FastCopy | 29 | 20 | ||||
| 寫入 PC => NAS | FastCopy x3 同時 | 57 (19+19+19) | 50~70 |
| XD | ||
| mirror | ||
| c2t2d0 | ||
| c2t3d0 | ||
| mirror | ||
| c2t4d0 | ||
| c2t5d0 |
| PC | Q6600 | 6x200 | 1200MHz | 亂 | XD-base | RAMdisk | 降頻 |
| NAS | E1500 | 11x200 | 2200MHz | XD-ZFS | 標準 | ||
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal | cifs | 寫入 PC => NAS | FastCopy | 50 | |||
| 讀取 NAS => PC | FastCopy | 35 |
| XD | ||
| mirror | ||
| c2t2d0 | ||
| c2t3d0 | ||
| mirror | ||
| c2t4d0 | ||
| c2t5d0 |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) | zPool Bandwidth (MB/sec) |
| normal | 登入 ZFS-NAS | 寫入 raidz | time (mkfile test) | 1 | 190 | |||
| 寫入 raidz | time (mkfile test) | 5 | 41.2s | 151 | ||||
| 寫入 raidz | time (mkfile test) | 10 | 1m30s | 112 | ||||
| 寫入 raidz | time (mkfile test) | 20 | 3m4s | 110.9 | ||||
| 讀取 raidz | time (cp test /dev/null) | 1 | 5.008s | 204.4 | ||||
| 讀取 raidz | time (cp test /dev/null) | 2 | 9.942s | 205.9 | ||||
| 讀取 raidz | time (cp test /dev/null) | 5 | 24.853s | 206 | ||||
| 讀取 raidz | time (cp test /dev/null) | 10 | 51.561s | 198.5 | ||||
| 讀取 raidz | time (cp test /dev/null) | 20 | 1m44s | 196.7 | ||||
| 讀取寫入 raidz | zpool scrub | 110 | 110 |
| XD | ||
| raidz1 | ||
| c2t3d0 | ||
| c2t4d0 | ||
| c2t5d0 |
| c2t2d0 | 有接上但系統未使用，非XD pool的成員 |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal (實際有問題) | 登入 ZFS-NAS | 讀取 raidz | time (cp test /dev/null) | 20 | 6m6s | 55 |
| c2t2d0 | 有接上但系統未使用 |
| XD | ||
| raidz1 | ||
| c2t3d0 | ||
| c2t4d0 | ||
| c2t5d0 |
| XD | degrade | |||
| raidz1 | degrade | |||
| replacing | degrade | |||
| c2t3d0 | degrade | |||
| c2t2d0 | online | |||
| c2t4d0 | online | |||
| c2t5d0 | online |
| XD | ||
| raidz1 | ||
| c2t3d0 | ||
| c2t4d0 | ||
| c2t5d0 |
| zpool 狀態 | 項目 | 動作 | 使用程式或動作 | 大小 (GB) | 時間 (sec) | 速度 (MB/sec) | NAS CPU 使用率(%) |
| 正常 | iSCSI | 寫入 PC => NAS | FastCopy | ? | ? | 16 | 30 |
| 讀取 NAS => PC | FastCopy | ? | ? | 15 | 20 | ||
| iSCSI | 寫入 PC => NAS | iometer 256k 4 of outstanding I/O | ? | ? | 7.1 | 15 | |
| 讀取 NAS => PC | iometer 256k 4 of outstanding I/O | ? | ? | 10 | 5 | ||
| iSCSI | 讀取 NAS => PC | HDTune | ? | ? | 40 | 30 | |
| scrub | 讀取 raidz | zpool scrub | ? | ? | 110 | ? |
| XD | ||
| raidz1 | ||
| c2t3d0 | ||
| c2t4d0 | ||
| c2t5d0 |
| PC | Q6600 | 6x200 | 1200MHz | 作業系統 混亂 | XD-base | RAMdisk | 降頻 |
| NAS | E1500 | 11x200 | 2200MHz | XD-ZFS | 標準 |
| zpool狀態 | 項目 | 動作 | 程式或指令 | 大小 | 時間 | 速度 (MB/sec) | NAS CPU 使用率(%) |
| normal | 直接登入ZFS-NAS | 寫入raidz | mkfile | ? | ? | 110 | 40+- |
| 讀取raidz | cp test /dev/null | ? | ? | 130 | 30+- | ||
| cifs test | PC => NAS | fastcopy | ? | ? | 55 | 80~90 | |
| NAS => PC | fastcopy | ? | ? | 40 | 60+- | ||
| cifs test | PC => NAS | iometer 256k 4 of outstanding I/O | ? | ? | 30 | 40+- | |
| NAS => PC | iometer 256k 4 of outstanding I/O | ? | ? | 80 | 70+- |
| 硬體 | NAS | PC | |
| XD-ZFS | XD-base / XD-root | ||
| cpu | E1500 | Q6600 | |
| ram | 2G | 4G | |
| MB | P45-T2 RS JR ICH-10R AHCI mode | P5B-VM DO ICH-8DO Raid mode | |
| HDD | T7K250 250G x3 (raidz pool) 7200.8 250G x1 (system pool) | ST3500630NS 500G x2 Raid 1 (system) ST3500630NS 500G x2 Raid 1 (stash) Ramdisk 1G (for test) | |
| GBE | Marvel 88E8053 PCI-E | Intel 82566DM PCI-E | |
| OS | NexentaCore 2.0 build 104 (基於OpenSolaris的套件) 理論上是跑核心內建的CIFS，而不是samba，但是測試前忘了確認。 | WinXP SP3 | |
| cpu使用率監控方式 | iostat -xncvM 1 -x extend information -c cpu time -n Device name -v ? -M MB/sec 1 每一秒更新一次 | task manager 工作管理員 | |
| zpool監控指令 | zpool iostat -v 1 -v list vdev device 1 每一秒更新一次 | ||
