手殘的VIRTUAL-ON玩家: 3月 2010

2010年3月20日星期六

ZFS-NAS測試數據 Part 10 - 測試CPU對ZFS的影響及FastCopy max i/o size 設定影響

ZFS-NAS測試數據 Part 10 - 交換PC上的Q6600和NAS上的E1500，測試CPU對ZFS的影響及FastCopy max i/o size 設定影響

測試日期20091206

XD
	mirror
		c2t2d0
		c2t3d0
	mirror
		c2t4d0
		c2t5d0

FastCopy設定， I/O Buffer 256MB，Max I/O Size 16MB

PC	E1500	11x200	2200MHz	乾淨	XD-root	RAMdisk	標準
NAS	Q6600	6x200	1200MHz		XD-ZFS	zpool	降頻
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
normal	cifs	寫入 PC => NAS	FastCopy			81~85	40~45
		寫入 PC => NAS	FastCopy x2 同時			89 (44+45)	40~45
		讀取 NAS => PC	FastCopy			33	9~10

繼續閱讀 >>

ZFS-NAS測試數據 Part 9 - 測試在乾淨的XP系統下，FastCopy速度極限

ZFS-NAS測試數據 Part 9 - 測試在乾淨的XP系統下，FastCopy速度極限

測試日期20091202

XD
	mirror
		c2t2d0
		c2t3d0
	mirror
		c2t4d0
		c2t5d0

FastCopy設定， I/O Buffer 256MB，Max I/O Size 16MB

PC	Q6600	9x266	2400MHz	乾淨	XD-root	RAMdisk	定頻
NAS	E1500	11x233	2563MHz		XD-ZFS	zpool	超頻
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
normal	cifs	讀取 NAS => PC	FastCopy			42	20+
		讀取 NAS => PC	Cdcheck x2 同時			79 (39+40)	40
		寫入 PC => NAS	FastCopy			89,89,91	75~85
		寫入 PC => NAS	FastCopy x2 同時			104 (51+53)	80~85
		寫入 PC => NAS	FastCopy x3 同時			103 (34+34+35)	80~85

繼續閱讀 >>

ZFS-NAS測試數據 Part 8 - 測試在不乾淨的XP系統下，FastCopy速度極限

ZFS-NAS測試數據 Part 8 - 測試在不乾淨的XP系統下，FastCopy速度極限

測試日期20091129

XD
	mirror
		c2t2d0
		c2t3d0
	mirror
		c2t4d0
		c2t5d0

FastCopy設定， I/O Buffer 256MB，Max I/O Size 16MB
背景跑全部的東西(eMule,uTorrent,BOON-SUTAZIO 4tabs播放中,Firefox 40+tabs Avira AntiVir,NetWorx,cFosSpeed,NetMeter,PeerGuardian等等)

PC	Q6600	(6~9)x266	1600~2400MHz	亂	XD-base	RAMdisk	標準
NAS	E1500	11x200	2200MHz		XD-ZFS	zpool	標準
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
normal	cifs	寫入 PC => NAS	FastCopy			50~56	70
		讀取 NAS => PC	FastCopy			29	20
		寫入 PC => NAS	FastCopy x3 同時			57 (19+19+19)	50~70

繼續閱讀 >>

ZFS-NAS測試數據 Part 7 - 測試使用FastCopy在CIFS下的速度表現

ZFS-NAS測試數據 Part 7 - 測試使用FastCopy在CIFS下的速度表現
測試日期20091128

XD
	mirror
		c2t2d0
		c2t3d0
	mirror
		c2t4d0
		c2t5d0

PC	Q6600	6x200	1200MHz	亂	XD-base	RAMdisk	降頻
NAS	E1500	11x200	2200MHz		XD-ZFS		標準
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
normal	cifs	寫入 PC => NAS	FastCopy			50
normal	cifs	讀取 NAS => PC	FastCopy			35

繼續閱讀 >>

2010年3月18日星期四

ZFS-NAS測試數據 Part 6 - 測試ZFS系統CPU使用E1500下進行CIFS的極限

ZFS-NAS測試數據 Part 6 - 測試ZFS系統CPU使用E1500下進行CIFS的極限

測試日期20091102

XD
	mirror
		c2t2d0
		c2t3d0
	mirror
		c2t4d0
		c2t5d0

zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)	zPool Bandwidth (MB/sec)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)	zPool Bandwidth (MB/sec)
normal	登入 ZFS-NAS	寫入 raidz	time (mkfile test)	1		190
		寫入 raidz	time (mkfile test)	5	41.2s	151
		寫入 raidz	time (mkfile test)	10	1m30s	112
		寫入 raidz	time (mkfile test)	20	3m4s	110.9
		讀取 raidz	time (cp test /dev/null)	1	5.008s	204.4
		讀取 raidz	time (cp test /dev/null)	2	9.942s	205.9
		讀取 raidz	time (cp test /dev/null)	5	24.853s	206
		讀取 raidz	time (cp test /dev/null)	10	51.561s	198.5
		讀取 raidz	time (cp test /dev/null)	20	1m44s	196.7
		讀取寫入 raidz	zpool scrub			110		110

以結果來看，只要CPU夠力，單純的連率讀取和寫入，ZFS都可以把單顆硬碟跑到上限
分配到兩個mirror的寫入動作由ZFS的檔案系統掌握，大致上會平均分配在pool中，但不是100%的平均分配。
mirror的寫入速度是單顆硬碟，但是讀取速度卻是接近兩顆硬碟合併，mirror讀取時會各讀取一半，再各自檢查chksum，ok就還原資料
接著把c2t2d0 offline，pool變成degrade狀態

繼續閱讀 >>

ZFS-NAS測試數據 Part 5 - ZFS和Zpool的破壞測試，想辦法弄掛ZFS檔案系統就對了

ZFS-NAS測試數據 Part 5 - ZFS和Zpool的破壞測試，想辦法弄掛ZFS檔案系統就對了

測試日期20091101

XD
	raidz1
		c2t3d0
		c2t4d0
		c2t5d0

c2t2d0

有接上但系統未使用，非XD pool的成員

在zpool正常normal的狀態下(之前scrub完成)，關機移除c2t3d0後，用HDTune洗白白，全部寫入zero，但不重建MBR
NAS開機進入系統後，zpool sttatus -x 會回報異常，被用HDTune全部寫入zero的c2t3d0，出現CKSUM error的訊息
但是raidz1 pool 還是維持在正常狀態下，並沒有變成degrade

zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)

normal (實際有問題)	登入 ZFS-NAS	讀取 raidz	time (cp test /dev/null)	20	6m6s	55

讀取速度有降下來
zpool sttatus -x 會回報異常，CKSUM error數量增加，zpool維持在online
zpool replace XD c2t3d0 沒有作用
zpool offline XD c2t3d0後，zpool status -x進入degrade狀態
zpool online XD c2t3d0後，zpool status -x 有resilver紀錄，但是瞬間完成，zpool回到online狀態
zpool scrub XD 開始 scrub
scrub中，zpool status -x，cksum error會持續增加，但是系統還是持續online，沒有降到degrade
完成scrub後，重開NAS，發生意外狀況，c2t3d0掛了unavailable

繼續閱讀 >>

ZFS-NAS測試數據 Part 4 - ZFS異常狀況測試 resilver,scrub和replace指令

ZFS-NAS測試數據 Part 4 - ZFS異常狀況測試 resilver,scrub和replace指令

測試日期20091028

c2t2d0

有接上但系統未使用

XD
	raidz1
		c2t3d0
		c2t4d0
		c2t5d0

在zpool正常normal的狀態下(之前scrub完成)，改成關機移除c2t3d0後，把c2t3d0格式化
zpool似乎會認得之前的硬碟身份，用格式化後的硬碟似乎還是認得，不知道根據什麼資料
因為zpool認得同一顆硬碟c2t3d0，所以resilver會自動開始
奇怪的是resilver會瞬間完成，照理說c2t3d0的資料應該已經被清空了，或是HDTune有問題
用scrub強制檢查，在完成97%左右會因為too many error的訊息，c2t3d0變成fail，zpool進入degrade狀態
用replace指令c2t2d0取代c2t3d0會變成

XD				degrade
	raidz1			degrade
		replacing		degrade
			c2t3d0	degrade
			c2t2d0	online
		c2t4d0		online
		c2t5d0		online

繼續閱讀 >>

ZFS-NAS測試數據 Part 3 - 異常狀況測試

ZFS-NAS測試數據 Part 3 - 異常狀況測試

測試日期20091027

XD
	raidz1
		c2t3d0
		c2t4d0
		c2t5d0

zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
zpool 狀態	項目	動作	使用程式或動作	大小 (GB)	時間 (sec)	速度 (MB/sec)	NAS CPU 使用率(%)
正常	iSCSI	寫入 PC => NAS	FastCopy	?	?	16	30
	iSCSI	讀取 NAS => PC	FastCopy	?	?	15	20
	iSCSI	寫入 PC => NAS	iometer 256k 4 of outstanding I/O	?	?	7.1	15
	iSCSI	讀取 NAS => PC	iometer 256k 4 of outstanding I/O	?	?	10	5
	iSCSI	讀取 NAS => PC	HDTune	?	?	40	30
	scrub	讀取 raidz	zpool scrub	?	?	110	?

XP使用的是Microsoft iSCSI Initiator
iSCSI很慢，iometer的表現更慘，Hdtune讀取稍慢於CIFS
scrub的速度似乎因為檢查不出異常，可以維持接近全速讀取，沒有寫入動作

繼續閱讀 >>

ZFS-NAS測試數據 Part 2 - 基本測試

ZFS-NAS測試數據 Part 2 - 基本測試

測試日期20091026

XD
	raidz1
		c2t3d0
		c2t4d0
		c2t5d0

PC	Q6600	6x200	1200MHz	作業系統混亂	XD-base	RAMdisk	降頻
NAS	E1500	11x200	2200MHz		XD-ZFS		標準

zpool狀態	項目	動作	程式或指令	大小	時間	速度 (MB/sec)	NAS CPU 使用率(%)
normal	直接登入ZFS-NAS	寫入raidz	mkfile	?	?	110	40+-
	直接登入ZFS-NAS	讀取raidz	cp test /dev/null	?	?	130	30+-
	cifs test	PC => NAS	fastcopy	?	?	55	80~90
	cifs test	NAS => PC	fastcopy	?	?	40	60+-
	cifs test	PC => NAS	iometer 256k 4 of outstanding I/O	?	?	30	40+-
	cifs test	NAS => PC	iometer 256k 4 of outstanding I/O	?	?	80	70+-

T7K250單獨用HD tune測試寫入平均55MB/sec，讀取平均65MB/sec
用iostat指令看，每顆硬碟在raidz寫入時，已經跑到50+MB/sec的水準了
ZFS在CPU夠力下，可以把硬碟發揮到接近上限沒有問題
E1500看起來還ok
iometer 只開 1 of outstanding I/O 時跑起來很低，沒有紀錄到

ZFS-NAS測試數據 Part 1 - 使用的硬體和軟體

硬體		NAS	PC
		XD-ZFS	XD-base / XD-root
	cpu	E1500	Q6600
	ram	2G	4G
	MB	P45-T2 RS JR ICH-10R AHCI mode	P5B-VM DO ICH-8DO Raid mode
	HDD	T7K250 250G x3 (raidz pool) 7200.8 250G x1 (system pool)	ST3500630NS 500G x2 Raid 1 (system) ST3500630NS 500G x2 Raid 1 (stash) Ramdisk 1G (for test)
	GBE	Marvel 88E8053 PCI-E	Intel 82566DM PCI-E
	OS	NexentaCore 2.0 build 104 (基於OpenSolaris的套件) 理論上是跑核心內建的CIFS，而不是samba，但是測試前忘了確認。	WinXP SP3
cpu使用率監控方式		iostat -xncvM 1 -x extend information -c cpu time -n Device name -v ? -M MB/sec 1 每一秒更新一次	task manager 工作管理員
zpool監控指令		zpool iostat -v 1 -v list vdev device 1 每一秒更新一次

訂閱：文章 (Atom)

2010年3月20日 星期六

2010年3月18日 星期四

2010年3月20日星期六

2010年3月18日星期四