tag:blogger.com,1999:blog-8024865037491146465.post4503377451120016598..comments2022-11-11T16:13:00.709+08:00Comments on 手殘的VIRTUAL-ON玩家: ZFS NAS - 使用NexentaCore實做:(1) 全部在command line底下完成,建立、轉移、整理louiszzzhttp://www.blogger.com/profile/14449394282499281654noreply@blogger.comBlogger23125tag:blogger.com,1999:blog-8024865037491146465.post-44752799971309156912012-12-02T22:50:37.129+08:002012-12-02T22:50:37.129+08:00我可能沒有寫清楚,這個需要透過Solaris核心整合的CIFS,才能把ZFS的snapshot偽裝成...我可能沒有寫清楚,這個需要透過Solaris核心整合的CIFS,才能把ZFS的snapshot偽裝成Windows底下的還原點。<br />FreeBSD使用的SAMBA似乎沒有這個功能。<br />假如在Soalris底下使用SAMBA一樣會無法使用這個功能。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-37194938644125344122012-12-01T00:50:04.195+08:002012-12-01T00:50:04.195+08:00关于 “加上透過CIFS在windows底下,可以直接在[內容] => [以前的版本] 看到過...关于 “加上透過CIFS在windows底下,可以直接在[內容] => [以前的版本] 看到過去snapshot的內容,ZFS這點真是棒的沒話說。” 这里,没看懂,没有实作成功。是要开启Windows7的系统保护吗?还是ZFS本身的功能?不太会用。可否赐教?<br /><br />我用FreeBSD 9.0 实作 ZFS。Unknownhttps://www.blogger.com/profile/06013245566635404163noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-26667325651365422002012-03-18T23:31:28.373+08:002012-03-18T23:31:28.373+08:00稍微提醒一下
NexentaStor的Optimize I/O performance這個選項和Z...稍微提醒一下<br /><br />NexentaStor的Optimize I/O performance這個選項和ZIL沒有關係。<br />這是因為ZFS會用flushing的指令,來確保硬碟cache中的資料已經確實寫入。<br /><br />選項的說明裡會強調要有UPS或NVRAM保護,因為關掉ZFS cache flushing的功能後,可能發生因為發生斷電或異常,但是因為ZFS不會用flushing指令去確認硬碟cache內的資料已經完成寫入,所以就失去了硬碟cache內的待寫入資料。<br /><br />ZFS會希望直接控制硬碟,要確定flushing指令可以正確作用,大概也是其中一個主要理由。<br /><br />個人使用沒有大容量需求時NexentaStor的免費版真的很方便,只可惜用在我的硬體上,會週期性的失去反應。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-89598296741526180012012-03-18T01:59:32.791+08:002012-03-18T01:59:32.791+08:00我發現了一個可能的因素,但是不太確定,也不太滿意,不過我也找不出其他原因了…
http://blo...我發現了一個可能的因素,但是不太確定,也不太滿意,不過我也找不出其他原因了…<br /><br />http://blog.xuite.net/trad546/blog/58200007<br /><br />大概就這樣了,這個問題只好先丟到一旁,繼續我下面的測試。THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-55271552530080161262012-03-10T18:59:13.663+08:002012-03-10T18:59:13.663+08:00mount時的使用者帳號正確嗎?
因為讀寫cifs mount權限是看mount使用的帳號。
然後...mount時的使用者帳號正確嗎?<br />因為讀寫cifs mount權限是看mount使用的帳號。<br /><br />然後讀寫local檔案權限看你的登入帳號,因為偷懶的關係我是用root帳號寫入local的ZFS,完成之後再變更所有檔案的ACL權限。<br /><br />我沒有單獨設定unix權限,所以不確定777有何影響,可能要看permission denied是來自哪邊。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-66238215615320802742012-03-10T18:40:11.272+08:002012-03-10T18:40:11.272+08:00讀取的效能低於寫入,這我就不知道了,雖然我的測試結果中寫入似乎一直比讀取快,但是不確定原因。
用z...讀取的效能低於寫入,這我就不知道了,雖然我的測試結果中寫入似乎一直比讀取快,但是不確定原因。<br /><br />用zpool iostat -v 1時<br />可以把時間由1秒加長到10秒,統計數據會比較平均一點,剛剛用照片測試raidz的讀取,SATA單顆硬碟IOPS好像接近130上下。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-82082029598153426392012-03-10T18:22:12.684+08:002012-03-10T18:22:12.684+08:00我原本也以為網路傳輸會是synchronous I/O,結果卻不一定是。
之前的ZIL測試(沒有整...我原本也以為網路傳輸會是synchronous I/O,結果卻不一定是。<br /><br />之前的ZIL測試(沒有整理出來的)有發現<br /><br />xp cifs搭配crystal disk mark是syn write。<br />win7 cifs搭配crystal disk mark是asy write。<br />windows內建和fastcopy是asy write。<br />xp iSCSI是asy write。<br />win7 iSCSI是asy write (win7用iscsi開機是syn write)。<br /><br />完全不知道原因,聽說NFS會是syn write,但是我沒有測試過。<br /><br />不過看看我之前的設數據就算是asy write會先寫入記憶體,再正式寫入zpool,隨機寫入還是很差。但是那時沒有觀察記錄zpool的louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-19067606553971344602012-03-10T18:05:57.884+08:002012-03-10T18:05:57.884+08:00關於小檔案部分,同樣未必是ZFS的問題,因為可能已經跑到機械式硬碟的IOPS上限了,一般單顆SATA...關於小檔案部分,同樣未必是ZFS的問題,因為可能已經跑到機械式硬碟的IOPS上限了,一般單顆SATA大約在100 IOPS上下,能到200 IOPS已經是SAS 15k才有的水準,機械式硬碟的IOPS就是這麼低。<br /><br />利用下列的指令<br />zpool iostat -v 1<br />在進行小檔案的測試中觀察operations這一項,假如單顆硬碟已經到了100上下,已經很不錯了。<br /><br />這部分先不考慮同步或非同步,甚至iSCSI target是否會做快取等情況。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-48874541232690531572012-03-10T17:51:19.961+08:002012-03-10T17:51:19.961+08:00以CIFS為例子,XP是實做SMB,vista(SMB2.0)和win7(SMB2.1),效能上就有...以CIFS為例子,XP是實做SMB,vista(SMB2.0)和win7(SMB2.1),效能上就有很大的差異。<br />我自己的機器,從ZFS NAS讀取資料,在XP底下就只能跑到讀取40MB/s,同樣硬體換成win7就能跑到100MB/s。<br />但是只要搭配win7能夠接近跑滿GBE上限,我會認定ZFS本身是ok的,效能瓶頸,未必能算在ZFS上。<br />因為軟硬體的組合實在太多,網路上也有用XP跑到讀取100MB/s的例子(雖然不是ZFS NAS),但我就是沒辦法在XP上試出來,有些組合就是不適合。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-60056967768199593922012-03-10T17:25:27.848+08:002012-03-10T17:25:27.848+08:00zvol是可以用zfs指令列出來的。
zfs list -t volume
和snapshot類似...zvol是可以用zfs指令列出來的。<br /><br />zfs list -t volume<br />和snapshot類似,要加上-t指定列出屬於volume的檔案系統。<br /><br />試試看。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-27581720859442158992012-03-05T23:22:34.365+08:002012-03-05T23:22:34.365+08:00不好意思,再請教一個問題。我把client端更改為solaris express 11,去mount...不好意思,再請教一個問題。我把client端更改為solaris express 11,去mount server端的cifs share。可以正常mount,不過要cp檔案到client端時總是出現permission denied,即使設定為777也一樣。同樣的,cp檔案到server端也是一樣,這跟ZFS的ACL有關嗎?可是client端是Win7時就沒有這種問題,不解…THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-4307752556231054622012-03-04T23:45:31.974+08:002012-03-04T23:45:31.974+08:00所以這很可能是有關ZFS效能的問題。ZFS效能關鍵不外乎讀取的ARC及寫入的ZIL,之前還此研究了一...所以這很可能是有關ZFS效能的問題。ZFS效能關鍵不外乎讀取的ARC及寫入的ZIL,之前還此研究了一下ZIL,只不過像網路傳輸這樣的synchronous I/O,比較有影響的應該是資料的寫入而非讀取。但實際上卻是讀取的效能低於寫入,這跟我們一般讀取大於寫入的傳統印象不同,這是我所不解的地方。很可惜的,我沒有SSD可以測試L2ARC的部份…<br /><br />另外,Solaris系統一般多應用在server上,也就是說透過網路,通常資料的讀取會比寫入多得多。而這樣的表現讓我很難相信它的能力僅止於此,或許問題不在Solaris身上,而是Win7搞得鬼,改天再來測測看...<br /><br />對於這個問題,不知louiszzz兄有什麼看法?THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-85224859548442189742012-03-04T23:16:10.816+08:002012-03-04T23:16:10.816+08:00其實最讓我困惑的是Solaris網路傳輸效能不如預期。讓我困惑的部份在於,通常網路傳輸瓶頸在於儲存媒...其實最讓我困惑的是Solaris網路傳輸效能不如預期。讓我困惑的部份在於,通常網路傳輸瓶頸在於儲存媒體的存取速度不足以應付網路傳輸,因此我在測試前均做了本機磁碟的傳輸測試。測試數據表明本機磁碟的傳輸能力足以應付網路傳輸。<br /><br />若瓶頸不在磁碟存取速度上,那麼問題就出在網路傳輸協定上了。不過似乎也不是,因為透過快取而非從磁碟讀取的傳輸,確實能達到網路傳輸的上限。而這就是一直困擾我的事,若不是磁碟存取速度,也非網路傳輸協定,那造成這種現象的問題到底是什麼?<br /><br />這幾天安裝了Nexentastor來測試,我想這套專門設計作為NAS的系統或許可以幫我找到問題的答案。其中有兩個發現:<br /><br />第一,Nexenta系統在「Win7->Solaris」小檔案的傳輸有增長,由原本的5MB->14MB左右,其他數據不變。<br /><br />THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-89751102773375061342012-03-04T22:36:49.940+08:002012-03-04T22:36:49.940+08:00你說的沒錯啦,zvol底下是存在的,是我被傳統的觀念制約了。雖然是用zfs指命建立的,但不管是用zf...你說的沒錯啦,zvol底下是存在的,是我被傳統的觀念制約了。雖然是用zfs指命建立的,但不管是用zfs還是zpool都看不到相關訊息,只知道是空間被佔用了,不知道是什麼…<br /><br />我想我也不會用iSCSI,太麻煩了,除了在小檔案的傳輸表現不錯外,其他似乎沒有太吸引人的地方。我也只是順便做測試而巳…THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-7919020353151196172012-02-28T00:45:54.828+08:002012-02-28T00:45:54.828+08:003.
效能部分,我會提到沒有做額外的最佳化,是因為我根本不知道要如何最佳化,目前也沒有在用iSCSI...3.<br />效能部分,我會提到沒有做額外的最佳化,是因為我根本不知道要如何最佳化,目前也沒有在用iSCSI。<br /><br />真要比較效能差異,可能測試方法要明確和統一才行,我有稍微看一下你的數據,可能在測試方法上差異太大,我的數據看就好。<br />FastCopy似乎有些限制在,原因不明。<br /><br />在NAS端可以試試<br />zpool iostat -v 1<br />看pool的讀寫狀況<br />和<br />iostat -xncvM 1<br />看cpu使用率和硬碟讀寫<br />看看瓶頸在哪了。<br /><br />即時的網路流量監控也可以看一下。<br />有時候畫面上完成,但是因為非同步寫入的要求,網路還沒結束(印象中iSCSI好像比較明顯),zpool寫入也還沒完成。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-68997620327156555422012-02-28T00:26:29.430+08:002012-02-28T00:26:29.430+08:002.
以我的例子中,建立zvol做為iSCSI用的Block Device:
# zfs crea...2.<br />以我的例子中,建立zvol做為iSCSI用的Block Device:<br /><br /># zfs create -V 64gb xd-raidz/test<br /><br />zvol建立後,檢查/dev底下有出現名稱為test的zvol<br /><br /># ls /dev/zvol/rdsk/xd-raidz<br />XD-private XD-storage test<br /><br /><br />上述例子中名稱為test的zvol,可以用ls在/dev/zvol/rdsk/xd-raidz底下看到,這個zvol就應該是類似VHD檔的存在,部分zfs的管理指令如snapshot/clone/send之類,應該是可以正常作用的。<br />我不能理解為何看不到和無法管理。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-87176523428532403302012-02-28T00:16:35.353+08:002012-02-28T00:16:35.353+08:001.
zfs set shareiscsi=on的方法,我是找到下列這一篇,但是我沒有試過
htt...1. <br />zfs set shareiscsi=on的方法,我是找到下列這一篇,但是我沒有試過<br />https://blogs.oracle.com/mhuff/entry/introduction_to_iscsi_in_solaris<br />,文章內除了一部分設定用預設值外,因為target和view等項目雖然設定成不同形式,但是還是必須進行設定。<br />我是認為該設定的還是必須設定,避不開的。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-20038822847168565322012-02-19T23:49:42.042+08:002012-02-19T23:49:42.042+08:001.我的意思是,ZFS在分享這方面簡化了許多繁雜的設定,只要設定set sharesmb、set s...1.我的意思是,ZFS在分享這方面簡化了許多繁雜的設定,只要設定set sharesmb、set sharenfs就可以了,不用多做設定。而之前的版本也是有set shareiscsi(雖然我也沒用過),只是不曉得為什麼在後面的版本拿掉了?相較現在的設定,真的是繁複許多…<br /><br />2.iSCSI硬碟這部份我的意思是,若Server在down或是maintain的狀態下,在Server端似乎無法對iSCSI硬碟做任何的處理,因為連看都不看不到。Win2008的iSCSI Target至少還知道是使用存放在哪的VHD檔。<br /><br />3.我做了一些有關網路的傳輸測試,我把數據整理出來。其中,Solaris的傳輸效能遠比我想像中來的低落。若有機會,我想跟您討論這部份,謝謝!<br />http://blog.xuite.net/trad546/blogTHIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-54474165376617918112012-02-12T22:27:58.747+08:002012-02-12T22:27:58.747+08:001. 因為我沒有用過zfs set shareiscsi=on的方法,所以幫不上忙。
google一...1. 因為我沒有用過zfs set shareiscsi=on的方法,所以幫不上忙。<br />google一下,似乎是有Bug。<br /><br />2. iSCSI之前隨手測的,用FastCopy在Win7 x64(RAID10)底下,對NAS(RAIDZ)連續讀取約65MB/sec,連續寫入57MB/sec。換用檔案總管,讀42MB/sec,寫40MN/sec。<br />沒有做額外的最佳化。<br /><br />3. 你應該是指iSCSI硬碟的內容吧?就和實體硬碟一樣,需要任何一台機器存取時,就用該機器的iSCSI initiator,連接iSCSI target,就算在Server端也一樣,用initiator去連接在同一台Server的target。<br />至於zvol,這是ZFS的一部分,建立流程就差不多是管理流程。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-37179485454913276862012-02-09T21:52:38.424+08:002012-02-09T21:52:38.424+08:00另外,還有兩個問題想請教?
1.iSCSI架立後,Server --> Client,也就是...另外,還有兩個問題想請教?<br /><br />1.iSCSI架立後,Server --> Client,也就是iSCSI硬碟的讀取異常低落,只有26MB/s左右,不曉得您那邊的測試會嗎?<br /><br />2.建立iSCSI Target後,除了Client端可以管理iSCSI硬碟外,Server端看不到這個檔案,也無法管理,那日後若出問題時,要怎麼處理呢?THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-90412600593786429452012-02-09T21:42:06.936+08:002012-02-09T21:42:06.936+08:00之前設定iSCSI的方法很簡單zfs set shareiscsi=on就行了,但好像在v134以後...之前設定iSCSI的方法很簡單zfs set shareiscsi=on就行了,但好像在v134以後的版本就變了,變成你上面的方法,不知道是為什麼?<br /><br />我也是參考louiszzz兄的介紹才把iSCSI裝起來,不過還是不太了解到底為什麼要那樣做,能請louiszzz兄稍微講解一下嗎?THIhttps://www.blogger.com/profile/18370029287393703277noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-76001355189315900552011-09-19T19:29:21.555+08:002011-09-19T19:29:21.555+08:00請用,幫我加個連結註明出處就可以了。請用,幫我加個連結註明出處就可以了。louiszzzhttps://www.blogger.com/profile/14449394282499281654noreply@blogger.comtag:blogger.com,1999:blog-8024865037491146465.post-71734601144279450532011-09-19T00:18:42.610+08:002011-09-19T00:18:42.610+08:00From OSSLab thx.
你ZFS資料不錯.方便收錄在我們網站嗎?
http://www.o...From OSSLab thx.<br />你ZFS資料不錯.方便收錄在我們網站嗎?<br />http://www.osslab.com.tw/thxhttps://www.blogger.com/profile/09620347565650215754noreply@blogger.com