Windowsサーバ(SMB)からPowerScaleに対してreadを実行したときの性能に関して

Uchiyさん

これらのことから、1つのWidowsサーバから、1つのノードに対しreadを実行する場合、セッション単位に上限(2～3Gbps)が設定されているように考えられますが、このような仕様なのでしょうか？
→上限があるという記載は見つけられませんでした。NodeはAvailableであれば帯域を最大限に活用できるように動作しようとするはずです。（後述スレッド参照）
しかし様々な条件（プロトコル、データサイズ、クライアント設定条件など）でその制限がかかるのは確かです。

参考：

Number of nodes for 200 gigabytes per second
I have documented an average, per-node throughput for X410 of 1467 MB/s, using SMB2.  This was achieved by leveraging SMB Multi-channel on Win2012 clients and both 10G NICs on each Isilon node, using large block sequential reads.  Take that per-node throughput and multiple it by 144 (our current maximum cluster size), and you get 211241 MB/s, or roughly 200 GB/s.

を与えうる要素
- What protocol(s), and if multiple protocols, about how much of each would be in use?
- Reads or writes, or some mix?
- Is this random I/O, sequential I/O, or some mix of all or some of these?
- What about request sizes?  Large block, small block, etc.
- Are the files in the filesystem large (> ~2 MB) or small (< ~ 500 KB)?

Labでのテスト結果（環境 large block sequential read）
X410:  1467 MB/s/node　－→約11.736Gbps
S210:  1313 MB/s/node
 X400:  904 MB/s/node
S200:  874 MB/s/node
NL400:  675 MB/s/node
HD400:  786 MB/s/node
To reiterate, these per-node results are from large block sequential read benchmarks, done in a lab.  Performance comes in all shapes and sizes, and this is but one aspect of a complex concept...

PowerScale OneFS Best Practices
Page 22
Optimal network settings
Jumbo frames, where the maximum transmission unit (MTU) is set to 9000 bytes, yield slightly better throughput performance with slightly less CPU usage than standard frames,

10Gbpsのネットワークで、接続していますが、SMB接続した場合、1台のWindowsサーバでのreadでは2～3Gbpsしか出ないのでしょうか？
10Gbpsのネットワークであるのでもっと出てもよいよ思いますが、設定変更などにより7Gbpsとか8Gbpsとか出す方法はありますでしょうか？
→ネットワークの最適化の方法としてジャンボフレームなどがありますが、クライアント設定なども考慮の余地があると思うので実際に変更する場合などはテストや、サポートへのご相談がベストである気がします。

参考：PowerScale OneFS Best Practices
Page 22
Optimal network settings
Jumbo frames, where the maximum transmission unit (MTU) is set to 9000 bytes, yield slightly better throughput performance with slightly less CPU usage than standard frames, where the MTU is set to 1500 bytes. For example, jumbo frames can provide about 5 percent better throughput and about 1 percent less CPU usage.

以前、IsilonOneFS8.2.0のころ、ウィンドウサイズの変更により、性能改善を行ったことがあります。基本的には、DELLの推奨値が設定されており変更することはありませんが、お客様の要望により変更したことがありますが、OneFS9.5や、OneFS9.7でも同様のことが可能なのでしょうか？

→残念ながら公開されている情報の中にはその方法は無いようです。。

DELLの推奨値だと1セッション当たり最大どの程度の転送速度が出るのかも分かれば教えてほしいです。
→Nodeスペックやネットワーク構成、クライアント処理能力などの個別の条件が影響するので具体的な数字での提供はないです。　しかし見つけられた範囲で参考になりそうな情報をお知らせします。

Dell EMC Knowledge Article 000188735 : PowerScale：OneFSでiperf3を使用する

PowerScale：OneFSでiperf3を使用する（スループットなどになりますが基準値がありました）

Isilonの10GbEポートについて（条件が違うので合致するというわけではないですが）

Average interface valuesとして「10 GbE aggregate： 6 Gb/sec」と
記載されていました。
900MB/s（約7Gbps）はピーク時と考えた方が良いかもしれませんね。

@ayas​ さん

＞Labでのテスト結果（環境 large block sequential read）
＞X410:  1467 MB/s/node　－→約11.736Gbps

⇒確認ですが、10GbpsのNICで、約12Gbpsの性能が出せるのでしょうか？
　10GbpsのNICでは、10Gbps未満の転送性能しか出せないような気がします。
　破綻していないのでしょうか？

＞Dell EMC Knowledge Article 000188735 : PowerScale：OneFSでiperf3を使用する
＞   PowerScale：OneFSでiperf3を使用する（スループットなどになりますが基準値がありました）

⇒これは1クライアントからのアクセスした場合の平均値ですか？
　複数サーバからアクセスした場合の平均値ですか？

　複数サーバから1ノードに接続した場合の性能としては、10Gbps近いread性能がでているとお客様からは聞いていますが、今回確認したいのは、1サーバから1ノードにアクセスした場合のread性能です。
　このナレッジでは複数サーバから1ノードにアクセスした場合の性能を計測しているように見えますが、1サーバから1ノードにアクセスした場合の性能となるとどうなるでしょう？

Uchiyさん

ご返信を有難うございます。

確認ですが、10GbpsのNICで、約12Gbpsの性能が出せるのでしょうか？
　10GbpsのNICでは、10Gbps未満の転送性能しか出せないような気がします。
　破綻していないのでしょうか？
→「SMB Multi-channel on Win2012 clients and both 10G NICs on each Isilon node」つまりマルチチャネルSMB接続、複数Nodeからのアクセス結果をWindowsクライアントで計算した結果になります。

複数サーバから1ノードに接続した場合の性能としては、10Gbps近いread性能がでているとお客様からは聞いていますが、今回確認したいのは、1サーバから1ノードにアクセスした場合のread性能です。このナレッジでは複数サーバから1ノードにアクセスした場合の性能を計測しているように見えますが、1サーバから1ノードにアクセスした場合の性能となるとどうなるでしょう？

→おっしゃる通り複数サーバからのアクセス平均値になります。

なおIsilonドキュメントとしての情報はなかったので、何人かのエキスパートの意見を聞いてみましたが、環境にもよるけれど、1Node＝1クライアントでの速度が2～3Gbpsなのは特に異常値ではないということでした。

@ayas​ さん

返信ありがとうございます。

確認ですが、10GbpsのNICで、約12Gbpsの性能が出せるのでしょうか？
10GbpsのNICでは、10Gbps未満の転送性能しか出せないような気がします。
破綻していないのでしょうか？
→「SMB Multi-channel on Win2012 clients and both 10G NICs on each Isilon node」つまりマルチチャネルSMB接続、複数Nodeからのアクセス結果をWindowsクライアントで計算した結果になります。

⇒　クライアント側での結果ということは、クライアントが受けとったデータ量が11.7Gbpsということですか。
クライアント側では複数の10GbENICもしくはポートがあり、それぞれが数GbpsでPowerScaleにデータ転送できており、その合計の通信料が11.7Gbpsであったということですか。
例えば、クライアント側で、NICポートが4つあり、それぞれが同時に4ノードに3Gbps程度の通信を行っていて、その合計転送速度として12Gbpsの通信ができているということですか。
それであれば、11.7Gbpsというのは、納得できる数字であると考えます。 

複数サーバから1ノードに接続した場合の性能としては、10Gbps近いread性能がでているとお客様からは聞いていますが、今回確認したいのは、1サーバから1ノードにアクセスした場合のread性能です。このナレッジでは複数サーバから1ノードにアクセスした場合の性能を計測しているように見えますが、1サーバから1ノードにアクセスした場合の性能となるとどうなるでしょう？

→おっしゃる通り複数サーバからのアクセス平均値になります。

なおIsilonドキュメントとしての情報はなかったので、何人かのエキスパートの意見を聞いてみましたが、環境にもよるけれど、1Node＝1クライアントでの速度が2～3Gbpsなのは特に異常値ではないということでした。

⇒お客様検証の結果から
1クライアントと1ノードで接続した場合は、ノード側のネットワーク性能を見ると、2～3Gbpsしか出ておらず、
複数クライアントと1ノードで接続した場合に、ノード側のネットワーク性能を見ると3Gbps以上10Gbps近くの性能が出ているということでした。

つまり、ノード側のネットワーク性能は、ノード単体で3Gbp以上出せる能力を持っているのに、1クライアントで接続し通信したた場合だけ、2～3Gbps以上のネットワーク性能を引き出せていないので、PowerScaleでなにか制限をかけているのではないかと、お客様は疑問に思っています。

正常であるか異常であるかを確認しているのではなく、設定などを変更すれば、1クライアントで接続した場合でも、もっと性能（2～3Gpbs以上の性能）を出せるのではないかという疑問になります。