PowerScaleにおけるSmartDedupe容量とSyncIQに関して

Kingさん

1．isi dedupe statsで以下項目がありますが、この中で重複排除された後の容量と重複排除前の容量が確認したいのですがその場合どうすればよろしいでしょうか。
      Cluster Physical Size: 
          Cluster Used Size: 
  Logical Size Deduplicated:
             Logical Saving:
Estimated Size Deduplicated:
  Estimated Physical Saving: 

→重複排除された後の容量はCluster Physical Sizeが一番近いのではないでしょうか。
また重複排除前の容量はLogical Size Deduplicatedだと思います。

PowerScale OneFS　9.12.0.0 CLI Administration Guide
Page270 

Cluster Physical Size:The total amount of physical disk space on the cluster.

Cluster Used Size :The total amount of disk space currently occupied by data on the cluster.

Logical Size Deduplicated:The amount of disk space that has been deduplicated in terms of reported file sizes. For example, if you have three identical files that are all 5 GB, the logical size deduplicated is 15 GB.

Logical Saving :The amount of disk space saved by deduplication in terms of reported file sizes. For example, if you have three identical files that are all 5 GB, the logical saving is 10 GB.

Estimated SizeDeduplicated:The total amount of physical disk space that has been deduplicated, including protection overhead and metadata. For example, if you have three identical files that are all 5 GB, the estimated size deduplicated would be greater than 15 GB, because of the disk space consumed by file metadata and protection overhead.

Estimated Physical Saving:The total amount of physical disk space saved by deduplication, including protection overhead and metadata. For example, if you have three identical files that are all 5 GB, the estimated physical saving would be greater than 10 GB, because deduplication saved space that would have been occupied by file metadata and protection overhead.

2．SyncIQでは重複排除前のデータが飛ぶと思いますが、SyncIQ飛ぶであろう想定容量は上記の情報でわかりますでしょうか。
→SyncIQで転送されるデータは変更点などが事前に計算されそのうえでデータとMedadataが転送されるのでisi dedupe statsでDedupされる前の論理容量を示すLogical Size Deduplicatedがその転送量の目安となります。

3．上記容量はパリティデータも含めた値でしょうか。
→Estimated SizeDeduplicatedとEstimated Physical Savingの値に関してはAdminguideの説明を見る限り、Parityも含まれた計算がなされています。（5Gのファイル3つあればその容量はgreater than 15 GB because of the disk space consumed by file metadata and protection overheadとあるので）

他の項目はParityなしです。

4．SyncIQで飛ばすデータにパリティデータは含まれない認識でよろしいでしょうか。
→御認識の通りになります。SyncIQが転送するのはDataとMetadataだけなので。

Dell PowerScale SyncIQ: Architecture,Configuration, and Considerations

Page17
After all the new modifications to the dataset are logged, workers read through the file and start to apply the changes to the target cluster. On the target cluster, the deleted LINs are removed first, followed by updating directories that have changed. Finally, the data and metadata are updated on the target cluster.

PowerScale OneFS　9.12.0.0 CLI Administration Guide
Page339
Increasing the requested protection of data also increases the amount of space that is consumed by the data on the cluster.
The parity overhead for N + M protection depends on the file size and the number of nodes in the cluster. The percentage of parity overhead declines as the cluster gets larger.

@ayas 

ご回答ありがとうございました！

追加で少しご教授いただきたく。。。

今検証で5ファイル同じファイルを置いてDedupeをした場合Dedupe Statsの結果が以下となりました。

      Cluster Physical Size: 493.29G

          Cluster Used Size: 11.35G

  Logical Size Deduplicated: 6.27G

             Logical Saving: 5.03G

Estimated Size Deduplicated: 9.43G

  Estimated Physical Saving: 7.57G

ここから4ファイルを削除した場合重複されたデータは減るのかなと思ったのですが以下のとおり減りませんでした。。。

      Cluster Physical Size: 493.29G

          Cluster Used Size: 11.46G

  Logical Size Deduplicated: 6.27G

             Logical Saving: 5.03G

Estimated Size Deduplicated: 9.43G

  Estimated Physical Saving: 7.57G

こちらDedupe Statsの結果はファイル削除して重複ファイルがなくなったりした場合でも容量に変動はしないものなのでしょうか。

その場合だと過去からの累計の重複データが確認される形でしょうか。

Kingさん
確認結果とご返信を有難うございます。

こちらDedupe Statsの結果はファイル削除して重複ファイルがなくなったりした場合でも容量に変動はしないものなのでしょうか。
→SmartDedupはファイルをDedupeする場合、隠しファイルのようなShadow Storeへ重複したデータブロックを保存し、元のファイルの重複ブロックを削除、その代わりにshadow Store内にポインタとして保持します（重複ブロックも所持）。もしファイルがDeleteされたとしてもポインタのみ削除され、実データは他のファイルからの参照がある可能性があるためすぐには削除されません。そのため今回のように容量に変化がないように見えるのだと思います。

容量の開放という点ではshadow store 内でどのファイルからも参照されなくなったブロックとして消されるジョブが流れるまではその容量が解放されないことになります。（ShadowStoreDelete　が流れないと容量は解放されないです）　

したがってDedupe Statsの結果はShadowStoreDeleteジョブが流れるまでは実際のDedup状況を把握しにくいということを考慮に入れたほうがいいです。

PowerScale OneFS　9.12.0.0 CLI Administration Guide

Page265
Deduplication overview　shadow Storeについて
The SmartDedupe software module deduplicates data by scanning a PowerScale cluster for identical data blocks. Each block is 8 KB. If SmartDedupe finds duplicate blocks,  SmartDedupe moves a single copy of the blocks to a hidden file called a shadow store.
 SmartDedupe then deletes the duplicate blocks from the original files and replaces the blocks with pointers to the shadow store.

Page 249 　 shadow Storeと容量開放について
Over time, the shared blocks contained in the shadow store might become useless if neither the file nor clone references the blocks. The cluster routinely deletes blocks that are no longer needed. You can force the cluster to delete unused blocks at any time by running the ShadowStoreDelete job.

OneFS does not delete a shadow-store block immediately after the last reference to the block is deleted. Instead, OneFS waits until the ShadowStoreDelete job is run to delete the unreferenced block. If many unreferenced blocks exist on the cluster, OneFS might report a negative deduplication savings until the ShadowStoreDelete job is run.

ファイルを削除してもSnapshotが該当ブロックを保持していた場合は、ShadowStoreDeleteが実行されてもブロックは解放されない点にも注意が必要となります。

FSAnalyzeやSyncIQ、スケジュールSnapshotがある領域などでつかんでないか確認が必要になるかと。

ご参考まで。