Windows NTFS体验之重复数据删除技术

        在企业中，存储空间的使用往往是惊人的，例如备份数据、文件服务器数据、虚拟化平台数据等。而在以往的windows平台，并没有特别直接有效的方式来帮助我们节省磁盘空间，到了windows server 2012平台，重复数据删除技术，让很多使用windows server平台的用户看到了希望，而这一点也是促使用户将windows server 升级到2012平台的动因之一。
% X; w+ |  M' c/ S
        周末闲来无事，我也在虚拟环境里体验了一把重复数据删除技术的魅力。

2 j' f9 ^. P$ ~. V* s, _. ?        首先我在官网找到了关于重复数据删除技术的相关介绍：

        http://technet.microsoft.com/zh-cn/library/hh831354.aspx

  c0 S! j- B/ x5 Q/ i2 [6 _1）重复数据删除技术的优点
+ b9 v7 C5 d' F# C5 l% b4 L* [5 K: b
        容量优化：“重复数据删除”使得 Windows Server 2012 能够在更少的物理空间中存储更多的数据，并获得比以前版本的 Windows 操作系统明显更高的存储效率。以前版本的 Windows 操作系统使用单实例存储 (SIS) 或 NTFS 文件系统压缩。“重复数据删除”使用可变分块大小和压缩，常规文件服务器的优化率为 2:1，而虚拟数据的优化率最高可达 20:1。
& b& R1 \$ R: q) z3 b% E        伸缩性和性能： Windows Server 2012 中的“重复数据删除”具有高度的可伸缩性，能够有效利用资源，并且不会产生干扰。它可以同时对多个大容量主数据运行，而不会影响服务器上的其他工作负载。通过控制 CPU 和内存资源的消耗，保持对服务器工作负载的较低影响。此外，用户可以灵活设置何时应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”创建有关文件选择的策略。

        可靠性和数据完整性：在对数据应用“重复数据删除”时，保持数据的完整性。Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。此外，Windows Server 2012 中的“重复数据删除”会为所有元数据和最常引用的数据保持冗余，以确保这些数据可以在发生损坏时进行恢复。
与 BranchCache 相结合提高带宽效率：通过与 BranchCache 进行集成，同样的优化技术还可应用于通过 WAN 传输到分支机构的数据。这会缩短文件下载时间和降低带宽占用。
2）重复数据删除技术的工作原理概述
+ B7 c/ W& V1 N6 |$ r7 X
        “重复数据删除”的目标是通过将文件分割成小的 (32-128 KB) 且可变大小的区块、确定重复的区块，然后保持每个区块一个副本，在更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用所取代。此外，还会对区块进行压缩以便进一步优化空间。

7 L2 K" a! ~& K* F# P        其结果是对每个文件执行磁盘内转换，如图 1 所示。文件不再作为独立的数据流进行存储，而是替换为指向存储在通用存储位置的数据块的存根。
( }9 e& m& C) J( G

9 Q9 z6 P# P" X5 L$ K$ `* `8 s
4 {( U( ~8 F9 q

: B4 _9 q9 A# D9 v8 d) q        官网同样有关于重复数据删除技术规划和部署的事项：
, Q! N  O4 Y: u" ]. N) @, L
        http://technet.microsoft.com/zh-cn/library/hh831700.aspx

( M" Z& E$ m3 R8 e' J& b    1）重复数据删除的理想工作负载包括
        常规文件共享：组内容发布/共享、用户主页文件夹和配置文件重定向（脱机文件）
        软件部署共享：软件二进制文件、映像和更新
( U9 S. r! h% q        VHD 库：用来对虚拟机监控程序进行配置的 VHD 文件存储

! b7 j6 g/ i$ M9 i    2）作为重复数据删除候选的卷必须符合下列要求
        不能是系统卷或引导卷。重复数据删除在操作系统卷上不受支持。
        卷可为分区的 MBR 或 GPT，并且必须使用 NTFS 文件系统格式化。
, V  e/ Z. C- n% v- Y+ O        卷可以驻留在共享存储（如光纤通道或 SAS 阵列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障转移群集。
! I3 F% k8 E; R( J( ~2 o' s        群集共享卷 (CSV) 不受支持。
        Microsoft 的新灵活文件系统 (ReFS) 不受支持。
4 W% W( ^5 ], [7 N1 i: m( V2 H        卷必须向 Windows 公开为不可移除的驱动器。远程映射驱动器不受支持。

下面就来通过一个例子来体验一把重复数据删除技术的部署。
. P9 c  i  {/ P. l( S
首先我打开服务器管理器的工具下拉菜单，找到“计算机管理”，对添加到服务器的存储磁盘进行初始化的设置。如图。

3 R3 _& L0 C2 Z2 d对存储磁盘1进行初始化、联机、格式化的操作。如图。

然后我们回到服务器管理器—卷—磁盘，看看能否为刚刚添加的磁盘启用重复数据删除技术，我们发现“启用重复数据删除技术”的选项是灰色的，如图。
" `: N* }1 y7 X4 S& v原因很简单，重复数据删除技术是一项单独的组件，需要通过添加角色和功能向导进行安装之后才能正常使用，下面我就先来安装一下。

在“添加角色和功能向导”—“选择服务器角色”界面，将文件和ISCSI服务下面的“数据删除重复”勾选，如图。
9 ?  p( E1 X% e9 N- p* N

安装成功，如图。
4 L/ f$ I, ^& ]2 D1 N$ h
( v; v, g% |: [下面我们再次回到卷管理界面，刷新一下之后，再右击存储磁盘查看一下，发现“配置数据删除重复”的选项已经可用了，如图。

8 Y$ @; D. N7 J8 f接下来，我通过一些简单的步骤来进一步测试该功能。
2 X) b2 r7 G7 ?. L$ N: f+ Q: o; W+ ^
, a% q$ f" j: g) J8 _4 F+ h) |首先在“配置数据删除重复”界面，我勾选“启用数据删除重复”，为新加卷E启用该技术。如图。
2 ?3 A. v/ a9 E5 M7 {  V
. K; u$ T* R/ {# ^! v然后我们选择上图中的“设置删除重复计划”，对重复数据删除的相关选项进行配置。

7 b2 ?8 k+ ^- j$ b. x如下图。
8 g/ I. p) U$ b# Q
1 |; V3 V) y) {: m勾选“启用后台优化”。该功能确保在系统繁忙的时候，以最大程度低降低对系统性能的影响。
+ i. [- S$ h0 F5 k6 v% ~  o: `5 J, S
勾选“启用吞吐量优化”。该功能确保在指定的时间立刻运行重复删除作业。
5 c! L. M" n# f3 s
启用之后，可以从下图中看出重复删除的相关指标已经出来了。
, D: X* p  ~2 ]0 Z3 Q- M0 O
下面我往E盘拷贝一些重复的文件来测试一下重复数据删除技术的效果如何。
9 n/ t8 x3 ~* H
& u" K3 K0 {+ e- w: J, a$ Q在没有运行去重作业之前的磁盘占用为2.11GB，如图。
. T5 l5 l6 y* r+ w1 V8 ?: ~
6 b0 j. @4 w/ ?8 n下面我修改一下重复删除计划，将重复删除的开始时间设置为22:28，我当前的系统时间为22:27，也就是说一分钟以后开始运行重复删除计划。如图。

计划运行完成后，可以看到，E盘的重复数据删除率为40%，删除重复保存为931MB，如图。

再次查看一下E盘的磁盘空间使用情况，由之前的2.11GB变成了1.32GB，可见磁盘空间已经大大节省了。如图。
- ?+ f8 j, m  G8 B
- U4 E$ _- ~  n% J' ^8 D8 w最后，需要注意的是，不能够对系统盘启用重复数据删除技术，如图。
1 B3 N; ]( A: w8 U( j
$ Q3 u8 N. [6 V% O7 B, a( z8 Q

好似好犀利甘样

勇者罗兰 发表于 2020-6-16 22:13
& v9 R. K' b5 k1 g% B$ @好似好犀利甘样

系统自动将硬盘里重复的文件的元数据删除，以节省空间，但你在磁盘中依然可以看到2个或以上的重复文件，

win10有冇得用呢

chrisrex 发表于 2020-6-18 09:50
; |: i% z/ k, C1 T6 A' Z6 N3 c) vwin10有冇得用呢

WIN10我吾发现有得用！！
最近2天都在研究这个，可以省不少空间
9 E# H# h* L) D; X! N7 K) n9 h% W
最初我理解还以为是文件相同，只存一份，但系统里依然找到2份文件出来，
7 c( i% m7 k  J; b8 m4 s
- `3 b2 _' ~( Y, ]0 r: d1 _" v现在深入理解原是用块数据相同，那么这个删除机率就高很多

! f8 V% Y7 {' F4 R' r; H如一部动画，片头和片尾都是一样的，这部分文件就可以自动省下空间来，但读取时每个文件依然是有OP和ED

Kiver 发表于 2020-6-18 10:22
WIN10我吾发现有得用！！
  r8 `4 }- b( A% m最近2天都在研究这个，可以省不少空间

貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?
0 ?. z" F/ z- f" c

chrisrex 发表于 2020-6-18 12:45
, O" M7 V2 e" F" P0 c4 k+ K貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?

8 h5 |) T: E2 c6 }每个数据块是32KB-128KB大小，块的容量不是很大
2 V6 F2 N  q3 ?& A: w3 Q2 v. B
: d" s7 N8 Q6 ?# ]- T到时网盘应该会用这项技术，就知道其效果如何了！！
. q% L& R+ s, b7 i. ^
( w( u! k& _6 b1 W" O  o所以这两天才全面研究这项技术！！

chrisrex 发表于 2020-6-18 12:45
貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?

如果遇上有人上传相同文件，就可以省了很多空间！！
) p0 d  d; m! q9 D8 _7 `- L
不用在程序上做相同文件的检索

' @- w8 B; L8 }; v6 k0 N$ m, W精简程序的复杂性

chrisrex 发表于 2020-6-18 12:45
2 X2 K1 M% u( O. _) ]# F8 I' A) \* q貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?

在研究REFS技术的重复数据删除技术~！
* v5 s4 a* p3 c- D) C. t9 w) S
) K. g5 t8 J) q# y, d# vREFS可以确保文件不受损或数据出错