Windows NTFS体验之重复数据删除技术
在企业中，存储空间的使用往往是惊人的，例如备份数据、文件服务器数据、虚拟化平台数据等。而在以往的windows平台，并没有特别直接有效的方式来帮助我们节省磁盘空间，到了windows server 2012平台，重复数据删除技术，让很多使用windows server平台的用户看到了希望，而这一点也是促使用户将windows server 升级到2012平台的动因之一。周末闲来无事，我也在虚拟环境里体验了一把重复数据删除技术的魅力。
首先我在官网找到了关于重复数据删除技术的相关介绍：
http://technet.microsoft.com/zh-cn/library/hh831354.aspx
1）重复数据删除技术的优点
容量优化：“重复数据删除”使得 Windows Server 2012 能够在更少的物理空间中存储更多的数据，并获得比以前版本的 Windows 操作系统明显更高的存储效率。以前版本的 Windows 操作系统使用单实例存储 (SIS) 或 NTFS 文件系统压缩。“重复数据删除”使用可变分块大小和压缩，常规文件服务器的优化率为 2:1，而虚拟数据的优化率最高可达 20:1。
伸缩性和性能： Windows Server 2012 中的“重复数据删除”具有高度的可伸缩性，能够有效利用资源，并且不会产生干扰。它可以同时对多个大容量主数据运行，而不会影响服务器上的其他工作负载。通过控制 CPU 和内存资源的消耗，保持对服务器工作负载的较低影响。此外，用户可以灵活设置何时应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”创建有关文件选择的策略。
可靠性和数据完整性：在对数据应用“重复数据删除”时，保持数据的完整性。Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。此外，Windows Server 2012 中的“重复数据删除”会为所有元数据和最常引用的数据保持冗余，以确保这些数据可以在发生损坏时进行恢复。
与 BranchCache 相结合提高带宽效率：通过与 BranchCache 进行集成，同样的优化技术还可应用于通过 WAN 传输到分支机构的数据。这会缩短文件下载时间和降低带宽占用。
2）重复数据删除技术的工作原理概述
“重复数据删除”的目标是通过将文件分割成小的 (32-128 KB) 且可变大小的区块、确定重复的区块，然后保持每个区块一个副本，在更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用所取代。此外，还会对区块进行压缩以便进一步优化空间。
其结果是对每个文件执行磁盘内转换，如图 1 所示。文件不再作为独立的数据流进行存储，而是替换为指向存储在通用存储位置的数据块的存根。
官网同样有关于重复数据删除技术规划和部署的事项：
http://technet.microsoft.com/zh-cn/library/hh831700.aspx
1）重复数据删除的理想工作负载包括
常规文件共享：组内容发布/共享、用户主页文件夹和配置文件重定向（脱机文件）
软件部署共享：软件二进制文件、映像和更新
VHD 库：用来对虚拟机监控程序进行配置的 VHD 文件存储
2）作为重复数据删除候选的卷必须符合下列要求
不能是系统卷或引导卷。重复数据删除在操作系统卷上不受支持。
卷可为分区的 MBR 或 GPT，并且必须使用 NTFS 文件系统格式化。
卷可以驻留在共享存储（如光纤通道或 SAS 阵列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障转移群集。
群集共享卷 (CSV) 不受支持。
Microsoft 的新灵活文件系统 (ReFS) 不受支持。
卷必须向 Windows 公开为不可移除的驱动器。远程映射驱动器不受支持。
下面就来通过一个例子来体验一把重复数据删除技术的部署。
首先我打开服务器管理器的工具下拉菜单，找到“计算机管理”，对添加到服务器的存储磁盘进行初始化的设置。如图。
对存储磁盘1进行初始化、联机、格式化的操作。如图。
然后我们回到服务器管理器—卷—磁盘，看看能否为刚刚添加的磁盘启用重复数据删除技术，我们发现“启用重复数据删除技术”的选项是灰色的，如图。
原因很简单，重复数据删除技术是一项单独的组件，需要通过添加角色和功能向导进行安装之后才能正常使用，下面我就先来安装一下。
在“添加角色和功能向导”—“选择服务器角色”界面，将文件和ISCSI服务下面的“数据删除重复”勾选，如图。
安装成功，如图。
下面我们再次回到卷管理界面，刷新一下之后，再右击存储磁盘查看一下，发现“配置数据删除重复”的选项已经可用了，如图。
接下来，我通过一些简单的步骤来进一步测试该功能。
首先在“配置数据删除重复”界面，我勾选“启用数据删除重复”，为新加卷E启用该技术。如图。
然后我们选择上图中的“设置删除重复计划”，对重复数据删除的相关选项进行配置。
如下图。
勾选“启用后台优化”。该功能确保在系统繁忙的时候，以最大程度低降低对系统性能的影响。
勾选“启用吞吐量优化”。该功能确保在指定的时间立刻运行重复删除作业。
启用之后，可以从下图中看出重复删除的相关指标已经出来了。
下面我往E盘拷贝一些重复的文件来测试一下重复数据删除技术的效果如何。
在没有运行去重作业之前的磁盘占用为2.11GB，如图。
下面我修改一下重复删除计划，将重复删除的开始时间设置为22:28，我当前的系统时间为22:27，也就是说一分钟以后开始运行重复删除计划。如图。
计划运行完成后，可以看到，E盘的重复数据删除率为40%，删除重复保存为931MB，如图。
再次查看一下E盘的磁盘空间使用情况，由之前的2.11GB变成了1.32GB，可见磁盘空间已经大大节省了。如图。
最后，需要注意的是，不能够对系统盘启用重复数据删除技术，如图。
好似好犀利甘样 勇者罗兰 发表于 2020-6-16 22:13
好似好犀利甘样
系统自动将硬盘里重复的文件的元数据删除，以节省空间，但你在磁盘中依然可以看到2个或以上的重复文件， win10有冇得用呢 chrisrex 发表于 2020-6-18 09:50
win10有冇得用呢
WIN10我吾发现有得用！！
最近2天都在研究这个，可以省不少空间
最初我理解还以为是文件相同，只存一份，但系统里依然找到2份文件出来，
现在深入理解原是用块数据相同，那么这个删除机率就高很多
如一部动画，片头和片尾都是一样的，这部分文件就可以自动省下空间来，但读取时每个文件依然是有OP和ED Kiver 发表于 2020-6-18 10:22
WIN10我吾发现有得用！！
最近2天都在研究这个，可以省不少空间
貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?
chrisrex 发表于 2020-6-18 12:45
貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?
每个数据块是32KB-128KB大小，块的容量不是很大
到时网盘应该会用这项技术，就知道其效果如何了！！
所以这两天才全面研究这项技术！！ chrisrex 发表于 2020-6-18 12:45
貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?
如果遇上有人上传相同文件，就可以省了很多空间！！
不用在程序上做相同文件的检索
精简程序的复杂性 chrisrex 发表于 2020-6-18 12:45
貌似有难度啵,除非无损好似text咁,唔嘅话都几难一样啵?
在研究REFS技术的重复数据删除技术~！
REFS可以确保文件不受损或数据出错
页:
[1]
