主存储上的重复数据删除技术和数据压缩可以减少数据占位 - TechTarget存储
主存储上的重复数据删除技术和数据压缩可以减少数据占位
作者：翻译：张强
来源：TechTarget中国
虽然说在主存储上进行重复数据删除技术以及数据压缩技术的应用还不及在备份应用上的广泛，然而我们还有很大的理由和期望在主存储上实现在比如对word文档，excel表格或者ppt幻灯片等非结构化数据上实现空间压缩的显著成效。 　　美国Gartner咨询顾问公司的研究副总裁Dave Russell，开展了一场关于当前在主存储设备上进行重复数据删除技术的讨论对话，话题从标准的压缩技术到文件级或者子文件级别的重复数据删除技术，再到重复数据删除技术和数据压缩技术的整合上。他同样也表达了关于他对未来用户可能感兴趣的相关新兴技术的认识和看法。 　　SearchStorage.com: 在关于主存储实施重复数据删……
我们一直都在努力坚持原创.......请不要一声不吭，就悄悄拿走。
我原创，你原创，我们的内容世界才会更加精彩！
【所有原创内容版权均属TechTarget，欢迎大家转发分享。但未经授权，严禁任何媒体（平面媒体、网络媒体、自媒体等）以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
TechTarget中国
虽然说在主存储上进行重复数据删除技术以及数据压缩技术的应用还不及在备份应用上的广泛，然而我们还有很大的理由和期望在主存储上实现在比如对word文档，excel表格或者ppt幻灯片等非结构化数据上实现空间压缩的显著成效。　　美国Gartner咨询顾问公司的研究副总裁Dave Russell，开展了一场关于当前在主存储设备上进行重复数据删除技术的讨论对话，话题从标准的压缩技术到文件级或者子文件级别的重复数据删除技术，再到重复数据删除技术和数据压缩技术的整合上。他同样也表达了关于他对未来用户可能感兴趣的相关新兴技术的认识和看法。　　SearchStorage.com: 在关于主存储实施重复数据删除技术以及数据压缩技术上，最常见的一些途径有哪些？　　Russell: 关于这方面的途径主要有如下的四个方面。首先的一个是标准压缩技术，典型的说比如lempel-ziv压缩技术，是根据在70年代晚期的年的lempel-ziv算法得来的。其次的一个途径是通常被称为单实例存储（single-instance store）或者它的缩写SIS，再或者有时也被称为文件级别的重复数据删除技术，这种技术的特点是通过尝试对两个整体文件进行比对来判断是否具有一致性，比如对两个完全一样的PDF文档进行比对来达到消重的目的。第三个方面的尝试是子文件重复数据技术，这种重复数据技术也是大多数用户所熟知的一种消重技术，其原理是通过试图比对文件之间或者数据库之间再或者邮件系统之间数据比特之间的共同性来达到重复数据删除的目的。第四种也是最后一种也是最常见也应用最广泛的一种重复数据删除和压缩技术，和前三种方式不同的是，它会去寻找文件内部的比特或者文件的碎片之间的共同性实现消重的目的后，再进行数据压缩操作。　　SearchStorage.com: 您可以简要介绍和对比一下分别几种不同途径的工作方式吗？　　Russell: 数据压缩技术特别关注的是数据的总量。每天都会遇到的一个例子就是一个声音文件，一个MP3格式的文件。数据压缩技术仅关注于一个一个的单个对象本身，在这个例子里，仅仅对一个单独的声音文件，需要值得指出的是，在对这个文件进行操作的时候，它不会持续着对其它类型的文件进行数据压缩操作，而是等之后再操作。　　下一个步骤就是单实例存储，这个步骤的过程会逐个扫描文件，结果像是先会放到一个字典里，然后继续扫描，看是否会找到和之前扫描结果中有一致性的文件。重复数据删除技术很好的发展了这个理念，并更好的将它阐述为继续通过对比文件中已知的数据比特或者查看数据库再或者数据的颗粒度等方面来判断和之间扫描过的文件是否存在一致性。这样看来，数据压缩技术往往是基于单个文件存在的，单实例存储首先会花费一点时间对比不同的文件，然后对比之前扫描过的不同对象或者文件中的比特信息来实现重复数据删除操作。　　SearchStorage.com:在主存储设备上应用重复数据删除技术以及数据压缩技术和在数据备份应用上使用这样的技术分别有怎样的效果？　　Russell: 可以确定的说，备份操作是我们从事的所有工作中最冗余的工作之一，意思就是说备份的时候往往会经常对相同的文件进行重复的备份操作。对于一些机构或者组织来说，他们可能需要每晚都做一次系统数据全备份，并且如果他们不这样做，他们就会选择每周做一次全备份，根据关于数据改变率方面的经验，备份的数据中大约会有90%到95%的部分在之前的备份中已经可能存在了。　　那么，既然在备份的时候已经做好了重复数据删除操作，这样在主存储设备上再进行重复数据删除操作的几率会相对稍小一些，然而非常典型的是，像一些所谓的非结构数据或者像word文件，excel表格再或者ppt幻灯片这样的文件，不仅看起来不仅有许多的一致性或者重复性，而且在很多情况下，都会发生文件有一点改动就会被重新再保存一次，这样实际上就会造成多个数据重复拷贝。另外还有一个关于数据库的例子，通常来说可能一个企业或者组织关于他们数据库的备份会达到至少六份甚至多至十份。这样看来，在主存储设备上应用重复数据删除技术仍有它的市场空间存在。　　SearchStorage.com: 您会预料到在主存储的重复数据删除以及数据压缩领域会有哪些新兴的途径吗，如果有，它们将如何发挥作用并且对于用户来说，他们对这些新途径可以有怎样的期盼？　　Russell: 我认为首先在市场上相对近些可能出现的情况是，有证据表明，供应商们会开始将他们产品的各种功能打包。但我们认为，我们将会看到的更多的情况是一些关于数据压缩和重复数据删除产品打包或者整体解决方案的例子。今天的情况是，一家供应商可能仅会单纯的提供重复数据删除技术的功能服务，在不远的未来，他们可能会在提供重复数据删除功能服务之前会先提供数据压缩服务；同样今天单纯提供数据压缩服务的供应商明天也可能将功能扩展到重复数据删除领域。　　随着技术的复杂，在进行运算处理的过程中尤其是CPU方面，将会产生更多的功耗，下一步我们将看到的是在芯片技术上的更多改进使得功耗方面的成本能有所降低。未来许多产品的趋势可能发展为随着CPU运算速度能够足够快到可以处理足够多的数据，这样原本首先将数据存放在主存储的过程将会改变为先在CPU计算中进行重复数据删除和压缩后再存放在主存储设备上。　　第三方面的途径也是一个广泛的视角，意思就是说重复数据删除技术如何在全局展开，或者说我们能在多宽泛的一个区域内进行对那些重复过的数据进行同一性的比对再将重复的拷贝删除。当今许多产品的覆盖程度都受到数据所在逻辑单元号（LUN）或者卷（Volume）的限制。而其它的一些产品也由于特定数据流的限制而不能全局的应用重复数据删除技术。针对上面的几个例子，未来我们在主存储设备上将看到逐渐更为广泛，更有全局能力的重复数据技术应用。
资深编辑、作者
混合云将在年期间真正成为生产应用程序及关联的主存储。留意新的方法和产品，包括本文中描述的增强功能，特别是支持云的软件定义存储。
混合云存储的可扩展性，灵活性和成本优势，让混合云存储成为长期以来IT专业人士们的首选。然而直到最近，企业选用混合云仍面临重重障碍，尤其是在主存储方面。
云技术的成熟使得它日益成为各种备份、灾难恢复和归档服务存放二级和三级数据的首选目标。像云存储网关和软件定义存储这样的技术将使数据中心变得更高效。
《存储经理人》2017年5月刊重点关注存储技术的发展，全闪存阵列的成功让许多厂商推出全闪存数据中心，我们将探讨影响闪存存储采购决策的因素，以及当今数据中心内闪存存储的应用场景。还将分享突破性存储架构——IRIS，探索云与主存储的关系，以及如何在“不间断”的世界中建立IT弹性计划等等。
企业级IT网站群
TechTarget中国 版权所有
All Rights Reserved, Copyright2018
TechTarget中国 版权所有
All Rights Reserved, Copyright2018
我们的网站使用Cookie和其他类似技术（Cookies）来增强您的体验和为您提供相关内容和广告。 使用我们的网站，您同意使用Cookies。 您可以随时更改设置。 .“科研之友”常见问题
社区网络服务:
跨文献库检索工具的安装和卸载
跨文献库检索工具使用
1.如何找回登录密码？
在“科研之友”的登录页面上，您可以点击“忘记密码”链接 ，输入您在注册时所填的电子邮箱。系统将会自动把修改密码的链接发送到您的电子邮箱。
2.什么是“科研之友”的系统要求？
“科研之友”适用于以下最新版本浏览器的Windows或Mac操作系统：
Mozilla Firefox
Internet Explorer 11
Google Chrome
Mozilla Firefox
Google Chrome
为了更好的展示您的图形化智能简历、互动式个人主页，我们建议您将电脑显示器的分辨率设置成或以上，把字体大小设置 成中等字体。
社区网络服务:
如何设置我的隐私？
登录“科研之友”后，您可以在“我的科研
个人设置”功能下的“隐私设置”中设置隐私内容。公开您的成果、项目等个人信息，获得更多人查看，并有助于提高论文引用，获取更多基金申请机会推荐。
2. 接收者为何没收到我发送的加为好友请求？
对方没有回应您的好友请求可能有以下原因：
1.对方没有收到您通过“科研之友”发出的好友请求，或标识为“垃圾邮件”。您可以尝试给对方“发送消息”，核对是否收到了添加好友请求。
2.科研之友每周会发送邮件通知对方处理尚未回应的请求或邀请。若对方处理了该请求，您会收到科研之友发出的系统通知，请注意查看科研之友“消息中心”下的“系统消息”栏。
3.如果上述仍然不能回答您的疑问，请联系本系统的“在线咨询”，或者发电子邮件至我们的技术支持寻求帮助。
3. 如何退出群组？
如您想退出已经加入的群组，可在登录系统后，进入“群组”功能选择该群组，然后点击右上角的“设置”链接，选择“退出群组”选项。
4. 什么是消息中心？
消息中心包括您与科研之友好友互发的站内短信、科研之友用户申请加入您创建的群组请求、给您发送的好友请求、好友给您共享的文件/文献和系统消息。您可以通过访问消息中心查找与好友的交流记录，曾经收到的站内短信和文件等重要资料。
跨文献库检索工具的安装和卸载:
1. 什么是跨文献库检索工具？
跨文献库检索工具是依托“科研之友”平台，辅助科研工作者统一文献检索，跨库收集科研成果的科技文献检索软件。利用跨文献库检索工具，。您可以使用跨文献库检索工具从各大文献库，如：中国知网、万方、SSCI、SCIE、ISTP、Scopus等，方便、准确、规范地收集和导入自己或他人的中英文科研成果信息。列出目前支持的文献库类型。
2. 为什么需要安装跨文献库检索工具？是否每次检索都要安裝?
有效支持科研人员在知识产权法等相关法律的框架下方便、准确、规范地收集科研成果，需要一系列复杂的科技文献检索技术，这些技术远远超出了现在浏览器能够处理的能力，所以用户需要在自己电脑上下载并安装跨文献库检索工具。该工具作为浏览器的插件，安全、可靠，请用户放心下载。
不是每次检索都需要安装跨文献库检索工具，如果有最新的跨文献库检索工具发布，系统会主动提示用户升级到最新版的跨文献库检索工具。请按照屏幕提示操作进行升级。
3.1 哪些浏览器支持安装跨文献库检索工具？
目前科研之友跨库检索插件仅支持:IE11,360浏览器
3.2 如何安装跨文献库检索工具(IE)？
（1）进入检索页面后，系统会主动提示用户安装跨文献库检索工具，请点击【确定】按钮开始安装跨文献库检索工具。
（2）点击安装检索插件按钮。
（3）点击【运行】按钮运行跨文献库检索工具。
（4）如果您的网页浏览器的安全警告提示是否要运行跨文献库检索工具，请点击【运行】按钮继续安装。
（5）点击【下一步】按钮继续跨文献库检索工具安装进程。
（6）正在进行安装程序冲突检查，如有检测到程序冲突请根据提示关闭有关程序然后继续安装进程,若无程序冲突请点击【安装】按钮继续安装。
（7）点击【完成】按钮完成跨文献库检索工具的安装。
3.3 如何在360浏览器上使用跨文献库检索工具？
（1）进入检索页面后，系统会主动提示用户安装跨文献库检索工具，请点击【确定】按钮跳转到安装跨文献库检索工具页面。
（2）点击安装检索插件按钮，跳转到360组件下载商店。
（3）点击安装IrisSearch。
（4）点击添加按钮。
（5）IrisSearch添加完成后,就可以去检索页面检索了。
4. 如何卸载跨文献库检索工具？
卸载跨文献库检索工具，请点击“开始->控制面板->添加或删除程序”，选择“跨文献库检索工具1.0.x.x”(后面的版本号可能因不同版本而不同)，并点击“更改/删除”按钮卸载。
5. 如何升级跨文献库检索工具？
如果有最新的跨文献库检索工具发布，系统会主动提示用户升级到最新版的跨文献库检索工具。请按照屏幕提示操作进行升级。
6. 跨文献库检索工具系统需求和支持的浏览器有哪些？
跨文献库检索工具目前兼容Win32各系列平台，包括Win2000、WinXP、Win2003、Vista及Windows7。跨文献库检索工具目前建议使用的浏览器有IE8(32位)、IE9(32位)、Firefox及Chrome。
7. 已经安装了检索工具，仍出现安装提示怎么办？
如果出现这情况，可能原因如下：
IE禁用了安装的插件。请在“工具->管理加载项->启用或禁用加载项”查看IrisOctopus Class的加载项是否被禁用。如果是， 请启用，然后关闭IE重新打开。
IE安全级别。请在设置IE浏览器的安全级别：在“工具->Internet选项->安全->自定义级别”查看“对标记为可安全执行脚本的ActiveX控件执行脚本”的选项，请选中“启用”选项。同时确保将“下载已签名的控件”设“启用”。（提示：跨文献库检索工具经过严格测试和并经过专业认证机构的签名，不会对您的系统造成影响。）
在打开“提示”执行ActiveX控件的情况下，浏览器可能会在加载控件的时候有如下提示，选择“运行ActiveX控件”。
8. 系统无法安装跨文献库检索工具怎么办？
主要有以下原因：
IE安全级别较高，请在“该区域安全级别”中将安全级别调到“中高”或中高以下级别。
安装成果检索工具时由于用户权限等原因可能会出现以下情况：请尝试以下解决办法：
1）在Windows 7 或Windows 8 操作系统下，请确认是使用管理员权限运行安装程序。
2）确保所有的浏览器都已经被关闭。待浏览器关闭后再重试安装。
3）下载安装程序并保存至本地后重启计算机。重启后不要打开浏览器，直接运行安装程序。
如仍无法安装成果检索工具，请联系我们的“在线咨询”，或者发电子邮件到系统技术支持。
跨文献库检索工具使用
1. 检索速度很慢或者长时间没有响应，如何解决？
由于检索工具会实时连接各个文献库的在线检索系统进行集成检索，需要用户机的网络环境能够稳定访问选定的文献库。因此，检索速度会由本机网络速度以及选定的文献库当时的运行情况决定，如果速度比较慢，建议联系
网络管理员或大学图书馆对网络连接情况、文献库运行情况进行检查，或稍候再重试。
2. 检索时，为何系统提示“您没有权限使用该数据库”？
您没有权限使用该数据库，可能是由于以下原因：
1）您所在的机构没有订购该数据库；
2）您的机构已订购，但您的IP网段无法使用该数据库；
3）所选数据库正在维护中，请稍候再试。
如果您检索结果出现以上提示，代表您当前所在IP网段没有对应文献库的使用权限。
目前科研之友系统提供检索的英文文献库，如：SCI，SSCI，ISTP，EI，都需要购买使用权限方能检索到结果，请确认贵校当前是否有购买。
如贵校有购买，则可能是以上列出提示的后两种，建议您在贵校图书馆登录成果在线进行检索；如贵校没有购买，建议在 购买了使用权限的单位进行检索或邀请好友帮您检索成果并推荐给您；
如果无法通过系统检索，您也可以通过手工录入的方式录入至系统中（我的成果——录入成果或文件导入）。
3. 检索时，为何系统提示“您所选数据库正在维护中”？
当文献库正处维护中时，即出现以下提示信息，请稍候再试。
4. 检索成果时，为何系统出现浏览器脚本错误，提示“指定资源下载失败”？
如果用户机器缺少了系统必需的MSXML组件，系统在检索时提示“指定资源下载失败”错误（参见下图）。请点击Microsoft MSXML 6.0，进入Microsoft下载页面完成安装后，再重新进入系统使用检索工具检索成果。
5. 检索时，为何系统提示“操作超时，请点击此处重试”？
当文献库返回信息超时时，即出现以下提示信息。请按照指示点击“此处”重试。
6. 检索时，为何系统提示“您所选数据库返回结果异常”？
由于检索工具会实时连接各个文献库的在线检索系统进行集成检索，而其中部分文献库（如: SCI、SSCI、ISTP和EI等）是收费文献库，需要用户所在单位购买文献库的使用权。如果单位没有购买，或者用户登录系统的IP不在
这些服务供应商所许可的IP段内，检索结果页面则会显示此提示信息，不能进行检索。若贵单位已够买了相应的文献库，请检查已输入的查询条件是否正确，若查询条件正确，但检索时系统仍提示“您所选数据库返回结果异
常”，请联系本系统的“在线咨询”，或者发电子邮件到本系统技术支持。
7. 检索时，为何系统提示“查询异常，可能是服务器暂时无法连接”？
由于跨文献库检索工具会实时连接各个文献库的在线检索系统进行集成检索，各个文献库可能会个别查询返回查询失败等信息，检索工具会把对方文献库返回的出错信息原样显示，以便用户根据其指引对查询关键字进行改进。您
可以尝试重新输入查询条件，再次检索。
8. 如何检索SCI、SSCI、ISTP、EI，Scopus，万方文献库和中国期刊网之外的其它文献库？
目前支持SCI，SSCI，ISTP，EI，Scopus，万方文献库和中国期刊网，对其他文献库的支持，比如ScienceDirect，IEEE Xplore，维普资讯等正在逐步增加中。
9. 跨文献库检索工具收集的成果，是否会存在版权方面的问题？
科研之友中，无论是成果的导入还是录入，主要为了科研人员方便的管理与使用其科研成果，并不涉及任何商业目的。用户可以自行决定是否将自己的科研成果进行复制、传播。科研之友产品本身和爱瑞思公司不对科研之友
中成果的版权付任何相关及连带责任。
10. 为什么跨文献库检索工具检索不到我的论文或其他成果？
可能原因及建议如下：
确保在合适的文献库中检索你所需要的文献。如果贵单位没有购买相应的文献库，则无法检索到您的成果。
如果您的论文是近期发表的，可能还没被文献库收录。可以通过手工录入的方式来完成成果收集。
如果您确定成果被某个文献库收录，且贵单位也购买了该文献库，请点击【清除】按钮，清空所有查询条件，尝试用标题查找的方式 检索。如果仍然无法获取该成果，请联系本系统的“在线咨询”，或者发电子邮件到本系统
技术支持。
11. 跨文献库检索工具是否能够检索尚未出版，但已被接受的科研成果？
这取决于文献库检索服务提供商。但对于SCI、SSCI、EI、ISTP，Scopus，万方文献库和中国期刊网一般不支持该项检索，您需要手工录入。
12. 为何无法看到系统教程和帮助中的检索进度条？
当IE浏览器设置了“不播放网页中动画”，则无法看到检索进度条。请在您的网页浏览器的【工具】选项卡下选择“Internet选项”，在“Internet选项”中选择“高级”，勾选中“在网页中播放动画”选项。
13. 如果成果导入不成功，如何解决？
如果成果导入不成功，请通过重复导入的方式来完成成果导入；如果重复导入也无法成功，请联系本系统的“在线咨询”，或者发电子邮件到本系统技术支持。
14. 如果导入过程出现IE错误提示，如何解决？
检索或导入过程中，若弹出IE发生错误，需要关闭IE的提示。重新打开IE后即可以解决这个问题。
15. 如果导入过程中出现“数据提交不成功”的情况，如何解决？
如果用户机器中系统所需的MSXML组件已经被破坏或不能正常工作，则会导致检索结果导入过程中出现提示“数据提交不成功”（参见下图）。遇到这种问题，请点击，进入Microsoft下载页面安装完成后
，再重新进入系统使用检索工具检索成果。
1. 如何找到更多资源了解和使用“科研之友”？
您可以在首页的“”中找到更多的资料了解和使用“科研之友”IRIS 问题列表_图文_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
IRIS 问题列表
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩39页未读，
定制HR最喜欢的简历
你可能喜欢(如果没有她)
(玩不过人心丶)
第三方登录：Iris使用详解―基础篇_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Iris使用详解―基础篇
&&Iris使用详解―基础篇
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩9页未读，
定制HR最喜欢的简历
你可能喜欢