数据清理工作是企业数据管理、数据治理中的最基础的工作之一，不仅是一项苦活、累活，也是一个既考验业务又检验技术的活。

对于业务人员不要以为数据清理工作与你无关，那只是“数据管理员”的事。但事实上，最近您可能发现实际上您已经是一个“数据管理员”。随着企业数字化进程的不断推进，每个人都将可能成为企业的“数据工作者”。

那么，欢迎来到令人兴奋的数字业务世界！

在之前的一篇文章：《数据治理：数据清洗的5个步骤和最佳实践 》发布后，有很多做数据管理工作的读者私下问我：石老师，数据清理真的好烦，有没有一些技巧和工具，能够帮助我们做数据清理。

在本文给大家介绍下如何用“Excel”这个 最基础的数据处理工具进行数据清理，并加速数据清理的速度。

使用Excel查重是一个非常简单的事情，选择要查重的列，依次选择“开始-条件格式-突出显示单元格规则-重复值”就可以快速找到数据集中的重复值。

使用Excel查重很简单，但重点是你对“数据唯一性的定义”，有效数据不是通过某一列就能够确定唯一性的，例如：姓名都叫“马冬梅”的两条数据，也有可能只是重名而已，并不是真的数据重复。

数据的唯一性规则，可以是一个属性，也可以是多个属性的组合。如果是需要多个属性组合才能判断唯一性的数据，就不能直接使用Excel的重复项查找功能，而是首先需要将多个数据表的列组合起来，再针对这个组合的列进行查重。

在Excel中使用删除重复项功能来重复数据删除那就更简单了，选中查重的列，只需点两下鼠标，轻松搞定！

但真实的数据清理过程中，数据的结构的复杂性，数据的质量参差不齐，去重往往是没有这么简单的。

要搞清楚判断重复项的规则，在查重规则没有搞清楚之前，我不建议你轻易使用这个功能。

3、找到不同列中的重复数据

如果重复的值出现在不同的列中咋办？例如，找出某网站中的流失用户，我们假设注册时间和最后一次登陆时间相同的话，视为流失用户。这个时候就要用到Excel强大的公式了。

为此，最有用的公式之一是EXACT，语法非常简单：

如果想把TRUE、FALSE转换为中文，就会用到另一个函数：AND

问题是EXACT仅适用于两个单元格引用。要使用EXACT测试一定范围的单元格，并将结果格式化，您需要使用AND运算符：

值得注意： EXACT不等于“=”，EXACT不区分大小写，而“=”是区分大小写的。

4、合并两个表格的数据

在数据清理的过程中，往往需要将两个表格的数据进行合并，我喜欢称其为“Excel数据集成”。

如果要复制和粘贴值，这该是一个多么繁琐和痛苦的手动过程，尤其是在数据量大的情况下。值得庆幸的是，强大的VLOOKUP函数给我们提供了另一种选择。

例如：有两张数据表，一张表是设备分类信息表，另一张表是设备基础信息表，我们希望统计一下每个设备分类下有一个设备信息，并将其集成到设备分类表中。

设备基础信息表（示例）

在合并数据之前先计算下，每个分类下的设备个数，这个我们可以用Excel强大的透视图表来完成。选择数据并插入透视图，配置如下：

通过透视图我们统计出来了每个分类下涉及的设备个数，接下来就用到VLOOKUP函数将设备个人整合到设备分类表中了，公式如下：

这样就轻松搞定两个数据表的集成合并了，简单吧！

如果出于某种原因不小心在单元格中放置了多余的空格，这对我们数据查重、数据合并等数据工作会造成一定的干扰。

没关系，我们可以使用TRIM函数将其删除！

使用TRIM可以将两边及中间多余的空格全部清除，十分好用！

有两个函数处理大小写十分好用，一个是PROPER函数，它可以将引文首字母转化为大写。

另一个是LOWER函数，它将所有内容更改为小写：

6、将多个单元格的文本用“＆”运算符组合

如果你想将两个或两个以上的单元格的文本合并为一个单元格，同时又不想丢失原来的单元格的值，＆运算符是一个不错的选择。

如果想给每个单元格加一个字符进行隔开，也很简单，只需要：&一个连接符就可以了！

7、用“文本到列”修剪URL

在数据分析业务中另一个常见的数据清理问题是修剪URL或从URL中提取信息。

例如，您的网站可能会提供同一页面的不同版本，这可能会在为Web分析时引起混乱。

这些都是同一URL的不同版本，为了使它们完全相同（这对于web数据分析而言是必需的），我们需要删除尾随的“参数”部分。这可以通过“文本到列”来完成：

下一步是指定分隔符，例如本例中我们使用“?”作为分隔符

接下来，指定分列后的存放目标区域

有时，我们需要提取一部分URL，来进行数据分析，你就可以尝试将字符串的特定部分与字符串的其余部分分开，然后用分列完成文字提取。

例如，假设我们要从一长串网址中提取产品名称，如下：

通过对URL分析，我们这些URL的共同点。很明显，我们想要的部分（产品名称）紧随每个URL中的“ / crm /”之后。

但是有同学可能会问：分列需要有特殊字符，可是这些URL貌似没有特殊字符呀？

这个问题很好，没有特殊字符没关系，我们可以造一个特殊字符出来，这时我们需要使用“查找/替换”将“ /crm/”替换为“ ?”等你喜欢的特殊字符即可。

接下来的操作就不用我演示了吧！

有时候我们需要对一些敏感的数据进行处理，以方便共享给其他人员进行使用，这个时候我们可以用substitute的替换功能对敏感信息进行脱敏。

该例子中我们用substitute函数对电话号码的尾号进行了脱敏。如果想对中间4位号码进行脱敏，只需要将上面的RIGHT函数换成MID函数即可，如下：

9、用countif查找符合条件的单元格数量

在我们做数据清理的时候，也需要查询某个一个数据区域中符合条件的单元格的数量，以便对数据进行精确处理。如果你想统计某一字符串在某数据区域的个数，或者符合某些运算条件的单元格数量都可以用countif函数来查询。

例如：我们查询交易金额大于10万的供应商数量：=Countif(E2：E18，“>10”)

如果想查询同时满足2个条件的个数的统计咋办？Countif的复数形式就支持多条件的查询了，语法和Countif一样，条件之间用逗号“,”隔开就行了。

Excle是一个强大的处理工具，它能够支持处理多种数据清理场景，今天我们列举的几个数据清理场景只是其中的一个小小的部分。Excle还有很多功能可以用于处理更加复杂的数据清理场景，这都需要我们不断总结和探索。

当然，如果您的工作大部分工作时间需要花在数据清理上，那么我建议您选择更加强大的在线数据清理工具。

有一大类软件，称为自助数据准备工具，可用于加快数据清理和集成的繁琐工作。此类工具基于机器学习、自然语言处理等人工智能技术，提供了数据清理的高级应用，例如：“相识度分析”，通过利用机器学习技术，模糊匹配字段相似但不相同的内容；“文本挖掘”，从半结构化、非结构化数据中提取相关信息等。

今天就先分享这些，CPDA数据分析师「“618”限时直降大优惠」已经火热开启，欢迎大家踊跃关注！

不会吧？“618”只有我们在老老实实送福利吗？