大数据是什么？

来源：蜘蛛抓取(WebSpider) 时间：2022-06-29 02:17 标签： 大数据查询

什么是大数据分析?大数据分析就是指对规模巨大的数据进行数据分析，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，而数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。


大数据分析的有如下五个基本方面：

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

大数据分析的第一步是要清晰界定需要回答的问题。对问题的界定有两个标准，一是清晰、二是符合现实。

论证现有数据是否足够丰富、准确，以致可以为问题提供答案，是大数据分析的第二步，项目是否可行取决于这步的结论。

数据准备环节需要梳理分析所需每个条目的数据，为下一步建立模型做好从充分预备。这种准备可以分为数据的采集准备和清洗整理准备两步。

大数据分析项目需要建立的模型可以分为两类。对于这两类模型，团队都需要在设立模型、论证模型的可靠性方面下功夫。

评估结果阶段是要评估上述步骤得到的结果是否足够严谨可靠，并确保数据分析结果能够有利于决策。评估结果包括定量评估和定性评估两部分。

大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。

总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

传统的数据方法，不管是传统的 OLAP技术还是数据挖掘技术，都难以应付大数据的挑战。首先是执行效率低。传统数据挖掘技术都是基于集中式的底层软件架构开发，难以并行化，因而在处理 TB级以上数据的效率低。其次是数据分析精度难以随着数据量提升而得到改进，特别是难以应对非结构化数据。

在人类全部数字化数据中，仅有非常小的一部分(约占总数据量的1%)数值型数据得到了深入分析和挖掘(如回归、分类、聚类)，大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析(如排序)，占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。

大数据审计之我见——大数据审计是什么

近些年，各级审计机关和广大审计人员积极投身大数据审计工作，将大数据在审计工作中的运用，作为推动审计高质量发展的科技动力，作出卓有成效的成果。然而，一些审计机关和审计人员对大数据审计认识不清、定位不准、推进措施不多等情况仍然存在。笔者作为在审计信息化一线工作10多年的“老兵”，结合基层审计机关信息化发展历程及自身工作体会，谈一谈个人见解。

前文（大数据审计之我见——大数据审计是什么）中，从新生事物、新思维方式、新基建三个维度重新“定义”大数据，希望这“一家之言”能够给大家予以思考和启发。本节，我们将在大数据是什么的基础上，进一步讨论大数据审计是什么。

大数据审计，顾名思义，是大数据与审计的结合产物。此处的“结合”体现在三个方面：一是大数据技术引入审计工作；二是大数据思维进入审计工作；三是推动审计理念不断创新。本文将着重从这三个方面进行论述。

首先，大数据审计是大数据技术引入审计工作的体现。纵观新中国审计发展史，审计的技术手段随着时代变化也在不断更新。从最早的“手工查账”式审计，审计人员通过手工翻阅财务资料、业务台账以及相关纸质资料，全面了解被审计单位（领域）工作开展情况，进而查找问题、锁定重点。不得不承认的一点是，虽然审计信息化发展多年，但“手工查账”仍然是当前及今后一段时期审计一种无法舍弃的手段方法。随着2000年左右以“金审工程”为代表的审计信息化的不断发展,审计技术手段不断创新，先后经历计算机辅助审计、计算机审计等阶段。某种程度上说，计算机辅助审计可以称作为“前计算机审计时代”，也就是将计算机技术引入审计工作的“从无到有”的跨越，如电脑办公、Excel计算数据等；计算机审计时代是将越来越多的计算机技术引入审计工作，其中最成功的便是以SqlServer、Oracle为代表的结构化数据库技术，成为推动审计工作转型升级、提升审计科技水平的“核心技术”。随着新一代信息技术的蓬勃发展，以云计算、大数据为代表的新技术新应用，正日益成为提升国家治理现代化水平的重要手段，正逐渐广泛运用于各被审计单位和领域。因此，审计机关也必须进行“技术更新”以适应客观环境需求。因此，从技术运用这个维度上来说，审计机关完全是“被动式”的，即被审计单位信息化水平决定审计项目信息化运用水平，被审计单位的技术运用左右审计项目的技术运用。从当前时间点来看，以笔者所在的基层审计机关为例，我们正在经历传统计算机审计技术运用（如SQLSERVER、Oracle）到大数据技术（如Hadoop、spark、SPSS）的“过渡期”。过渡的基本原则仍然是：别人用什么我们用什么。

其次，大数据审计是大数据思维引入审计工作的体现。在前文（大数据审计之我见——大数据审计是什么）中，笔者强烈推荐国家发展研究中心对大数据的描述“大数据是信息技术发展普及到一定阶段后产生的，继理论、实验、仿真之后，人类认识世界的第四种方式”。从这一描述，我们就能更好理解为什么说是大数据思维引入审计工作。过去，审计机关主要以查阅资料、手工翻账为主要方式去开展审计（认识世界）。而大数据审计，代表的是通过数据分析同样可以开展审计（认识世界），而且日益成为重要的方法。在这里，笔者旗帜鲜明的反对“审计获取数据没超过1PB就不是大数据审计”这样机械、教条的观点。既然能够通过数据去“认识世界”，开展审计项目过程中，审计人员的“视野”和“层次”得到极大提升。以前要历经发通知书（函）、对接进点、获取资料、谈话交流等大量环节与时间才能够“认识”相关单位业务开展情况，现在只需要获取数据、分析数据就可以达到同样（相似）的目的，时间和精力得到极大节省和压缩。因此，对提高审计视野和层次得到有效提升——以前不是不可以，但时间精力成本太高。单说太空洞，举个例子吧。在过去几年如火如荼的扶贫审计中，审计人员广泛采集各个行业和部门的数据引入审计工作，仅在“精准识别”这一个审计事项中，就采集了财政供养人员、车辆登记、房产信息、工商注册等多项数据，审计“视野”不断拓展，查处问题的能力得到明显提升。再如，2020年开始审计署部署推进部门预算执行审计全覆盖工作，有效推动部门预算执行审计从对几个部门、个别单位向对一级预算单位全面审计的转变，这是审计“视野”和“层次”提升的最集中体现。其实细究实现路径，无非是收集齐政府本级的财政预算编报、批复下达、指标分解、资金支付和一级预算单位的财务核算等有关数据进行分析。这样的思路做法早在2012年左右，也就是计算机审计时代就可以实现，但为什么2018年前后才有审计机关探索实施、2020年才开始在全国推广呢？制约的从来不是技术问题、数据问题，而是思维问题——在大数据审计时代之前，数据这一审计要素仅作为辅助要素之一，从来没有提高到“认识世界的第四种方式”这样的重要程度。无论是否承认，在此之前绝大多数审计人员，尤其是审计机关领导干部，从来没有真正从数据角度去思考和谋划审计工作和审计项目。这是大数据给审计机关和审计人员带来的思维改变。

最后，大数据审计是推动审计理念不断创新的体现。纵观新中国审计发展史，就是一部审计理念不断创新的历史。从审计定位来看，先后经历看门狗、免疫系统、治理体系的重要组成部分；从审计范围来看，从最初仅有财政财务审计，不断拓展工程审计、企业审计、民生社保审计、领导干部经济责任审计、自然资源资产审计、重大政策措施落实情况跟踪审计等，审计范围不断拓展；从审计理念上看，从最初的经济活动真实、合法性审计，到关注资金投入、项目建设的绩效，再到揭示体制机制和苗头性倾向性问题。每一次理念创新的背后，都有着多种推动力，如经济社会的不断发展、政府机构设置的不断优化、社会矛盾的不断变化等。从这个角度来看，大数据也是审计理念创新的推动力之一。比如，审计全覆盖这一理念，就是在大数据技术和理念已逐步引入审计工作之后才正式提出。虽然由于大数据思维理念和审计的思维理念存在着不小的差异，但相信随着大数据审计的不断推进，大数据思维理念和审计理念将不断深入融合，不断碰撞出新的火花。如，大数据在趋势分析、态势感知等更大范围、更高维度的综合研判作用，如何和审计工作结合；再如，大数据审计如何推动审计项目计划管理模式创新，开展无项目大数据审计等。一言以蔽之：大数据审计，未来可期！（陈兆国）

微信扫描二维码，随时随地了解智能电网最新
资讯和精彩活动，实时信息触手可得！

电力大数据与经济、社会存在广泛紧密的联系，电力大数据的价值不仅局限在电力行业内部，更体现在国民经济运行、社会进步及各行业创新发展等多个方面。随着智能电网和信息化建设，电力行业积累了海量数据，这些数据在数据...

  • 6月23日，东南能源大数据中心创新“中心村”“空心村”模型，与福建省乡村振兴研究会共同探讨，构建多维度、多视角的“电力大数据助力乡村振兴”新模式，...

我要回帖

更多关于 大数据查询 的文章

 

随机推荐