过滤“不合规”数据,清洗无意义的数据
根据后续的统计需求,过滤分离出各种不同主题(不同栏目path)的基础数据。
NullWritable v = 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。
九月的第二个周末,有数十万人在欧洲各地走上街头游行,抗议各国政客因在环保方面的不作为而引发的全球性环境危机,为将在旧金山召开的全球气候行动峰会拉开了序幕。
为什么会有这样规模的抗议,是什么引发了大多数人如此强烈的危机意识?日前腾讯《大家》所刊发的一篇英国学者罗杰·克劳利的文章是很好的一个总结。文中关于数据中心的讲述,可以从另一个角度来稍作分析。数据中心的能耗和温控问题非常严峻,业界也早有共识。数字技术、科技巨头是否通过数据绑架了社会,进而威胁到人类文明的根基,不是我这篇文章要讨论的目的。数字化生存之前的日子,是否真如俗话说的“good
old days”那般美好?每个人有不同的看法,但有一点可以肯定,我们回不去了。那么立足于现实,气候问题已经是数据问题!
话题既是从数据中心说起,那就先看看数据中心的近况,以谷歌为例。
上个月,2018年8月,“数据中心知识”网站刊登了一篇文章《谷歌正在切换至自驾驭数据中心管理系统》,报道谷歌数据中心的最新进展,刷新了我们2015年初对谷歌“基于AI的建议引擎”的数据中心温控系统的认知:它从提出建议,然后人工调节,升级至自动调节。
举个例,大多数的数据中心操作人员并不认为台风预警期是进行温控微调以获得零星节能效果的好时机,这是很自然的反应,这个时期的优先级是什么?自然是加固系统,以求不被台风搞断电。
但AI算法不一样,它就是被设计来寻找每一个可能省掉每一度电的机会,然而它并不将外界气候作为参数。在来自美国中西部一个数据中心的最新情况汇编中,AI对系统的调控起初让管理人员觉得匪夷所思,乱来。但经过仔细考察,AI所进行的每一个细微调控,在当时特定的参数环境下,都令人叹服。导致严重的风暴例如台风的气候条件,往往会形成气压和温度的戏剧性变化,这些在复杂的数据中心制冷系统中都是需要对参数进行调节的重要因素,在这种时候软件可以通过微校准来获得极细微的收效。然而,这样的微调是一个持续、实时的过程,人工不可能做到,并且人力的耗费和每一次调节的收效之间的比例也并不高效,与此同时,持续和实时的累积效应却又是巨大的。令业界惊叹的40%能耗节省报道,仰仗的正是DeepMind
AI团队所开发的智能温控系统,它考察包括室外温度、气压、湿球温度、干球温度、露点、数据中心负载、热空气出口的服务器背部气压等21个变量,以达到实时优化数据中心PUE的目的。
经过这么一段时期人工智能知识的普及,我们普通人也大致理解了,所谓“智能”,它是通过一个叫“学习”的过程来得以达成,而“学习”这一打磨人工智能的智商的过程所用到的材料,正是数据。也就是说,服务器的每一次运转,提供给智能体的数据越充分,它变得更高效而聪明的机会就更大。
从这个简单的例子,我们依稀感到,那些庞大的巨兽般散发着热量的服务器厂房,并非导致环境恶化的敌人。时至今日,计算机已经是我们能够利用的最高效武器,来抵御环境的恶化。
2016年发生了772起气候灾害,是1980年的三倍;20%的现有物种在面临灭绝的边缘,到2100年这个数字可能达到50%。即便全球所有的国家都遵循巴黎气候协定,到2100年,全球平均温度将上升3摄氏度。我们显然不能把地球的未来交给上面通过一个例子得来的“依稀”感觉,我们得认真看一看AI在这件事上究竟能怎么帮我们。
2018年1月世界经济论坛发表的有关未来的环境和自然资源报告《整合人工智能来维护地球》将AI称为影响环境的游戏改变者,列举了与气候和环境相关的例证,比如,印度的农民在AI的协助下,将豆子的产量提高了30%,AI所做的是,提供播种前准备土地、施肥以及选择播种日期的信息。而挪威电网则利用AI生成了更灵活的自动配置,集成了更多可再生能源……所以,如今研究气候,归根结底已经变成研究大数据。随着观测卫星越来越多,研究气候变暖的科学家们缺乏的不是数据,而是利用这些数据的工具。
他们很显然转向AI求助,机器学习的本性与环境科学十分匹配:运行一次高精准率的气候模型所产生的数据是PB级别的,PB有多大?1PB大约是1000个TB,而英国气象局所保存的气象数据大约有45个PB,并且以每天/article/262471.html
未按照规范转载者,虎嗅保留追究相应责任的权利
未来面前,你我还都是孩子,还不去下载 猛嗅创新!