如何进行数据分析对YG游戏电子大数据进行分析?

腾讯战略投资YG娱乐签约 QQ音乐全球布局升级
作者:互联网
分类 : 探索发现
 & 5月31日,中国领先的增值服务提供商、韩国顶级娱乐公司YG以及中国顶级互联网票务公司微影时代科技在首尔君悦酒店签署投资合约。腾讯与微影时代科技将向YG娱乐进行战略投资8500万美元,分别获得其4.5 %和8.2%的控股权,继 LVMH投资机构L Capital Asia 后,成为YG娱乐第三、第四大股东。
  YG娱乐表示:“在过去十年,YG一直以每年超30%的速度增长,为了保持这个势头,YG必须扩展中国市场。过去几年YG一直在中国寻求合适的合作伙伴,最终决定联手腾讯和微影时代科技。”
  腾讯在中国拥有最受欢迎的社交和媒体平台,包括即时软件和微信/WeChat、音乐平台QQ音乐和视频平台腾讯视频。据了解,除了QQ音乐将与YG娱乐音乐以音乐及衍生版权全角度合作外,此次合作还涵盖了腾讯视频与YG娱乐的独家视频版权合作,包括YG官网独家落户腾讯视频、YG演唱会独家直播、携手打造自制网络综艺节目等,将为音乐与互联网两大产业融合提供更多可能性。
  早在2014年底,腾讯旗下QQ音乐就与YG达成了中国地区网络音乐独家版权及版权总代理战略合作,并共同打造了以音乐和明星娱乐资源为核心、搭载全腾讯产品链实现联动运营的“中韩娱乐航母计划”。独家合作的两年时间里,QQ音乐助力YG娱乐实现了在华5倍的市场份额增长,目前,YG娱乐占韩语大盘市场份额超5成、付费用户在总支付用户数中;YG旗下艺人组合BIGBANG通过QQ音乐数字专辑总销量近500万张,营收近2500万;同时,在如巅峰盛典等QQ音乐优势平台上,用户也不断看到鸟叔PSY、BIGBANG、WINNER、iKON等韩流巨星的全球级首秀、首演福利。
  QQ音乐相关负责人接受采访时表示:QQ音乐与YG娱乐的合作关系将更紧密,以版权运作与运营体系为保障,QQ音乐将继续通过庞大的使用者群体和多个网路平台,为YG旗下艺人在中国市场的发展创造更好的条件。
[ 责任编辑:shan ]
比特网 12:21:22
带着朋友和机器人上月亮散步
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。239;()计算机研究与发展2014,512;所示,由于Clover的热备机制无需重新加载元数;TTimewithVariedCheckoint;CloverwithHDFSComarinpg;表2不同检查点文件长度的恢复时间;Sizeofthe;CheckointFileMB?p;613264;HDFS;()SecondarNodey;3.3446.472
239()计算机研究与发展 2014,512所示,由于Clover的热备机制无需重新加载元数据信息,其恢复时间与文件系统的大小无关,因而能在较短的时间内(秒级)迅速地进行主备切换,保持文件系统的服务不中断.TTimewithVariedCheckointFileSizeable2 Recover      py CloverwithHDFSComarin  pg 表2 不同检查点文件长度的恢复时间Sizeofthe  CheckointFileMB ?p61 32 64 HDFS()SecondarNodey 3.344 6.472 12.975 25.832 52.187 si.8 TheerformanceofClovercomarinwithHDFSF     gppg forreadandwrite.   图8 Clover和HDFS的读写性能对比Clover)(Shadow Node0.7280.8710.6490.7320.8065.3 高可用测试高可用测试比较当元数据服务器失效时,进行故障恢复所需的时间.HDFS通过备用节点(econdarsy)周期性地对元数据服务器做检查点,合并镜像node和日志文件,当元数据服务器失效时人工加载检查点文件,恢复元数据信息.Clover利用影子节点热备,通过共享存储池同步名字空间信息,由故障检查机制自动进行状态切换.表2给出了对单个元数据服务器进行故障恢复时,不同检查点文件大小所需要的恢复时间.如表2128 256 5.4 应用测试测试选择MaReduce的一种标准实现Hadoopp平台,通过在Clover和HDFS上运行不同的比较它们执行的时间.aReduce标准程序,Mp测试程序中包括元数据操作和数据读写.为直观表示元数据操作的比例,表3统计了MaReducep任务运行中不同元数据操作的百分比:Table3 TheStatisticalPercentaeofMetadataOerationsinMaReduceTasks         gpp表3 MaReduce程序中不同元数据操作百分比pMaReduceTask  pWordcount Grep Sort sTeraenort- gPi Randomwriter Pentomino create 0.99 1.70 2.17 2.21 9.08 2.15 2.27 delete 0.99 2.11 2.17 1.77 0.01 2.16 0.01 mkdir 0.99 1.69 2.17 1.77 0.01 2.18 4.55 rename 0.49 0.85 1.09 0.88 0.01 1.07 0.01 etblocklocation g57.14 50.00 0.00 14.60 18.17 0.00 27.27 etfileinfo g32.51 32.20 7.61 15.93 18.20 7.55 31.82 %etlistingg0.991.701.091.330.011.084.55根据公FS的执行时间为基准,  测试结果以HD(式(lover执行时间-HDFS执行时间)FS执CHD?行时间)来计算.图9示出了在执行MaReduce任p务时C图9中数据表lover相对HDFS的性能比较.明,在执行MaReduce程序的时间上,lover与Cp两者性能相近的主要原因是涉及到分HDFS接近.布式事务的元数据操作所占比例不高.表3显示,,eletemkdir和rename3种操作所占的比例最高d 大部分操作为获分别为2.17%,4.55%和1.09%,,当元数据操作只取文件属性或块信息.对于Clover在一个服务器上完成时,无需节点间的通信和同步.Fi.9 ThecomarisonoferformanceinMaReduce.     gppp图9 MaReduce中Clover与HDFS性能对比p周 江等:面向大数据分析的分布式文件系统关键技术393另一个原因是Clover保持了与HDFS同样的高吞,因此吐率,在读写文件时两者性能接近(见5.2节)在读写数据或保存临时文件过程中所产生的额外开销非常小,而这类操作所占的比值较高.综合表3和图9的数据,表明Clover不仅能够完全支持而且能够维持与HDFS接近的性MaReduce应用,p能,其总体性能下降不超过7%.参考文献[]S1andberR,GoldberD,KleimanS,etal.Desinand   ggg  imlementationoftheSunnetworkfilesstem[C]rocofP     ? ?py,Ctheummer985USENIX.BerkeleA:USENIX S 1y,Association1985:119130-[]S2hvachkoK,KuanH,RadiaS,etal.TheHadoo    gp distributedfilesstem[C]?rocoftheSmonMassP      ?yyp ,N:StoraeSstemsandTechnoloies.PiscatawaJIEEE,   gygy2010:101-[]Wh:T:3iteT.HadooheDefinitiveGuide[M].Cambride   pg,OReillMedia2009y []G4hemawatS,GobioffH,LeunS.TheGoolefilesstem     ggy [C]rocofACMSmonOeratinSstemsPrinciles.P?     ?yppgyp  4New York:ACM,2003:293-[]D,G:S5eanhemawataReduceimlifiedata J S.M dpprocofthe6thSmonrocessinonlareclusters[C]P      ??yppgg  ,OeratinSstemsDesinandImlementation.Berkele   pgygpy ,CA:USENIXAssociation2004:137501 -[]S:A6chmuckF,HaskinR.GPFSshareddiskfilesstemfor       ylarecomutinclusters[C]rocofthe1stUSENIXConfP ?     ?gpg ,ConFileandStoraeTechnoloies.BerkeleA:USENIX    ggy,Association2002:231244-[]W,7eilSA,BrandtSA,MillerEL,etal.Ceh:Ascalable        phihrformancedistributedfilesstem[C]rocofthe7thPe   ?   ?-gypSstemsDesinandImlementation.SmonOeratin    ygpyppg  ,,CA:USENIXAssociation2006:307Berkele320 -y[]Dserviceinthe8ouceurJR,HowellJ.Distributeddirector      y Farsitefilesstem[C]onOeratinrocofthe7thSmP  ?     ?ypgyp ,CA:Sstemsesinndmlementation.Berkele D a Iygpy,USENIXAssociation2006:321343 -,Z[]FYoulehuLiuzhan.Analsisandimrovementof9en    gypg ]CEPHnamicetadataanaement[J.Electronic d m myg,()):2010,479TechnolonChinese13(i -gy(冯幼乐,朱六璋.CEPH动态元数据管理方法分析与改进)[]():3J.电子技术,010,47912-[]T:A 10husooA,SarmaJS,JainN,etal.Hivewarehousin     gsolutionoveramareduceframework[C]rocofthe35thP   -    ??p,,1LareDataBases.BerlinSriner2009:1626629Ver-  ygpg []O11usterhoutJK,CherensonA R,DoulisF,etal.The     g]Sritenetworkoeratinsstem[J.IEEEComuterGrou    ppgypp ,():3Maazine1988,212362-g[]M,a12enonJPeaseD A,ReesR,etal.IBMStoraeTank-      g]eteroeneousscalableSANfilesstem[J.IBMSstemsh     gyy,():2Journal2003,42250672-[]N13aleD,SereniD,MatthewsA.ThePanasasActiveScale     gyeliverinscalablehihbandwidthstoraedstoraecluster   - gggg [,:C]rocoftheConfonSuercomutin.PiscatawaNJP?     ?ppgy6IEEE,2004:532-[]B14raamPJ.TheLustrestoraearchitecture[EBOL].     ?g]:[0380.httlustre.ordocumentation.htmlwww.2004--???pg6 结  论本文研究了面向大数据分析的分布式文件系统关键技术,提出了高可扩展和高可用存储系统Clover.与传统的分布式文件系统相比,该系统具有如下特点:采用基于目录划分和一致性Hash映射的名1)字空间管理方法,提高了系统的可扩展性,通过全局减少了r的目录Hash表,ename等操作带来的元数)据迁移开销;提出基于共享存储池的改进两阶段2提交协议,通过分布式日志和全局日志相结合,解决了分布式事务在出错后的状态不确定问题,保证了分布式元数据操作的一致性;提出基于共享存储3)池的元数据高可用机制,在不增加额外设备的情况下,通过节点热备和全局一致的检查点,解决了元数据服务器单点故障和多点失效带来的可靠性问题;)满足大数据存储的文件访问方式,支持MaReduce4p框架下的大数据分析及其应用.结合以上几个关键技术实现的分布式文件系统,既表现出高可扩展性,又提高了系统的可靠loverC性.测试结果表明,增加元数据服务器数量,能够显著提升C与HDlover的元数据处理能力.FS相比较,分布式事务及对共享lover中GDT表的更新,C存储池的访问会导致额外的开销,但其造成的性能下降有限,在多客户端并发的情况下,lover元数C据处理的性能呈线性增长,并逐渐优于前者.在文件读写操作中,lover的读写带宽与HDFS几乎无差C别,提供了高吞吐率的I并且能通过节点热O性能,?备迅速地恢复元数据服务器信息.应用测试中,而lover不仅能够完全支持MaReduce标准程序,Cp且能够维持与HDFS接近的整体性能.提高了lover在保证元数据操作性能的同时,C文件系统的可扩展性和可用性.在未来的工作中,动态元数据迁移及文lover将在优化元数据服务、C件系统可靠性的测试等方面进行大量的工作,以适应更多的应用需求.394[]R1as5odehO,TeermanA.zFScalabledistributedfilesstem -     pyusinobectdisks[C]rocofthe20thIEEEGoddardConfP ?      ?gj ,onMassStoraeSstemsandTechnoloies.Piscatawa     gygy:218NJIEEE,2003:207-[]P16atilS,GibsonG.ScaleandconcurrencofGIGA+:File     y rocofthe9thPsstemdirectorieswithmillionsoffiles[C]   ?     ?y,USENIXConfonFileandStoraeTechnoloies.Berkele      ggy,3CA:USENIXAssociation2011:150- []F,P17ainR,NievereltJienerN,etal.Extendible    ggppg]afastaccessmethodfordnamicfiles[J.ACMhashin -     yg,():3TransonDatabaseSstems1979,4315443-   y[]C18orbettPF,FeitelsonDG.TheVestaarallelfilesstem        py:[],252J.ACM TransonComuterSstems1996,14(3)-   py264[]M,htu19illerEL,KatzR H.RAMA:Aneasoseih---    yg],rformancearallelfilesstem[J.ParallelComutine    pypgp():1997,234419464-[]X,M,20ionJin,FanZhihuaaJieetal.Metadataconsistenc    gy ]inCFS2[J.Journalfomuteresearchnd D o C R ap,()):Develoment2005,4261019027(inChinese1- p(]熊劲,范志华,马捷,等.DCFS2的元数据一致性策略[J.)():计算机研究与发展,0190272005,42611-[]G:21raJ.NotesonDataBaseOeratinSstems[M].Berlin    ypgy  ,Sriner1978:393481-pg[]S22keenD,StonebrakerM.Aformalmodelofcrashrecover       y]inaistributedstem[J.IEEEransnoftware  d s T o Sy,():1983,93Enineerin219282-gg[]R)23azY.Thednamictwoasecommitment(d2crotocolh    -yppp[C]rocofthe5thIntConfonInformationSstemsandP?         ?y:,1DataManaement.BerlinSriner1995:16276- gpg[]W24eilSA,BrandtSA,MillerEL,etal.CRUSH:       ,Controlledscalableanddecentralizedlacementofrelicated     ppdata[C]?rocoftheIEEEConfonSuercomutin.P      ?ppg,N:JIEEE,2006:122Piscatawa331-y,[]B25orthakurD,SarmaJS,GraJetal.AacheHadoooes     yppg  realtimeatFacebook[C]rocofthe2011ACM SecialP  ?   ?pInterestGrouonManaementOfData.New York:ACM,    pg 2011:10711080-[]K26arerD,LehmanE,LeihtonT,etal.Consistenthashin     ggg:andrandomtreesDistributedcachinrotocolsforrelievin     gpg hotsotsontheworldwideweb[C]rocofthe29thACMP      ?    ?p:ASmonTheorofComutin.New YorkCM,1997:  ypypg  654636-[]C:27handamortistributednashots L.D sypp K M,L]Determininlobalstatesofdistributedsstems[J.ACM    ggy ,():TransonComuterSstems1985,313567   -py[]K:A,28atcherJ.Postmarkewilestemenchmark  n f s by,,TR3022[R].SunnvaleCA:NetworkAlianceInc1997  ypp()计算机研究与发展 2014,512,houJianbornin1980.PhDcandidateZ    gintheUniversitofChineseAcademof    yy  Sciences.ReceivedhisMScdereefrom    gHuazhonniversitfciencend S agy U oTechnoloin2008.Hismainresearch   gy ,dinterestsincludemassdatastoraeistributedfilesstem      gyandhihavailablesstem.   gy,WWeiinbornin1975.Receivedhisan   pgg ,MBScScandPhDdereesfrom Harbin    gInstituteofTechnoloin1997,2001and   gy 2006resectivel.Associaterofessorin  pyp,theInstituteofInformationEnineerin    ggChineseAcademofSciences.Hisresearchinterestsinclude     y ,mdatabaseassdatamanaementandarallelrocessin     gppg()wwancic.ac.cn.@npg,bMornin1965.ProfessorandenDan   g PhDsuervisor.Hisesearchnterests  r ipincludeiherformanceomuter h p cgp,oarchitectureerationstem,hih spyg,erformanceommunicationrotocol c ppdistributedfilesstemandstoraesstem(mendan@iie.     ygyg)ac.cn.,baCanornn984.ReceivedisM  i 1 hbachelordereefrom NankaiUniversitin   gy 2006,PhDdereefromtheInstituteof     g,ChineseAcademComutinTechnolo ygypg ofSciencesin2012.Hismaorresearch     jinterestsincludedistributedilestemndeendable   f s a dyp)macaniie.ac.cn.comutin@pg(,GuXiaoanbornin1987.PhDcandidate    yofofChineseAcademintheUniversit    yy  Sciences.Herainesearchnterests m r i,,includeclouddatamanaementbidata   gg )etc(uxiaoancic.ac.cn.@ngy,ianJiebornin1979.AssistantmanaerJ   gg ,T,ofdatalatformdeartmentencent   ppInc.Hisesearchnterestsnclude r i idistributedsstem,massdatamanaement   ygandarallelcomutinzeus@tencent.  ppg(com).三亿文库包含各类专业文献、幼儿教育、小学教育、文学作品欣赏、行业资料、各类资格考试、中学教育、外语学习资料、面向大数据分析的分布式文件系统关键技术13等内容。 
 主流的大数据相关技术进行分析, 介绍大数据研究中数据存储和数据处理 的关键技术...下面将从 支持大数据系统所需要的分布式文件系统、 分布式数据处理技术、 分布式...  大数据关键技术大数据技术,就是从各种类型的数据中...开发可 靠的 分布式文件系统( DFS) 能效优化的存储...网络行为分析 、情感语义分析等面向领域的 大数据...  大数据技术之分布式文件系统以及 Map-Reduce 工具由于晶体管电路已经逐渐接近其物理上的性能极限,摩尔定律在2005年左右开 始失效,人类再也不能期待单个CPU的速度每隔...  最后,数据分析技术从数据库中的大数据 中提取出有益的知识,提供面向对象的服务...1.2 分布式文件系统对数据存储,文件系统需要考虑 3 个问题:高性能共享性、文件...  大数据技术分为整体技术和关键技术两个方面。 (1)...开发可靠的分布式文件系统(DFS) 、能效优化的存储、...网络行为分析、情感语义分析等面向领 域的大数据挖掘...  视频监控大数据的关键技术和应用_信息与通信_工程...Hadoop 由 HDFS 分布式文件系统和 MapReduce 计算模型...包括面 向上层业务的应用接入服务和面向大数据平台的...  暂无评价|0人阅读|0次下载|举报文档大数据技术原理...? HBase HBase 是一个分布式的、面向列的开源数据...的数据收集系统,用于监控和分析大型分布式系统的数据...  数据处理特点,我们着重调研了基于 MPP 的分布式 数据库、分布式文件系统两种技术...(三) HP Vertica Vertica 是专门面向海量数据实时分析的全新架构, 其整体架构如...

我要回帖

更多关于 excel对数据进行分组 的文章

 

随机推荐