论文部分内容阅读
从故障分析和排除到用户行为分析和预测,在大数据应用逐渐落地的过程中,其潜在价值也被一步步挖掘。但是,从传统的IT运维层面到业务层面,如何让大数据发挥价值,如何让业务负责人真正掌握大数据,一直困扰着诸多行业用户。在近日举办的2013年SplunkLive!研讨会上,来自银联支付、上海农商银行、百联支付、民生保险、银河证券等众多Splunk中国合作伙伴的IT总监、技术专家一起分享了Splunk在大数据领域的成功应用经验。
“目前,有太多的企业机构仍在努力消除IT和业务之间的数据鸿沟,Splunk正是希望通过此次研讨会,让更多的中国企业了解Splunk在大数据时代能够为其带来的价值。” Splunk亚太及日本区副总裁刘熙文表示。
让每个人都可以使用
作为一种新兴概念,大数据在近两年才得到人们的普遍关注。而早在2004年,Splunk就开始针对非结构化数据进行处理平台的研发,在2006年发布首款机器数据处理软件之后7年左右的发展中,Splunk积累了全球超过6400个用户。值得一提的是,仅仅在过去一个季度,Splunk就增加了450个用户。
到底是什么样的魅力让Splunk在这么短的时间内赢得了如此多用户的青睐?刘熙文将其归结为“for everyone”——这也是最新的机器数据平台Splunk Enterprise 6的亮点之一。据了解,使用Splunk Enterprise 6,非技术人员无需学习查询语言,即可通过简单的拖拽操作进行数据搜索和操作并将其可视化处理,包括预制可视化并快速制作复杂的查询和报告。“一个企业与业务关联最紧密的是市场和销售部门,而业务发展过程中遇到的最大瓶颈,就是IT报表的制作周期太长,与日俱增的数据量更是加剧了这个问题的严重性。”刘熙文告诉记者,“如果能有一个像Excel那样的结构化数据处理工具,对非结构化数据通过简单操作就能通过图表直观了解分析结果,对于业务人员来说再好不过。Splunk Enterprise 6解决了这个用户痛点。”
1000倍速度的提升
虽然拥有巨大的潜在价值,但大数据也因其量大、类型丰富等特点而使处理速度受到了制约。 Splunk Enterprise 6的分析速度是上一代产品的1000倍,真正实现了实时分析。“1000倍速度的提升并不是一个虚数,而是经过超过250个客户及合作伙伴的测试之后得到的结果。”Splunk高级售前工程师崔玥表示,“在速度的提升中,最新的高性能分析商店(High Performance Value Store)技术功不可没。”
谈及高性能分析商店技术的工作原理,崔玥告诉记者:“过去,用户发出数据处理指令后,系统要将所有数据扫描一遍。现在,在用户处理数据之前,Splunk Enterprise 6的后台就已经做了一些预处理,频率是一个小时一次,每24小时将处理结果做一次汇总。用户只需按照需求,勾选系统的功能分类,就可以获取处理结果。”刘熙文补充道,此次速度的提升对于那些数据存储量在TB级的用户来说,感受尤为明显。
近两年,Splunk在中国市场上的宣传力度明显加大,开设了北京办公处,并在上海成立了一个研发中心。据刘熙文介绍,这是Splunk在旧金山以外的唯一的一个开发中心。
“目前,有太多的企业机构仍在努力消除IT和业务之间的数据鸿沟,Splunk正是希望通过此次研讨会,让更多的中国企业了解Splunk在大数据时代能够为其带来的价值。” Splunk亚太及日本区副总裁刘熙文表示。
让每个人都可以使用
作为一种新兴概念,大数据在近两年才得到人们的普遍关注。而早在2004年,Splunk就开始针对非结构化数据进行处理平台的研发,在2006年发布首款机器数据处理软件之后7年左右的发展中,Splunk积累了全球超过6400个用户。值得一提的是,仅仅在过去一个季度,Splunk就增加了450个用户。
到底是什么样的魅力让Splunk在这么短的时间内赢得了如此多用户的青睐?刘熙文将其归结为“for everyone”——这也是最新的机器数据平台Splunk Enterprise 6的亮点之一。据了解,使用Splunk Enterprise 6,非技术人员无需学习查询语言,即可通过简单的拖拽操作进行数据搜索和操作并将其可视化处理,包括预制可视化并快速制作复杂的查询和报告。“一个企业与业务关联最紧密的是市场和销售部门,而业务发展过程中遇到的最大瓶颈,就是IT报表的制作周期太长,与日俱增的数据量更是加剧了这个问题的严重性。”刘熙文告诉记者,“如果能有一个像Excel那样的结构化数据处理工具,对非结构化数据通过简单操作就能通过图表直观了解分析结果,对于业务人员来说再好不过。Splunk Enterprise 6解决了这个用户痛点。”
1000倍速度的提升
虽然拥有巨大的潜在价值,但大数据也因其量大、类型丰富等特点而使处理速度受到了制约。 Splunk Enterprise 6的分析速度是上一代产品的1000倍,真正实现了实时分析。“1000倍速度的提升并不是一个虚数,而是经过超过250个客户及合作伙伴的测试之后得到的结果。”Splunk高级售前工程师崔玥表示,“在速度的提升中,最新的高性能分析商店(High Performance Value Store)技术功不可没。”
谈及高性能分析商店技术的工作原理,崔玥告诉记者:“过去,用户发出数据处理指令后,系统要将所有数据扫描一遍。现在,在用户处理数据之前,Splunk Enterprise 6的后台就已经做了一些预处理,频率是一个小时一次,每24小时将处理结果做一次汇总。用户只需按照需求,勾选系统的功能分类,就可以获取处理结果。”刘熙文补充道,此次速度的提升对于那些数据存储量在TB级的用户来说,感受尤为明显。
近两年,Splunk在中国市场上的宣传力度明显加大,开设了北京办公处,并在上海成立了一个研发中心。据刘熙文介绍,这是Splunk在旧金山以外的唯一的一个开发中心。