论文部分内容阅读
今年3月IDC发布的“数字宇宙”报告显示，目前的数字宇宙规模已经达到了2.8ZB，预计在2020年达到40ZB。40ZB的数量相当于地球上所有海滩沙粒数量的57倍。
沙中淘金，并非易事。4月23日～24日，主题为“数据价值，极致演绎”的“2013Teradata大数据峰会”云集了金融、电信、航空、零售、制造等1000多名行业用户，与Teradata一起讨论如何在大数据时代对数据进行高效管理和分析，挖掘数据金矿。
被忽略的V
当前，业界普遍认为大数据具有3V属性，即Volume（数据容量大）、Velocity（增长速度快）和Variety（数据类型繁多）。然而，Teradata天睿公司大中华区首席执行官辛儿伦表示：“我们往往忽略了大数据的另外一个V，即Value（价值）。但这才是最重要的V。”
正如辛儿伦所说，如果不能在无穷无尽的数据沙粒中淘出真金，收集、处理再多的沙粒也毫无意义。Teradata天睿公司国际集团总裁Hermann Wimmer介绍，Teradata天睿公司通过大数据分析、数据仓库、整合营销等解决方案为各个行业的用户提供价值。
可以想见，金融、电信、零售等行业对大数据分析与管理存在着旺盛的需求，他们更为迫切地希望大数据为他们的运营、营销与服务带来价值。“2012年上半年中国工商银行手机银行新增客户动户率提升至18%，交易额同比增长300%，已经有75%的业务通过柜台以外的方式办理。”中国工商银行信息科技部副总经理张颖在峰会的主题演讲中表示，业务的快速发展带来了大量的客户数据，只有对这些数据进行充分的挖掘和分析才能持续提升服务水平，形成良性循环。
张颖介绍，中国工商银行通过客户特征分析提炼客户消费特征，从而可以定制针对个人的营销方案；基于数据仓库的数据挖掘，2012年12家分行展开了15项精准营销活动，综合成功率超过20%；当个人客户申请贷款时，信贷系统将根据数据仓库中的信息进行客户评级，并根据评级完成信贷流程。
统一数据架构
提到大数据就不能不提Hadoop。作为大数据分析提供商，Teradata天睿公司如何看待Hadoop呢？
Teradata天睿公司首席技术官宝立明认为，Hadoop具有良好的扩展性和高吞吐量负载率，存储成本低并且没有软件许可成本，对工程师而言高效且灵活，开源等诸多优势，但同样存在着在复杂查询和批量作业性能欠佳，开发部署成本高，难以被全企业广泛采纳，不成熟、发布周期长等挑战。
峰会上，Teradata天睿公司重点演示了新一代数据分析解决方案——Teradata统一数据架构（Teradata Unified Data Architecture，简称UDA）。该架构在集成平台上整合了Teradata整合数据仓库、Aster大数据探索平台以及基于Hadoop的数据存储预处理，使用SQL-MapReduce专利技术以及SQL-H等功能强大的连接器，无需分析人员掌握复杂耗时的编程语言。
“通过UDA，用户可以实现从原生矿到金矿粉再到提炼金子的完整过程。”辛儿伦说。在宝立明看来，UDA是一个极佳的解决方案，它突破了现有的单点数据分析技术的局限，Teradata数据仓库、Aster大数据探索平台与Hadoop形成互补，让企业用户根据业务需求选择合适的大数据架构，同时通过UDA将这些数据进行有效的整合。
“过去，企业在数据仓库中要求高效、精准的数据分析，例如经营分析等场景。现在，新的业务场景可能要求企业整合各个方面的数据，如果只用传统的结构化数据分析模式，已经不见得是最经济有效的办法了。所以，企业必须将数据集中起来，通过一个强大的探索整合平台，才有可能真正得到大数据中的某些重要价值。”辛儿伦认为。
从1星期到1小时
要实现大数据最重要的一个V（价值），就需要处理好其他三个V。数据容量（Volume）不必多说，数据类型的多样性（Variety）完全可以通过UDA来解决，而快速增长（Velocity）就要求大数据平台必须进行快速的分析和响应。
LinkedIn是全球最大的职业社交网络媒体。LinkedIn商业分析部总监张梦溪在接受本报记者专访时介绍，数据分析传统的金字塔模型从下到上包括技术层和分析层两个层面，依次为：技术层的数据采集和质量管理、商业智能和报表，分析层的专业分析、深度分析、商业洞察和决策，技术层往往占用了近90%的资源。“我们希望让技术层的工作变得高效，在实施数据标记并保证数据质量的前提下，将员工的精力集中到核心分析工作上。金字塔模型则随着底层的精简变成一个菱形。”
分析模型的简化，离不开高效解决方案的支持。“我们选择了Aster data，是因为它的数据分析速度非常快。”张梦溪介绍，Aster data能够对结构化数据和非结构化数据进行更深入的关联分析，帮助LinkedIn分析师很快发现大数据的大价值。自2008年开发了‘你可能认识的人’功能之后，LinkedIn相继推出了‘你感兴趣的人’、‘你想雇佣的人’等功能，这些都是基于Aster data做的研发。
“在全部数据转移到新平台后，尽管LinkedIn的数据量以几何倍数的速度疯涨，但是相关数据分析时间却从1星期缩至1个小时以内。同时，由于快速的响应和丰富的功能，LinkedIn的用户黏性提高了30%到40%。”张梦溪说。
用IDA拥抱大数据
峰会云集了诸多行业用户现身说法，他们是大数据应用的先行者，当他们已经将美味的蟹肉含在口中的时候，也会让那些跃跃欲试的人们更为心动。
Hermann Wimmer指出，无论传统企业还是新兴企业，都会出现越来越多的大数据需求。“数据的来源将越来越丰富，获取也越来越容易。但如何整合营销、销售、研发、财务、人力资源等各个部门的数据，并对这些数据进行精准分析，才是对于企业来说最为重要的。”
“例如在物流行业，在我们内部有一个利润分界点的概念。我们希望帮助企业充分的利用数据分析降低成本，最大程度地提升收益，从而实现他们的利润最大化。”Teradata天睿公司全球运输物流业总监Shaun Connolly对记者说，“好比一个人坐在火炉旁，但手里拿着一块冰，手会感觉冷，但是不是这个人面对的整体坏境都很冷，只有通过数据分析才能知道。通过数据分析，企业才能知道哪些业务和客户是利润来源的关键，哪些业务和客户对利润的贡献有限，这样才能真正降低成本，把主要精力放在能够提升企业效益的重要业务和重要客户上。”
“Teradata天睿公司认为，企业要从大数据中获取最大价值，应遵循IDA（Integrate、Discover、Act）方法论。首先进行信息的整合（Integrate），然后在此基础上进行大数据的探索（Discover），通过探索与洞察的结果来付诸行动（Act），而行动翻过来还可以形成对信息整合的反馈。”辛儿伦告诉记者。
沙中淘金，并非易事。4月23日～24日，主题为“数据价值，极致演绎”的“2013Teradata大数据峰会”云集了金融、电信、航空、零售、制造等1000多名行业用户，与Teradata一起讨论如何在大数据时代对数据进行高效管理和分析，挖掘数据金矿。
被忽略的V
当前，业界普遍认为大数据具有3V属性，即Volume（数据容量大）、Velocity（增长速度快）和Variety（数据类型繁多）。然而，Teradata天睿公司大中华区首席执行官辛儿伦表示：“我们往往忽略了大数据的另外一个V，即Value（价值）。但这才是最重要的V。”
正如辛儿伦所说，如果不能在无穷无尽的数据沙粒中淘出真金，收集、处理再多的沙粒也毫无意义。Teradata天睿公司国际集团总裁Hermann Wimmer介绍，Teradata天睿公司通过大数据分析、数据仓库、整合营销等解决方案为各个行业的用户提供价值。
可以想见，金融、电信、零售等行业对大数据分析与管理存在着旺盛的需求，他们更为迫切地希望大数据为他们的运营、营销与服务带来价值。“2012年上半年中国工商银行手机银行新增客户动户率提升至18%，交易额同比增长300%，已经有75%的业务通过柜台以外的方式办理。”中国工商银行信息科技部副总经理张颖在峰会的主题演讲中表示，业务的快速发展带来了大量的客户数据，只有对这些数据进行充分的挖掘和分析才能持续提升服务水平，形成良性循环。
张颖介绍，中国工商银行通过客户特征分析提炼客户消费特征，从而可以定制针对个人的营销方案；基于数据仓库的数据挖掘，2012年12家分行展开了15项精准营销活动，综合成功率超过20%；当个人客户申请贷款时，信贷系统将根据数据仓库中的信息进行客户评级，并根据评级完成信贷流程。
统一数据架构
提到大数据就不能不提Hadoop。作为大数据分析提供商，Teradata天睿公司如何看待Hadoop呢？
Teradata天睿公司首席技术官宝立明认为，Hadoop具有良好的扩展性和高吞吐量负载率，存储成本低并且没有软件许可成本，对工程师而言高效且灵活，开源等诸多优势，但同样存在着在复杂查询和批量作业性能欠佳，开发部署成本高，难以被全企业广泛采纳，不成熟、发布周期长等挑战。
峰会上，Teradata天睿公司重点演示了新一代数据分析解决方案——Teradata统一数据架构（Teradata Unified Data Architecture，简称UDA）。该架构在集成平台上整合了Teradata整合数据仓库、Aster大数据探索平台以及基于Hadoop的数据存储预处理，使用SQL-MapReduce专利技术以及SQL-H等功能强大的连接器，无需分析人员掌握复杂耗时的编程语言。
“通过UDA，用户可以实现从原生矿到金矿粉再到提炼金子的完整过程。”辛儿伦说。在宝立明看来，UDA是一个极佳的解决方案，它突破了现有的单点数据分析技术的局限，Teradata数据仓库、Aster大数据探索平台与Hadoop形成互补，让企业用户根据业务需求选择合适的大数据架构，同时通过UDA将这些数据进行有效的整合。
“过去，企业在数据仓库中要求高效、精准的数据分析，例如经营分析等场景。现在，新的业务场景可能要求企业整合各个方面的数据，如果只用传统的结构化数据分析模式，已经不见得是最经济有效的办法了。所以，企业必须将数据集中起来，通过一个强大的探索整合平台，才有可能真正得到大数据中的某些重要价值。”辛儿伦认为。
从1星期到1小时
要实现大数据最重要的一个V（价值），就需要处理好其他三个V。数据容量（Volume）不必多说，数据类型的多样性（Variety）完全可以通过UDA来解决，而快速增长（Velocity）就要求大数据平台必须进行快速的分析和响应。
LinkedIn是全球最大的职业社交网络媒体。LinkedIn商业分析部总监张梦溪在接受本报记者专访时介绍，数据分析传统的金字塔模型从下到上包括技术层和分析层两个层面，依次为：技术层的数据采集和质量管理、商业智能和报表，分析层的专业分析、深度分析、商业洞察和决策，技术层往往占用了近90%的资源。“我们希望让技术层的工作变得高效，在实施数据标记并保证数据质量的前提下，将员工的精力集中到核心分析工作上。金字塔模型则随着底层的精简变成一个菱形。”
分析模型的简化，离不开高效解决方案的支持。“我们选择了Aster data，是因为它的数据分析速度非常快。”张梦溪介绍，Aster data能够对结构化数据和非结构化数据进行更深入的关联分析，帮助LinkedIn分析师很快发现大数据的大价值。自2008年开发了‘你可能认识的人’功能之后，LinkedIn相继推出了‘你感兴趣的人’、‘你想雇佣的人’等功能，这些都是基于Aster data做的研发。
“在全部数据转移到新平台后，尽管LinkedIn的数据量以几何倍数的速度疯涨，但是相关数据分析时间却从1星期缩至1个小时以内。同时，由于快速的响应和丰富的功能，LinkedIn的用户黏性提高了30%到40%。”张梦溪说。
用IDA拥抱大数据
峰会云集了诸多行业用户现身说法，他们是大数据应用的先行者，当他们已经将美味的蟹肉含在口中的时候，也会让那些跃跃欲试的人们更为心动。
Hermann Wimmer指出，无论传统企业还是新兴企业，都会出现越来越多的大数据需求。“数据的来源将越来越丰富，获取也越来越容易。但如何整合营销、销售、研发、财务、人力资源等各个部门的数据，并对这些数据进行精准分析，才是对于企业来说最为重要的。”
“例如在物流行业，在我们内部有一个利润分界点的概念。我们希望帮助企业充分的利用数据分析降低成本，最大程度地提升收益，从而实现他们的利润最大化。”Teradata天睿公司全球运输物流业总监Shaun Connolly对记者说，“好比一个人坐在火炉旁，但手里拿着一块冰，手会感觉冷，但是不是这个人面对的整体坏境都很冷，只有通过数据分析才能知道。通过数据分析，企业才能知道哪些业务和客户是利润来源的关键，哪些业务和客户对利润的贡献有限，这样才能真正降低成本，把主要精力放在能够提升企业效益的重要业务和重要客户上。”
“Teradata天睿公司认为，企业要从大数据中获取最大价值，应遵循IDA（Integrate、Discover、Act）方法论。首先进行信息的整合（Integrate），然后在此基础上进行大数据的探索（Discover），通过探索与洞察的结果来付诸行动（Act），而行动翻过来还可以形成对信息整合的反馈。”辛儿伦告诉记者。