第1个回答 2020-10-25
每日干货好文分享丨请点击+关注
欢迎关注天善智能微信公众号，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区。
对商业智能BI、数据分析挖掘、大数据、机器学习，python，R感兴趣同学加微信：fridaybifly，邀请你进入头条数据爱好者交流群，数据爱好者们都在这儿。
本文作者：天善智能联合创始人&运营总监 吕品，微信：tianshanlvpin，原文发表于天善智能服务号，欢迎讨论交流。
开篇语
看过不少讲解大数据思维的文章，文章的一些观点能够带给我很多的启发，很有见地也很受用。在跟一些企业的负责人聊起大数据项目规划和建设的时候，发现大家对大数据并不缺少自己的认识和看法，只是这些认识和看法没有被系统性的组织起来，形成一个比较有深度的思考问题、解决问题的套路。
这篇文章结合我在和一些朋友沟通过程中看到的一些问题，将大数据思维和价值做了一些聚焦和分解。我来抛砖引玉，希望这篇文章能够让大家从另外的一个角度去了解和思考一下到底什么是大数据思维和价值。
这篇文章适合企业高层、即将或者正在规划大数据项目、思考如何对大数据进行顶层设计、大数据项目管理人员一读。作为补充，我在此也推荐几篇文章以丰富大家思考问题的维度（角度）：
【概念篇】大数据思维十大核心原理
【分析篇】趋势 | 大数据应用落地分析
【案例篇】深入解读民生银行阿拉丁大数据生态圈如何养成
【案例篇】大数据如何聚焦业务价值，美的大数据建设的启发
本文作者：吕品 天善智能联合创始人
本文整理自 2017年3月3日 美云智数新品发布会数据云分论坛吕品的演讲内容
人人必谈大数据
说到大数据，大家并不陌生，从各种自媒体、线上线下沙龙，包括生活中大家经常提起。早在 2010 年之前，国内的很多互联网公司都已经在处理 “大数据”，只不过那时对大数据还没有一个清晰的定义。2013 年起，我们注意到在国内大数据这个词开始火了，火到什么程度？ 举个例子：我每次回家，家里的亲人朋友都在问我是做什么的，我说我们是搞商业智能 BI 的，基本上听不懂。什么把数据变为信息、信息产生决策，什么 ETL、报表，几乎是懵圈的。后来提了一句，我们有一个技术网站，里面都是玩数据的，比如大数据、数据分析、数据挖掘...。“大数据啊！大数据我知道！”，我问什么是大数据，回答很简洁干脆：“大数据就是数据大呗！”。
其实这种理解不能说错，只能说不全面，但是从某种角度上来说大数据还是比较深入人心的，“大数据”这三个字起到了一个很好的名词普及作用，至少不会像商业智能 BI 那样很难用一句或者几句话让大家有个哪怕是很基础的概念。
大数据 4V
我们经常提到的大数据四大特征：4个V
Volume 数据容量大：数据量从 GB 到 TB 到 PB 或以上的级别。
Variety 数据类型多：企业在解决好内部数据之后，开始向外部数据扩充。同时，从以往处理结构化的数据到现在需要处理大量非结构化的数据。社交网络数据采集分析、各种日志文本、视频图片等等。
Value 价值高，密度低：数据总量很大，但真正有价值的数据可能只有那么一部分，有价值的数据所占比例很小。就需要通过从大量不相关的、各种类型的数据中去挖掘对未来趋势和模型预测分析有价值的数据，发现新的规律和新的价值。
Velocity 快速化：数据需要快速处理和分析。2010年前后做过一个美国医疗保险的数据迁移项目，有一个 ETL 需要处理该公司几十年的历史文件和历史数据，文件数据量很大，并且逻辑非常复杂，一个流程几十个包，一趟下来 35 个小时执行完毕。这种情形如果放在现在的互联网比如电商平台很显然是不允许的。比如像电商促销、或者要打促销价格战，实时处理传统的 BI 是无法完成的。对有这种实时处理实时分析要求的企业来说，数据就是金钱，时间就是生命。
我相信上面提到的大数据的四个 V、核心特征还是比较容易理解的。如果我们不是站在技术层面去聊的话，大家对大数据或多或少都会有一些比较接近和类似的看法，并且在理解和认识上基本也不会有太大的偏差。
但是当我们谈到大数据，大家真正关心的问题在哪里呢？ 从技术角度大家可能关心的是大数据的架构、大数据处理用到了什么样的技术。但是站在一个企业层面，特别是在着手考察或者规划大数据项目建设的负责人、企业高层来说，更多关心的应该是下面这几个问题：
1. 大数据到底能帮我们企业做什么，或者说能够带给我们企业什么变化。上了大数据对我们有什么用，会有什么样的改变，是经营成本下降、还是帮我们把产品卖的更多？
2. 我们的企业现在能不能上大数据？如果不能上大数据，为什么，那又需要怎么做？
3. 我们企业也想跟随潮流上大数据，问题是要怎么做。需要准备什么，关于投入、人才、还缺什么、需要用到什么样的技术？
4. 我们怎么验证这个大数据项目是成功还是失败，我们判断的标准是什么？
我相信这些问题都是大家比较关心的一些点，包括我自己。我们目前还是以 BI 分析为主，但我们也会去爬一些外部的数据，后面也在规划大数据相关的一些项目和开发。
当然大数据这个话题是非常大的，我们很难从一个或者两个角度把这些问题回答的非常全面。但是我觉得有一点是我们的企业高层或者决策者可以注意的：在规划和考虑大数据的时候需要具备一定的大数据思维，或者说是面对大数据时我们所要具备的考虑问题和看问题的角度。
大数据思维方式
大数据思维方式我简单概括为两个方面：第一个是以数据为核心、数据驱动的思维方式。第二个是业务核心，业务场景化的思维方式。
以数据为核心、数据驱动的思维方式包含这几个方面：
1. 尽可能完善自己的数据资源。我们手上握有什么样的数据资源，我们数据资源的质量如何？
企业需要关注和梳理我们有什么样的数据，以前是关注企业的流程，IT的流程、业务流程再造。现在大多数企业这些 IT 基础和应用的建设都已经完成了，更加关心的应该是在我们的企业里到底握有什么样的数据资源，在不同的行业我们的数据主题是不一样的。
比如电商零售行业，我们考虑更多的可能是消费数据、涉及到用户、产品、消费记录。因为我们可以围绕这些数据比如做用户画像、精准营销、定制化的产品、产品的市场定位分析等等。
比如制造生产行业，我们涉及更多的数据可能是产品本身、我们的生产流程、供应商等。因为我们可以围绕这些数据比如做我们的生产质量检查、降低生产成本、工艺流程再造等。
只有了解我们目前自身的数据资源，才能知道我们还缺少哪些数据资源。而这些缺少的数据资源从哪里来，如何获得，就是我们在规划大数据项目的时候是需要解决的。如果缺乏这种意识，等在规划和上大数据项目的时候你的大数据资源非常有限的。
2. 增加数据触点、尽可能多的去收集数据，增加数据收集和采集渠道。大数据的建设和大数据分析它是一个迭代的过程，很多的分析场景都是在不断的探索中找出来的，它有一定的不确定性。正是因为这种不确定性所以才需要我们尽可能收集更多的数据。
现在是移动互联网时代，人人都是数据的生产者和制造者。比如每天的社交数据、互联网点击网络的数据、刷卡消费的数据、电信运营、互联网运营数据。像我们的制造和生产行业，有自动化的传感器、生产流水线、自动设施的数据等。有些数据放在以前可能不值钱，但是现在看呢？这些数据现在或者在将来的某一天就会变得很有价值。
比如像我最开始提到的那家美国医疗保险公司，我看过他们的 COBOL 代码注释都有是七几年、八几年前的。他们积累了几十年的数据，突然在 2010 年前后开始意识到数据的价值了，开始通过数据进行一些变现了。之前知道这些数据的价值吗？不知道，但是尝试到数据的甜头，比如做自己的数据分析，咨询机构购买一些脱敏的数据，或者给咨询机构提供数据做市场研究用途。
所以大数据的构建不会是一天两天的，这个过程会持续很长的时间，我们需要为将来做准备。所以如果你的公司连个最简单的业务系统，IT 应用系统都没有，数据连存放的地方都没有，怎么能够上大数据呢？不合理。
数据越多，数据种类越丰富，我们观察数据的角度维度就越丰富，我们利用大数据从中就能够发掘出以前更多没有看到的东西。
3. 数据开放和共享思维。这一点在我们国内其实说起来很容易，但是实际上很难。
去年的时候我去看了一个市公安局的大数据项目（可参看这篇文章 政府大数据面临的问题和阻力在哪里？），他们有两点意识非常好：
1）非常清楚的知道自己拥有哪些数据资源。比如市公安局以及下属分局、各个支队各个应用系统的数据：基础的人口管理、信访、犯罪信息、情报。包括数据监控所涉及到的铁路、网吧、民航购票、ETC 卡口等。
2）为了纳入更多的社会化数据资源、实现全行业的数据覆盖，他们准备接入交通、服务、科技信息化、教育、社保、民政等各个行业的数据。包括他们给下面的单位下了数据的指标，每个单位或者每个民警都有这种收集数据的指标，比如哪个单位今天上传了什么样的多少数据，每个月哪个单位上传的最多，这都是很好的数据收集的意识。
但问题在哪里？问题在于很多机构比如银行受国家政策限制很多数据是没有办法共享的、还有像教育机构，我凭什么把数据给你，在行政上大家是并级的机构。
所以这个时候就需要考虑数据开放和共享的思维，在满足数据安全性的基础之上我们可以不可以考虑数据互换共享的可能。公安局有的数据一定是教育机构没有的数据，那么同样的教育机构有的数据，公安机构也不一定有。如果两者数据在某种程度上形成共享，在保证数据安全和不冲突的情况下是可以创造出更多的社会价值的。比如公安局可以提供教育机构关于各个地区犯罪率的信息，包括交通安全事故多发地等，教育机构可以针对