大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
大数据的应用：大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。
云计算的主要应用：
云物联——“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。
云安全——一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。
云存储——在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

大数据的理想与现实之间
我与数据打了25年的交道，经历了从电信、网通到联通的多次重组，亲身参与了数据专业线从弱势群体逐渐发展壮大的全过程。一直想找个机会，谈谈我的体会，但是没有下这个决心动笔。最近，受范总原创《“一篇文看懂Hadoop”读后感》的鼓舞，想从数据工作实务的角度分享一下我的想法，就当抛砖引玉吧。
1. 关于数据中心的定位我们就按照论文里通常的套路开始吧。首先“什么是数据?”通俗的理解就是：如果把企业比作一个“生产线”，数据就是在这个“生产线”上各项活动所产生的，以各种形式存放在各个系统中或者其他载体上的信息，把这些信息按照一定的属性和规则进行分类加工就形成了数据，它反映着企业经营发展的状况，记录着企业用户的使用情况，还有产业链上各个参与者的状况。 受现代企业的部门设置、专业线管理架构的影响，企业完整的“生产线”被各部门分割，数据散落在由各部门管理的系统中，这就是大型企业通常的业务和数据管理的现状～～“职责分割、数据分散”。那么，如何反映企业整体的发展现状呢?通常是公司月度经营分析会上，财务部门的分析报告中，汇报公司的总体情况，而市场、集团客户等部门的报告分别汇报本专业条线的经营情况。曾经出现的情况就是财务部门汇报公司总体利润下降，而各业务部门纷纷完成任务形势一片大好的反差。老板心里纳闷～～“你们都完成了任务，敢情就我没完成任务?”联通重组以来，顶着来自省里还有其他专业的压力，一直在推行数据的集中。信息化部把各省、各系统中的数以亿计的用户明细数据在集团层面进行了集中存储，并经过统一的规则加工数据，再加上后来的分析应用，不仅使每个月统计的用户发展数据更加真实了，还发现地市层面违规经营、业绩造假的行为。集团董事长召开全国地市级工作会议，点名批评、撤换了几个地市老总。当时，地市老总还在云里雾里～～“我都没有这么详细的数据，董事长怎么知道的?”这就是数据在打破部门和省分之间的壁垒，使领导层能纵观企业真实情况，“知其然，知其所以然”方面发挥的至关重要的作用。近两年来，联通通过与外部公司的合作，使用脱敏的用户标签数据为企业创造了真金白银的实际价值，“数据”的应用价值日益突出，真正成为企业的又一宝贵资源。而之前，企业内部并没有这么一个专门的部门是站在全局的角度，承担起“数据资源”管理者的角色的，这就是成立“数据中心”的初衷，也是其定位和义不容辞的责任。联通数据中心的成立，是“数据线”这个弱势专业有史以来摆脱依附关系成为独立二级部门的第一次，也是对于联通信息化部门实践数据集中整合、应用，支撑公司管理方面取得成果的高度肯定。说起这个，数据线工作的人都会有深深的共鸣，这里面有多少苦衷啊。2. 主动还是被动?都是“支撑”惹的祸“数据中心”脱身于信息化部门，而信息化部门的基本定位就是“支撑”，就是要“有求必应”。我们熟悉的场景是每个月的那么几天，业务部门的人员为了写分析报告，需要些报表以外的数据进行分析，给数据部门打电话，然后心急火燎地等待他们提供的数据结果。另一场景，数据部门的人员被各部门各种的数据需求折腾得团团转，为了提供数据，加班到天亮。曾经有负责数据服务的处室，在总结年度工作时用到的数据是“提供报表上万张”。经分系统在用户的坚持下，开发了大量内容相近、格式不同的报表。一方面是用户层出不穷的需求无法满足，另一面却是系统里大量的报表没有人访问。因为用户无法自己获取数据，日常数据服务工作显得相当被动。其实从内容上看，一个企业的数据是唯一的，只是各部门因为关注的角度不同，提出了不同的展现要求，实际上在数据层面有较高的重叠性。如果想要在减少需求量的同时，提高用户满意度，就需要数据管理部门的人员具备高度的综合能力，这个人不仅要熟悉公司的业务、流程、部门的职责分工，还要有很好的沟通能力，能够正确理解、综合、引导用户的需求，然后在总体框架下将整合后的、被验证过的需求在系统中固化。如果能力强，从个人层面，还是可以主动地做一些事情的。但是，要想改变数据工作的被动局面，就需要数据管理部门不再局限于“支撑”的角色，而是应该站在”数据资源管理者”的角度，主动地从数据、应用、管控、系统四个方面，形成一个体系化的数据管理架构，并指导日常工作和系统建设。 上图是2009年联通开展的数据管理体系研究工作的成果，是对数据工作的一次很好的总结和提升。它是数据管理体系L0架构，揭示了数据管理工作的组成部分以及各个部分之间的关系。与其他专业线不同，数据专业的管理核心是”数据”，数据质量、生命周期和安全管理都是核心的管控内容，而组织(人员、制度)和系统是数据产生价值的基本保障。数据、应用、管控、系统四个方面的内容缺一不可，同时又存在相互关联、不断优化的过程(流程)，绝对不是建几个系统那么简单，这也是数据专业管理的难度所在。 上面这张图就是对数据工作的流程很好的诠释，数据部门要想扭转被动的局面，首先必须有自己完整的架构(数据、应用、系统、流程、管理制度)。而这一架构的形成，是需要通过以下4个步骤：正确评估自身能力现状;找到公司业务战略、目标对数据专业的期望和差距;有选择性地确定数据工作的战略目标和阶段性计划后组织实施的;在完成阶段性计划之后，还需要评估能力提升的结果，以便对现状形成新的评价，循序渐进，有效积累。信息化的同事对于数据、应用、系统这三项内容都容易理解，但是，对于制度和流程就不太容易理解了。制度就是游戏规则，规定了该谁做，做什么，怎么做，做到什么程度。流程则是为了明确一件工作的步骤和涉及的部门之间的关系。目前流程的缺失带来太多的问题，常见的场景就是一项业务已经下线了，我们的系统中还在展示;新的业务已经为公司创造价值了，其收入还没有在财务报表中单独体现，不能及时反映这项业务的发展状况;系统中数据和报表功能已经具备了，业务部门还在要求数据部门人工提供数据，用户的需求无法及时传递到建设环节。
解决这些问题的根本就是必须形成闭环的数据工作流程，在数据生产、服务、建设、维护内部各个环节的有效沟通的同时，加入到公司运营、网络、管理的前端环节，第一时间参与产品策划、基建计划、科目调整等前期工作，才能确保数据工作的有效积累和正常运转。
3、谁在用数据?他的核心需求是什么?　　在清楚了定位和工作内容之后，首先要明确的就是工作目标，而目标的确定就需要了解数据的使用者是谁，他们的核心需求是什么。那么，谁是数据的需求方呢?　　站在企业经营的角度看，通常把数据需求分为：内部需求和外部需求。具体包括：　　(1)内部需求是数据服务于企业管理的职责所在。从管理层级上看，包括集团及分子公司、省级分公司;从管理职责上分就是公司管理层、职能部门、基层操作人员。　　管理层的诉求就是通过数据掌握公司运营的整体情况，知道“发生了什么?什么是主要原因?我应该去找谁?”你给我10个指标都多，因为这10个指标也许是反方向变化的，我要自己判断哪个是核心指标。管理层需要的是“简洁但不简单”，这个要求也是最高的。“如何让领导的桌面变得简洁?”如果这样的问题你没有想过，领导层对你的工作就很难满意。满足领导层需求的最好办法就是提供综合指数，就像是温度计，或者上证指数，一个指标就能纵览全局。而这一个指数背后是高度综合的评价体系，需要专门的研究与大量的实践检验。 　　(上图为DW1.0设计的领导首页UI规范，这是一个工作台，包括：问题发现、任务指派和问题反馈三个功能。中间是对目前公司当月总体情况的评价结果，雷达图中显示综合评价指标池中业务发展、财务状况、企业运营、创新能力四类指标值与目标值的差距，并支持预警提示和问题的下钻探索。页面下方，是热点信息和信息反馈的连接，支持领导任务指派和问题反馈。)　　职能部门是我们打交道最多的，他们的诉求就是获取本专业的数据支持日常管理。应用最多的就是每月的经营分析，有的部门使用的是自己的报表体系，有的部门基本靠数据部门支撑，有的部门基本没有什么可用的数据，有的部门干脆重新建立了自己的系统进行模型沉淀。从数据的应用层次看，我们能够提供给职能部门使用的还停留在数据的粗加工层面。“哪个是我们最赚钱的产品?哪些是我们含金量最高的用户?我们应该采用什么样的策略?我们采取的措施收效如何?”太多的问题需要用数据来回答。现在是离开数据部门的后台提数，职能部门的人自己基本拿不到数据，做不了事情。什么时候他们能自己取数自己分析，什么时候职能部门的用户满意度就能提升了。　　基层操作人员是与用户最接近的环节，他们能够用到的数据确实非常少。近年来的激发基层单元活力的工作，对数据服务于基层提出了更多的要求。但是，一个基于产品线的用户级粒度的收入数据，与一个基于管理主体的成本数据，怎么能够支撑一线人员的资源配置和绩效管理?数据层面为基层人员做的还非常少。　　最后为我们的用户说几句吧，如果我是一个世界500强的用户，第一次走进联通的营业厅办业务，联通能不能第一时间给我提供大客户级的服务而不要等我给联通创造了多少收入之后才发现我的价值?如果我使用了联通10年以上的宽带业务，联通能不能辨识出我的价值，给我提供VIP级的一体化服务?联通能不能通过我喜欢的方式、在我方便的时间、通过更加便捷的手段，推荐给我贴心的服务，而不是关注于挖掘我的隐私?以上用户的诉求，背后都是大量的数据作为支撑的。公司经营策略中说了多少年的“以客户为中心”，但是从数据指标体系上看，仍然是“以产品为中心”。数据层面确实应该为我们的用户做点什么了。 　　上面这张图，帮助我们换个角度去思考我们的工作目标，我们应该站在数据的使用者的角度，考虑应该做什么，能做什么，做了些什么，形成我们的工作目标。不能再固守传统的工作模式，数据工作需要总结和创新。　　(2)外部需求是数据服务于社会，为企业创造价值的体现。　　近年来，由于联通数据集中的优势，与招商、蚂蚁金服多家企业进行合作，开拓了手机终端、用户信用指数等多项应用，为企业创造了新的收入来源。(我不了解的工作，没有发言权)　　“去年9月国务院印发《促进大数据发展行动纲要》称，国家政府数据统一开放平台将在2021年底前建成，率先在气象、环境、信用、交通、医疗、卫生等20余项重要领域，实现公共数据资源合理适度向社会开放。”“在政府和市场的双重催动下，那些原本封存在服务器里的陈年数据，成为一座座蕴藏丰富的“金矿”，兴奋的企业和研究人员一边着手搜寻数据，一边将有价值数据按需筛选出来重构。然而，能真正做深度挖掘的企业并不多，这一领域正在等待着“杀手级”应用的出现，助推金融、医疗健康、零售业、制造业等各行业产生根本性的变革。”～《大数据的痛点》　　联通正经历着和社会上其他领域一样的探索过程，首先是完成了自身数据的集中整合，接下来就是考虑外部数据整合和应用的事情。对于联通而言，外部用户包括：政府主管部门、资本市场监管和审计机构，有意向的合作伙伴。对外服务合作，特别是收费服务，产品化的要求也就更高。另外，作为一个国企有它必须承担的社会责任，联通的大数据应用也许能够在治理交通拥堵、解决看病难等社会问题、提升居民幸福指数方面发挥点儿自己的作用。　　各行业的大数据都有同样的感觉，目前缺少“杀手级”的应用。个人认为，“杀手级”应用首先应该是基于大数据的分析预测能力与个性化需求相结合的结果，比如：高德导航提供每条路的拥堵峰值的预测，用户输入出行计划时，就可以预测到一天甚至一周分时段的拥堵情况，选择出行时间，而不是已经在路上了，再纠结于选择哪条路。再比如，最近微信发布的电子发票功能，在为用户解决实际问题，提高效率的同时，撬动企业级的应用，从个人应用深入到企业内部，让银行进一步感觉无力。另外，最近很高兴地收到了高德地图推出的早高峰的预警信息。我想无论怎样的应用，都要站在亲身体验的角度，问问自己需要的是什么，再用负责任和踏实的态度，沉下心来把问题解决到最好，就不会被评价成“简单粗暴”了。　　4、什么东西需要系统来实现?~~复制、流程、积累，归根到底还是积累　　最近接连几次有其他部门的朋友跟我抱怨，现在提一张报表的需求需要很长的时间，跟新的同事沟通多次根本不知道我们想要什么，真是无语。这样的事情已经是人员变动之后的常态了。小的事情看，无论是市场部的分析人员、信息化部的需求管理人员、厂商的开发人员，换了人，就会出现一段时间“归零”的状况。大的事情看，人换了，之前的工作没有积累，后来的人根本不明白之前工作做到什么程度了，这项工作似乎也“归零”了。　　另一个场景，每个月市场部分析人员获取数据编写分析报告，经营分析会开过之后，就“尘埃落定”了。数据部门加班为市场部人员提供的数据及材料，每年都花费了大量的费用。而这些支出到底创造了什么价值?是不是就是为了领导听起汇报来赏心悦目?我们真的需要坐下来好好想想了。曾经见过一个市场部的同事，使用Excel做了一个很复杂的模板，就为了把每月的数据汇总成逐月的数据，然后计算同比、环比、构成、绘制趋势图，而这些东西，用技术手段很容易实现的。为什么他们不把这个模板变成系统能力，让系统帮他?　　之前曾经有技术弟跟我说，现在懂业务的人才是最有价值的，没有技术实现不了的事儿，主要是要知道用技术做什么。再好的技术也要想好了要做什么，能做什么。个人认为，系统要做的事情就是复制、流程和积累，人都没有解决的问题，系统也不可能替你解决。如果你已经拥有成熟的模板，系统就可以把它复制用于各月、全国，在提高效率的同时，避免了人为操作的错误。如果你制定了完善的闭环流程，系统就能帮助你严格地执行。但是，最最有价值的还是积累，不仅数据应用、流程的积累，还有固化在系统中的“知识”的积累。它帮助后来的人熟悉数据，也不会因为人员的变动让工作归零。“积累”，是需要时时刻刻想到的事儿。 　　上面这张图，从大数据应用价值、系统能力层次的角度显示了能力积累的层级，也帮助我们很快地定位到我们目前能够达到的层级，清楚自己努力的目标。我们是在满足于提供数据粗加工的原材料，还是已经嵌入到企业的生产环节中，形成了商业合作模式?　　5、数据专业发展的关键是什么?~~人，还是人。　　从2008年联通公司重组到2021年数据中心成立，经过了4年的时间，期间多少艰辛不用多说。(此处略去301个字。)做什么事儿也离不开人，特别是数据专业，需要一批懂数据、用数据、踏实肯干、耐得住寂寞的人，团队才是最宝贵的资源。而人才队伍的建设必须具备的条件包括：　　(1)支持优胜劣汰的干部任免制度;　　(2)支持留住最优质的员工薪酬体系;　　(3)帮助员工快速成长的有效的培训交流、知识积累机制;　　(4)支持我们拥有竞争力的自主开发团队的薪酬体系;　　(5)支持我们选择最优质的合作伙伴的招标流程;　　(6)合作伙伴意识到自身的不足，专心积累，认真做事，和我们一起成长。　　6、总结　　最后，按照“自己的事儿、别人的事儿、老天爷的事儿”的分类方法，说说我们能做点儿什么“自己的事儿”吧：　　(1)首先要有稳定的数据管理架构，包括了数据、应用、系统、制度。这样的架构与公司战略目标相结合，形成演进路线和年度工作目标，通过年度目标的达成，循序渐进地逐步实现。数据管理架构需要在数据中心内部(集团、省级分公司)，以及公司管理层、信息化部内部、其他业务部门之间达成共识，并坚定地、不打折扣地一起去推进实施。　　(2)明确岗位职责和分工界面(集团、省级分公司)，并保持相对稳定，避免“临时的因事儿设岗”。定期组织员工培训、沟通，做好知识传递、信息共享，年度工作目标在员工层面达成共识，使新来的员工尽快进入新角色。通过专题研究组的形式邀请省公司参与数据的能力建设，调动省公司层面的积极性，养成数据中心人人“看数据、用数据”、“发现问题、解决问题”的良好习惯，做好自我完善、形成有效积累，形成“成长型”数据专业团队。　　(3)建立定期的用户(数据服务对象)沟通制度，主动介绍我们的数据架构和系统能力的提升情况，职责分工及年度工作目标，在用户层面达成共识。引导用户更多地使用系统能力并从中获益，让用户真实地感受到效率的提升，并愿意和我们一起来积累。　　(4)多方位整合身边资源，在完善自身能力、提高方法论、产品化水平等方面与合作伙伴达成共识，共同进步。引进咨询机构及高校专业人士参与开展综合指数、客户指标体系等多项专题研究，提升数据产品化和创新能力。　　(5)建立一个闭环的工作流程，使相对后端的数据流程参与到企业运营的前端流程中，以便及时反映企业的经营的变化，定期更新指标体系、报表架构及相关应用，避免前后脱节的问题，有效实施数据及应用的生命周期管理。　　说了这么多，一方面是因为这些年积攒的心里话不吐不快，另一方面想着这个专业能抓住机会，取得更好的发展成果。想起某位领导多少年前说的那句话～～“有为才有位”。乘着大数据的东风，我们的队伍已经再次壮大，但是，“理想很丰满，现实很骨感”，我们更应该意识到差距和肩上的责任，切忌浮躁，要脚踏实地。希望新来的同事们尽快适应，进入角色吧。