好运来vip网站:【大咖来了 第5期】如何建设大数据中台

作者: 郭炜 2019-11-07 15:31:48
本文来源:http://www.2233122.com/mobile_yesky_com/

太阳城娱乐网最快登入,邓小平,1929年12月领导发动百色起义,任红7军政委和前委书记。  央视网消息(新闻联播):中共中央政治局常委、国务院副总理张高丽14日出席在北京举办的第四届创业投资行业峰会并讲话。我认为一些媒体的报道是有误读的。他要做的,是一步步从根本上彻底毁灭一切证据,让一切对自己非法性的异议结束。

有传事件曝光后,两个洽谈中的品牌即时叫停合作,林丹未来的商业价值恐怕变超级down。  张高丽最后强调,要更加紧密地团结在以习近平同志为核心的党中央周围,牢固树立四个意识特别是核心意识、看齐意识,扎实做好测绘地理信息工作,为实现两个一百年奋斗目标、实现中华民族伟大复兴的梦作出新的贡献。女人出轨的第十大因素:怨恨心理夫妻生活是一项十分重要的内容。11月30日00:51,平台发现异常并开始拦截。

报道称,日本富士电机的子公司富士冰山自动售货机占据中国70%市场。【安保开支创下天价】纽约市长德布拉西奥5日致信奥巴马,请求联邦政府代为承担涉及特朗普的额外安保费用。下午3点左右,一颗来自社交媒体的深水炸弹却骤然爆破,成为笼罩在上海商界的一片乌云:郭广昌失联了。由于此前网络上曝出,陈赫此次离婚消息被传出,系被一位王姓男艺人出卖。

本期出席《大咖来了》直播栏目的嘉宾是易观CTO郭炜,进行了主题为《如何建设大数据中台》的分享,主要涉及三方面:为什么要建立大数据中台,技术大数据中台建立参考模式与思考,及在大中台,小前台场景下技术人员该做些什么。

为什么要建立大数据中台

现在乃至未来,绝大部分企业会陆续成为数据企业,数字用户资产会成为这些企业的核心资产,人工智能、大数据等前沿技术也将会成为基础设施,促进每个企业的业务用户、业务线快速增长。其实,大数据中台就是企业从传统信息化到数字化演进过程中的必然产物。

中台是技术人员从后台走向前台的过渡阶段,为什么这样说?如下图所示,以投资银行举例。

如把投资银行对前台、中台、后台的定义映射到互联网或系统,可以简单理解为前台是赚钱的、后台是做支持赚钱的,而中台是支持更快赚钱的。建设大数据中台的本质在于把过去在后台的工作挪到中台,进一步支持前台更高效的做数据分析。

大数据平台风行,为什么又需要建设大数据中台呢?这是因为建设大数据平台时有各种各样的痛点,这里主要介绍如下三点:

  • 大数据项目启动难:大数据平台建设周期长,成本高、人员互联网运营经验不足。

  • 大数据项目效果体现难:大数据如何解决互联网运营问题、大数据系统建设结果是更多的BI报表、大数据建设ROI无法衡量。

  • 大数据项目执行难:数据源纷繁复杂、原有系统涉及到多部门协调沟通、以及数据治理问题。

整个大数据平台依次从数据接入、计算、分析、运营,每一层都有各种各样的模块具体运作流程,如下图。

面对这样一个典型的大数据平台结构,怎样做才能提高效率呢?这里有以下五点思考。

  1. 让业务还给业务,尽可能避免业务人员等待技术反馈需求单这样耗时的流程。

  2. 做到实时数据分析,满足运营人员的需求。

  3. 能够更好支持人工智能或增强智能所涵盖的流行算法。

  4. 数据治理要在业务端进行,而不是在技术端进行梳理。

  5. 让业务人员、数据科学家直接看到反馈,而不是传统软件加工方式。

从大数据平台到数据中台是一次从技术到业务的飞跃,过去我们只看技术,到中台时期,是从业务端看技术。

技术大数据中台建立参考模式与思考

大数据中台大致可分为大中台和深中台两种模式,如下图。

类BAT的大数据中台称之为大中台,是更广泛的数据中台,底层布设LaaS 、PaaS,各个业务线在基础之上进行二次开发。但对于小厂而言,并没有那么多人力开发通用中台去支撑各个业务线,只能是各业务线围绕自身需求进行开发,这种情况被称之为深中台。

说到深中台模式,这里需要提及的是数据河理论。那什么是数据河理论呢?

数据河理论是相对于数据湖而来,数据湖是把过去各渠道的所有数据集中到一起,为相关计算提供便捷,但久而久之,会慢慢变成数据沼泽,数据运营越来越难。

数据河的出现是为了方便数据运营,使得失去数据口径和失去数据治理的数据越来越少。数据河中流淌着的是单一数据模型,数据产生直接实时流向使用者,不同的数据河,支撑起企业内部数据水生态。

深中台模式其实也是数据河模式,让数据直接流动起来。数据河这个抽象的概念可以落实到IOTA架构,如下图。

IOTA是典型的去ETL化深中台架构,有固定数据模型、在数据产生时规整原子口径,把业务口径交还给业务人员,且支持边缘计算与即时反馈。

如下图,为易观ARGO-免费用户数据中台样例的结构

在这个易观ARGO-免费用户数据中台样例中,对免费&非核心部分进行开源,支持私有化部署、用户账号跨端打通、实时复杂计算和下钻分析、二次开发。

和IOTA架构一样,也是在数据产生时有技术人员规整原子口径,通过自定义指标实时查询,把业务口径交还给业务人员。

在大中台,小前台场景下技术人员该做些什么

大家会有疑问,数据中台盛行,从事数据相关岗位的人,如大数据工程师、数据分析师等他们的风向在哪里?

数据中台的出现,实现人员的技术业务结合与飞跃,让数据技术人员不仅增加数据技术广度,还加强了对前台业务理解,成为跨领域的“龙”式新物种—数据中台工程师。数据中台工程师必备基础技能主要有三,分别是:商业模式、流量模式和数据分析体系。

商业模式包含注意力运营、交易类运营和效益类运营。注意力运营,这类产品都是试图最大化用户在产品上花费的时间,如媒体、游戏以及任何通过广告变现的产品。关注指标是粘性,如UV、PV、访问时长、访问频次、用户到访周期、访问间隔等。交易类运营,这类产品帮助用户做出购买决定,如:电子商务平台、各种交易平台、生活服务、SaaS等。关注指标是交易、交易活跃度,如新商品比例、商品被搜索比例、GMV、ARPU。效率类运营,这类产品帮助用户创建了一种简单可靠的方式来完成现有的任务或工作流程,如:工具类、B2B等。关注指标是用户使用深度指标,如用户完成一次工作流的数量、用户完成一次工作流的时间。

如下图,为数据中台工程师必备技能之流量模式。

当我们分析某个网站时,可以遵循此图,横轴是变现能力,纵轴是导流能力,存在各种不同的角色。一般来讲,金融类变现能力强,玩类导流能力强,出行类导流能力强。

如下图,为数据中台工程师必备技能之数据分析体系。

每一个产品从开始MVP验证有效、获取种子用户、提升产品质量、提升用户体验、拉新获客实现营收,及规模化实现利润最大化,在每个阶段,都需要进行分析,如用户分析,参与度分析,渠道分析,构成分析,收入分析等。

而每个阶段都要需要一套分析体系,对业务进行研究,所以技术人员需要补充数据分析能力和数据分析体系相关知识。

在新数据中台情况下,迭代验证周期是数小时到数天的迭代周期,技术人员只需要建立原子口径,由业务人员做实时业务数据分析,支持业务分析。

建设数据中台前需要思考这几步骤:第一是和技术/业务主管商议是否真的需要中台;第二是中台模式选择,是深中台还是浅中台;第三是数据中台选择,无论做哪种选择最终的结果一定是让业务人员可以直接进行相关数据分析,把业务还给业务,让技术做技术;第四是人员和思路的变革。


中台 大数据
上一篇:人工智能初创公司走向成熟要经历的四个阶段和关注点 下一篇:数据转换率较低将如何严重影响机器学习
评论
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

太阳城娱乐网最快登入 大数据、人工智能带来的危机:科技巨头会毁掉我们的生活吗?

Facebook和谷歌非常方便,但是这些创新产品远远无法与电力的发明,甚至室内厕所和清洁水相媲美,后者在改善人类健康、延长人类寿命方面发挥了至关重要的作用。

华章科技 ·? 3天前
太阳城娱乐网最快登入 BI工具足以打造数据驱动型文化吗?

商业智能工具是一种数据驱动型决策支持系统(DSS),用于检索、分析、转换和报告数据。如今,市场上有众多BI平台,提供各种类型的分析、可视化和集成功能,其中一些基于AI,因而能够做出可靠的预测。

布加迪 ·? 2020-06-22 07:00:00
太阳城娱乐网最快登入 年中盘点:2020年炙手可热的10家数据科学和机器学习初创公司

有很多数据科学、机器学习和人工智能平台可以自动化地完成其中大部分的工作,让企业和组织可以更快速地利用大数据资产获得竞争优势。以下就让我们来看看数据科学和机器学习领域的这10家热门初创公司。

CRN ·? 2020-06-21 06:15:40
数据科学的现在与未来

数据科学是截至近年来技术领域中很具热度的方向之一。如果您拥有数据科学或者相关专业的工作经验及学位,那么只要大笔一挥、简历一发,一份薪酬可观的职位就会应手而得。

佚名 ·? 2020-06-18 11:01:34
大数据是否将我们拖到另一个AI冬天?

过去几年中,令人屏息的新闻剪辑数量令人难以记住,但人工智能的历史充满了挫折和挫折。 记忆犹新的人们记得70年代初和80年代的第一对所谓的" AI冬季"。

闻数起舞 ·? 2020-05-17 14:52:22
地图厂商的下一战:AI大战

时代在变化,技术在精进,用户需求不断变化,新基建下的互联网地图行业会给用户带来惊喜,这也是地图商们破局的机遇。

暗脑 ·? 2020-05-15 10:52:41
医疗行业正从大数据中汲取回报的六个途径

科技总是源源不断地改变着世界,人工智能和大数据正在结合起来,为人们提供各种好处,其中应用比较广泛的可能要数医疗行业了。

佚名 ·? 2020-05-14 13:38:32
2020年,你需要掌握的10大趋势技术!

变化是唯一不变的。这也适用于您的职业生涯。如今,提高自己的技能是必需的,原因很简单,技术发展非常迅速。 我列出了十大趋势技术,这些技术有望在2020年获得巨大的市场。

愚子科技 ·? 2020-05-06 14:54:59
Copyright?2005-2020 太阳城娱乐网最快登入 www.2233122.com 版权所有 未经许可 请勿转载
申博138直营网 www.999sun.com 菲律宾申博现金网登入 申博官网开户 申博太阳城游戏 申博138游戏登入
www.msc99.com 申博网址大全直营网 申博sunbet现金直营网 申博登录网址 申博怎么开户代理登入 申博代理登录
申博真人游戏直营网 菲律宾申博太阳城娱乐 申博真人游戏娱乐登入 申博免费开户官网登入 太阳申博开户登入 太阳城管理网