首页 > 互联网 > 正文

网易的“中台”往事

网易的“中台”往事

作者/高梦阳

在2015年年末,阿里巴巴将搜索事业部、共享业务平台、数据技术、产品部组建为“中台事业群”,并喊出“小前台,大中台”的管理模式。

以阿里为开端,包括腾讯、百度、京东、美团、网易在内各领域的互联网头部企业都开始探索自己的中台模式。尤其在最近半年,中台突然间就成为数字经济领域最受关注的技术趋势。

不过,对于中台的定义以及如何构建中台,行业中仍然存在分歧。出于对中台理解的不同,市场中出现了“业务中台”、“数据中台”、“技术中台”、“算法中台”、“移动中台”等概念,许多面临数字化转型的企业也尝试自建中台。

近日,钛媒体对话网易副总裁、网易杭州研究院执行院长汪源,共同探讨网易做中台时遇到的大大小小问题,以及做中台的经验。

网易为何要做中台?怎样理解网易的中台模式?又是怎样做的?

网易的中台往事

与已经被业内津津乐道的阿里零售中台相比,对网易而言,中台建设的最大挑战实际上是自身业务结构的碎片化。

汪源承认,如同阿里的共享业务中心在初期地位低、压力山大一样,网易的每一个专业能力部门的建立已经不易,但发展挑战更大。这种挑战不仅仅因为这些部门都不直接创造价值,更多的是由于网易业务多元化的现实。

“2005年,机缘巧合下,我们团队成了网易杭州最初的团队。”

据汪源介绍,当时的网易在北京布局了有道做搜索,在杭州则布局杭州研究院做互联网创新业务,但在互联网技术上碰到了瓶颈——游戏的点卡Oracle数据库已经不堪重负,相册的数据库堆在一个700G的MySQL里眼看要玩不转了,相册十亿级的文件用NFS搭出来的分布式存储集群问题频发。

“中台是一个新的名词,但并不是一种新的实践。”

据汪源透露,杭州研究院刚成立就有好几个业务要并行做(博客、相册、POPO),业务繁杂。而杭研院的研发主力都是工科男,追求体系化,极度讨厌重复建设。

两者看似矛盾重重,但汪源确却觉得,正因杭研院迫于要并行发展多条业务线的压力,加上理工科厌恶重复建设的思维,令杭研院开始专心解决海量数据管理的核心技术难题,进而为网易中台的诞生奠定了基础。

根据汪源的回忆,2006年9月1日,随着网易博客的正式发布,新上线的DDB、DFS分别解决了分布式数据库和分布式文件存储的问题。随后,在2007年网易又投入做了MapReduce系统NEMR、融合多维查询系统等。

“这几个系统在当时的环境下,基本上就把主要的技术挑战解决了。”

此后,杭州研究院就开始尝试从不同业务条线中抽取公共能力。“我们希望这些共享能力综合起来,能够形成一个强大的创新中台,提高创新的速度和效率,提供成功率。”

网易的数据中台架构

网易的数据中台架构

按照汪源的介绍,网易的中台建设主要经历了以下几个阶段:

2007-2008年成立非技术类共享能力团队2009-2010年构建数据挖掘、内容安全、移动研发团队2011-2014年搭建了项目管理、商业智能、运维部等,从原来偏技术开始走向管理和运营2015年,网易开始建设集团级的用户中心。以统一的账号体系为基础,整合多业务的数据,实现用户标识的统一,并建立起用户标签体系。

网易的“胖中台组织”、“标准中台组织”和“平台组织”

严格意义上,网易的中台并非是阿里构建的中台类型。

虽然中台概念上只应该包含共享的能力,但对于像网易这样业务间相对独立的公司,很容易遭遇“标准”的中台部门与前台业务结合不够深、合作不够顺畅的问题。

同时,外界也会有这样的质疑,本身网易的业务就很碎片化,那么网易的中台体系又是如何协同、怎样去支撑更加碎片化的业务发展的?

基于网易杭研院的实践经验,汪源提出了一套完整的中台组织方法论。根据参与人员的差异,汪源把不同类型的组织总结为“胖中台组织”、“标准中台组织”和“平台组织”。

其中,标准中台组织由各个能力组和工具、规范/流程/方法论组成;当标准中台组织对业务的介入程度不足以支撑中台的实现,就需要更加接近业务的定向组来参与,这就形成了胖中台组织;而能力臻于成熟,工具、流程都实现标准化,标准中台组织也可以退化成平台组织。换言之,三个角色并非一成不变,而是处在动态变化之中。

对于中台的发展,汪源还总结了一个“数字技术核聚变”的模型。

他表示,数据中台汇聚和整合业务数据,产生洞察指导业务创新,在线业务中台支撑业务围绕领域交汇,不断引入新技术,创造新数据,为数据资产增值裂变提供动力支持,数据中台和在线业务中台共生共存,形成数字技术核聚变的巨大能量,推动产业跳跃式进化。

“连接是一个宏观的基础,有了连接,你就有了大量的数据,有了连接你就可以有了大量在线的业务”。汪源强调,借助中台,基于数据,可以去做分析和洞察,分析和洞察可以催生新的业务,在线业务可以不断迭代和进化,这样就形成一个正向的循环,最终为企业创造巨大的价值。

而与理论基础相对应,在组织架构上,网易采取阶段性的把相关前台的部分团队也整合到专业能力部门的做法。如此一来,在中台部门就有了一个个定向支持对应前台业务的定向组。这就形成了汪源所称的“胖中台组织”。

在汪源看来,这是在阶段性的让中台组织长的过胖一些,让中台和前台的边界在一个组织内磨合,“过两年在看哪些是属于中台的骨骼,哪些是属于前台的肉,搞清楚了再把肉重新分到前台去”。这样,胖中台组织瘦下来,又变成一个标准的中台组织。

实际上,网易的很多业务部门特别是用户中心、数据挖掘、商业智能、移动研发、内容安全等多个部门都具备一些中台的属性。考虑到网易业务多元化的现实,网易杭州研究院则选择和各个业务合作以更好的支持各业务建他们的中台。

比如网易的推荐搜索中台,就是从博客业务的个性化推荐、标签推荐中萌芽,支撑了云音乐的推荐引擎,并帮助网易新闻实现从编辑主导进入算法个性化的时代。

同时,网易的推荐搜索中台也负责考拉、云课堂等所有互联网业务的个性化推荐。

“网易在数据中台的应用,第一个是在考拉里面,我们最近刚刚完成的数据中台的建设,达到的效果是实现指标的100%的覆盖,数据质量保障99.8%,100%的数据能够自助取数,同时还降低了20%的数据成本。”

据汪源介绍,类似这样的中台,网易还有QA(质量保障)中台、移动研发中台、用户中台、用户体验设计中台等超过10个不同的中台。

网易的中台能力输出

如今,网易正试图将其中台能力产品化,并对外输出。

实际上,要想构建大数据的全链路解决方案,就必须解决全链路的数据质量跟踪、稽核监控节点数据校验的,还需要回答“数据准不准?”、“影响了哪些数据产品”、“故障恢复时间多久?”等问题。

网易大数据总经理余利华指出,目前企业在大数据实践中存在指标口径不一致、数据重复建设、取数效率低、数据质量故障频繁、成本指数级增长等五大痛点,这导致了企业80%的工作都与数据分析无关,而数据中台就是瓦解这一症结的良方。

据钛媒体了解,网易云为了全面支撑企业数据中台建设,为业务应用提供统一的数据和服务,网易在前不久发布了全链路大数据产品——网易猛犸6.0。

余利华告诉钛媒体,网易大数据发布的猛犸6.0,是在此前的Hadoop、数据集成、任务运维、实时开发、离线开发产品基础上,新增了指标系统、数据服务、数据地图、数据质量中心、资产管理中心、数据仓库开发与管理等全新的系统,这就实现了数据中台的全链路打通,实现全链路数据质量监控、全链路数据资产分析、全链路数据发现。

这些系统的能力,以指标系统为例,猛犸6.0能够100%消除指标口径不一致,让指标数量缩减50%,并且理解一个指标的含义的时间缩短80%。

而据汪源介绍,猛犸6.0已经成功应用于网易考拉等业务,通过数据中台的建设,实现了100%的数据产品指标覆盖、99.8%的数据可用率、100%的自助取数和20%的成本节省。

“有了全链路大数据产品,企业可以将80%的工作投入商业分析,直接产生业务价值,而数据开发、数据治理只需占用20%的工作量。”余利华总结说。

业内普遍认为,在线业务中台有助于业务能力复用、加速业务创新和促进数字化转型。但现实的问题是,信息隔离、数据隔离等因素,阻碍着在线业务中台的建设。

对于这些问题,网易云基础服务总经理陈谔表示,异构系统整合,包括兼容、通信和系统间事务一致性,和多供应商建设,包括多团队协作、软件资产沉淀,是目前企业在建设在线业务中台过程中遇到的最大障碍。

而网易也在去年发布的轻舟微服务基础上迭代了新品,希望通过Service Mesh、分布式事务框架GTXS、全新API网关与原有轻舟产品的整合,完成全栈化在线中台技术体系升级,帮助企业完成业务架构的进化,支撑业务快速创新。

陈谔介绍,轻舟Service Mesh基于CNCF(云原生计算基金会)的Istio和Envoy等主流开源技术构建,可以实现Java、Python、NodeJS、Golang和PHP等不同技术栈的兼容和通信,能够与已有微服务框架NSF统一管控、互相发现、互相调用,并且支持容器、虚拟机和裸机部署,将异构系统的支持实现到了业界领先的程度。

在性能方面,轻舟Service Mesh也实现了时延降低50%的优化效果,以便更好地满足在线业务的用户体验。GTXS则通过声明式事务框架,实现了对开发人员更加友好的分布式事务方案,保证了不同微服务的数据一致性,与常用的TCC模式相比,接入效率提升了85%,目前已在工商银行、网易严选等大型生产环境中稳定运行。

据汪源介绍,在网易内部,通过电商、音乐等在线业务中台的建设,实现了需求响应效率提升100%、应用部署效率提升280%、软件产品质量提升52%的效果,其中电商应用日均部署1374次,音乐应用日均部署492次。

在推出产品的同时,网易云也为客户提供了全流程的服务。

据了解,目前网易云的全流程服务已经覆盖DevOps最佳实践、可扩展性架构设计、微服务化拆分、治理建设、技术支持和高级运维等各个层面。案例项目包括工商银行、国家电网、申万宏源等企业的云平台建设、中台建设、架构演进等。

相关阅读:
微信版"花呗"要来?马云刚退休马化腾就要狙击支付宝 习近平对国家网络安全宣传周作出重要指示