IT商业网-解读信息时代的商业变革
当前位置: 首页 > 大数据 > 正文

腾讯披露大数据平台10年技术演进历程:算力资源池已有超20万台规模

2019-11-06 12:06:18  来源:TechWeb    

  11月6日消息,在Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰正式对外披露腾讯大数据平台10年技术演进历程。

  蒋杰指出,经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条。并且每天数据接入条数达35万亿条数据。此外,腾讯云的分布式机器学习平台,能支撑1万亿维度的数据训练。

  据介绍,能支撑如此大规模数据的接入和运算,是腾讯在大数据技术领域超过10年的积累,其核心的大数据平台已经完成了三次迭代。从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI,用来解决数据训练和算法的问题。

  2015年初,腾讯开始自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度。目前Angel发展到3.0版本,能支持万亿维度,也可以兼容Spark、PyTorch、TensorFlow等生态,进一步降低了使用门槛。此外,Angel今年还新增了对深度学习、图计算等的支持。

  目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

  技术迭代不断加速,企业建设大数据平台和机器学习平台,不仅成本高昂,而且缺乏相应的专业人才,面临种种问题。

  目前,腾讯已经把网络、存储、数据库等IaaS能力,大数据、机器学习等PaaS的能力,以及上层的图像、语音、NLP、BI等SaaS能力,通过腾讯云对外开放。在大数据和AI两个领域,腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业,不需要专业的大数据和AI团队,也能便捷用上领先的大数据和AI的能力。

  另外,腾讯也通过开源和广大开发者共享技术成果。从2014开始,将第一代平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源。今年,腾讯加快了开源的脚步,在内部推开源协同的战略推动下,腾讯所有的技术栈,后续会越来越开放。

  此次在Techo大会现场,腾讯宣布正式开源资源管理平台核心TKE和分布式数据库TBase。两个月前,腾讯在ApacheCon 2019上,面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。

免责声明: IT商业新闻网遵守行业规则,本站所转载的稿件都标注作者和来源。 IT商业新闻网原创文章,请转载时务必注明文章作者和来源“IT商业新闻网”, 不尊重本站原创的行为将受到IT商业新闻网的追责,转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:post@itxinwen.com
微信公众号:您想你获取IT商业新闻网最新原创内容, 请在微信公众号中搜索“IT商业网”或者搜索微信号:itxinwen,或用扫描左侧微信二维码。 即可添加关注。
标签:

品牌、内容合作请点这里: 寻求合作 ››

相关阅读RELEVANT