微信邦

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2336|回复: 0

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

[复制链接]
发表于 2018-5-2 20:30:02 | 显示全部楼层 |阅读模式
今天“大咖访谈录”邀请到的是腾讯云存储总监、技术负责人——黄炳琪。

他加入鹅厂10年,与腾讯云一起成长,是个“技术的独立思考者”。他负责的鹅厂最底层的数据存储平台,承载着数十亿用户负载,多年来从未发生过一起数据丢失事件。

在他看来,存储是技术含量非常高的一个领域,是云计算背后的无名英雄。拥有超高颜值的他专注于技术,甘愿做无名英雄背后的支撑者。

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

人物小档案:
姓名:黄炳琪
职位:腾讯云存储总监、技术负责人
特点:颜值超高,堪称码农界“黄晓明”
说到腾讯云存储,就不得不提COS腾讯分布式存储系统。

作为腾讯数据存储的底层平台,该存储系统从2006年起开始运营,就承载包括QQ相册、微云、微信朋友圈等业务,至今已管理超过EB级数据,相当于1.5万个藏书为1.62亿册的美国国会图书馆。

今天,我们要访谈的对象就是这庞大数据存储背后的操盘手、腾讯云存储总监、技术负责人——黄炳琪。



从开始加入腾讯到现在已经十年,十年之中,黄炳琪一直是个技术的“独立思考”者,在从腾讯开放平台走向云的过程中,他也和腾讯云一起不断成长。

“我们COS系统承载数十亿用户负载,并且多年来从没发生过一起数据丢失事件,靠的不是某一项黑科技,而是在跟业务慢慢磨合过程中,形成了强大的技术沉淀和积累。并且我们非常幸运的是有机会去检验和完善自己的技术。这点是我觉得其他竞品很难去模仿或者超越的地方。”黄炳琪表示。



腾讯云存储的独门“必杀技”

腾讯云COS自2015年正式开放以来,用户对于云存储的需求也在不断变化。这几年,云端积聚大量的视频和图片,相应对视频转码、图片缩放、裁剪等需求也随之而来。
有鉴于此,腾讯云及时推出万象优图和视频处理服务,可支持丰富的图片和视频处理功能,如图片压缩编辑及智能裁剪,视频多转码格式及水印设置等。

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

人脸检索

另外,鉴黄服务当属COS的独门“必杀技”,腾讯每天要接收数亿张图片,而这些图片作为庞大的资源库支撑着鉴黄服务高达99.9%的精准度,最大程度确保安全。

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

专访黄炳琪:腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录
图片鉴黄

谈及背后的技术难度,黄炳琪表示:“其实所有的技术问题,从本质上来说都可以解决,关键是在时间、成本、需求、技术之间做好的权衡”。

技术含量极高,存储是云计算“皇冠上的明珠”

谈及存储,黄炳琪表示:“存储不像其他技术那么花哨,但它绝对是技术含量非常高的一个领域”。

如黄炳琪所说,存储才是整个云的核心,如同盖房子时的“地基”。如今,云计算、大数据乃至人工智能很多复杂性的业务实现,底层都需要存储这一项技术强有力的保障。

“存储是云计算背后的无名英雄”,黄炳琪表示。

在云计算早期发展的过程中,人们更注重的是 “计算”、“流量” 等无状态类型的服务,当人们把比较容易摘到的“果实”摘完之后,巨大的存储市场才显露出来。这时大家才发现,云计算,作为一项相对灵活的技术,对于业务来说,所有的流量可以切走,计算可以迁移,但是存储一旦选择之后,很少再会“挪动”,否则会对业务产生非常大的影响。



奉献开源,颠覆想象的腾讯云存储黑科技

回到前文,腾讯云不靠黑科技,不代表没有黑科技,恰恰相反,基于对存储重要性的认知,腾讯存储“黑科技”探索之路从12年前就已经开始。

首先,腾讯云颠覆了原来操作系统中用户态和内核态传统的概念,平时我们用的Linux操作系统内核很难承担大流量高并发场景,主要原因是传统内核架构在中断、内存拷贝,上下文切换、进程调度时会产生大量的额外性能损耗,腾讯云重新定义了用户空间和操作系统上空间的概念,把所有的代码全部运行到用户空间,不再经过内核空间,这样就会让计算集中在局部空间,从而不会产生额外的消耗。值得一提的是,腾讯云也早已经将这项黑科技F-Stack开源。

另外,在操作系统底层彻底抛弃传统的文件系统,直接面对裸盘,在硬盘上重新组织自己的数据,重新设计自己的调度算法,减少存储过程中,由于传统文件系统带来的额外性能消耗和空间浪费。



走出舒适区,腾讯云存储未来要去“融合”

谈及未来规划,黄炳琪首先想到的是“融合”,他认为,只有云存储和传统存储能够形成一个非常好的融合,才能更好的支撑更多场景的落地。

“我们需要走出原来支撑互联网存储的舒适区,不能抱着去颠覆某个行业或者颠覆一个技术、一个产品的心态,而要更多的去学习和了解传统行业,去融合、去助力、去普惠!”

目前,云计算给全行业带来的影响已经不言而喻,然而不得不承认,在某些行业、场景与云的融合还将进一步升级,腾讯云通过调整最基础的存储战略方向,使云架构的存储和传统存储架构之间更好的融合,或将使云对金融、政务、运输等行业的支撑更加完美。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信邦网联系QQ|Archiver|手机版|小黑屋|鲁公网安备 37082802000167号|微信邦 ( 鲁ICP备19043418号-5 )

GMT+8, 2024-12-23 09:01 , Processed in 0.107211 second(s), 26 queries .

Powered by Discuz! X3.4

© 2001-2013 Wxuse Inc. | Style by ytl QQ:1400069288

快速回复 返回顶部 返回列表