自2006年诞生以来,Hadoop技术与社区已走过了13个年头,在经历了大数据技术高速发展之后,迎来了3.x的时代。这些年来,Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地?在全新的时期,有哪些方向值得关注?Hadoop技术社区又将走向何方?2019年8月10日,Hadoop将首次在中国组织meetup,为你揭晓大数据Hadoop技术与社区发展的Roadmap。
活动时间和地点 时间:2019年8月20日
地点:北京希格玛大厦北塔 B1 多功能厅 活动议程9:40-10:00 签到&自由交流 10:00-10:20 Hadoop社区与技术RoadMap分享 10:20-10:50 DevOps Ozone:Hadoop原生对象存储探秘 10:55-11:25 YARN3.x in Alibaba 13:30-14:10 Hadoop Submarine:跨平台的一站式机器学习平台 14:15-18:30 Hadoop在滴滴,小米,美团,头条以及京东的落地实践 讲师及议题>>>>Hadoop社区与技术RoadMap演讲嘉宾:堵俊平-腾讯TEG数据平台部海量存储与计算研发负责人,腾讯开源联盟主席,开源管理委员会委员。Apache Member, Hadoop PMC & Committer, Hadoop社区负责人之一。谭望达 - Cloudera计算平台研发负责人,管理Kubernetes、Hadoop YARN相关的全球研发团队。在开源领域,是Apache Hadoop 项目管理委员会委员,Hadoop社区负责人之一。
议题简介:Hadoop的 3.x时代,有哪些方向值得关注?Hadoop技术社区又走向何方?本次分享将为你揭晓大数据Hadoop技术与社区发展的Roadmap。
>>>>Ozone:Hadoop原生对象存储探秘演讲嘉宾:Anu Enginner:Cloudera PrincipleEngineer,Apache HadoopCommitter & PMC member, Apache Ratis Committer& PMC Member。陈怡(Sammi Chen):腾讯大数据工程师, Apache Hadoop Committer & PMC member, 专注于大数据存储领域。
议题简介:Ozone是由Hadoop社区新发起的一个强一致性分布式对象存储服务。Ozone 拥有和HDFS一样的可靠性,一致性和可用性,支持S3 接口,不仅适用于on-premise 大数据环境,同时也是大数据上云,云端存储的一个很好的选择。本次分享介绍Ozone的构架,和将要发布的0.5版本的新特性。
>>>>YARN3.x in Alibaba 演讲嘉宾:杨弢,2014年加入阿里,目前在计算平台事业部任职技术专家,专注于YARN和Flink资源调度方向,今年7月成为Hadoop Committer。
议题简介:阿里集团内部Hadoop生态的基本情况和YARN3.x上线新特性的应用场景与效果,分享阿里在调度、抢占、资源超卖、作业诊断、在离线混部等方面做出的一些改进和探索,介绍Flink基于YARN特性实现的功能及其应用场景。
>>>>Hadoop Submarine:跨平台的一站式机器学习平台演讲嘉宾:汤占坤,Cloudera软件工程师,也是Apache Hadoop社区的committer。曾经参与领导了在YARN上支持GPU和FPGA,插件式的自定义资源框架以及GPU拓扑感知调度算法等。
议题简介:机器学习系统是一个涵盖了数据处理、特征工程、交互式算法开发和调试、模型训练、在线服务、模型管理等的复杂软件。Hadoop社区发起的Submarine 项目的目标是围绕Notebook 的交互式方式完成上述主要过程,让开发者无需关心复杂的底层基础设施(Docker、YARN、K8s或者混合部署环境),像在本地一样方便的使用。且在这个过程中提供极简易用的用户体验。在该演讲中,我们会介绍Submarine这个项目的现状,并通过演示来加深你的了解。
>>>>YuniKorn-可适配YARN和Kubernetes的新一代轻量级资源调度器演讲嘉宾:杨巍威,Cloudera资深软件工程师,Apache Hadoop的committer和PMC成员。一直专注于大规模分布式系统的存储以及调度系统设计,在Hadoop的HDFS和YARN上都有大量的贡献。近几年主要工作在基于YARN的离线调度、在离线混部、超卖等相关特性的开发。在加入Cloudera之前,曾在阿里巴巴实时计算平台任职,也曾是IBM大数据项目的早期成员之一。
议题简介:YuniKorn是一个经过全新设计的轻量级的分布式系统资源调度器,能够比较容易的集成到YARN或者Kubernetes里面,以承担资源调度的职责。为了讲调度器本身与资源管理平台(如YARN和Kubernetes)解耦,YuniKorn抽象了一层通用的调度器协议接口;而调度核心算法封装在yunikorn-core组件中,实现了经典的层级调度队列,公平调度,弹性的容量管控以及细粒度的强占等特性;yunikorn-core通过寄宿在资源管理平台上的shim层来获得请求的更新,派发调度的决策,而所有的沟通都是使用scheduler-interface。这样,yunikorn-core中没有任何与特定平台相关的语言,可以轻松的与各类平台集成。
YuniKorn的诞生是为了解决通用的调度问题,其中既包含离线批处理任务,也包含在线长运行的任务。通过将各类型任务调度到同一平台,以解决资源利用率不足以及管理低效等问题。除此以外,YuniKorn还提供了用于显示集群资源信息,作业信息以及队列信息的统一视图web UI。
除此之外,还有来自京东、滴滴、小米、美团、头条以及华为的专家到场为大家分享Hadoop落地实践经验。更多精彩,等你来解锁~
活动报名现已启动,点击阅读原文跳转报名链接。名额有限,速度报名~如果你无法来到现场,也可以扫描下方二维码预约现场直播哦~
首届Hadoop技术社区中国meetup来袭!对外报名正式启动!
|