聚焦AI大数据,Volcano社区开源之夏课题邀你挑战!

举报
云容器大未来 发表于 2024/05/13 09:35:55 2024/05/13
【摘要】 线上实习+大咖导师+8000/12000奖金!Volcano社区开源之夏课题等你挑战!

1.png

📮滴,学生卡!您已收到来自Volcano社区的开源之夏邀请~

Volcano是业界首个云原生批量计算社区,也是 CNCF 首个及唯一孵化级批量计算项目。Volcano主要用于 AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持社区已吸引5.8万+全球开发者,并获得3.8k+Star 和800+ Fork,参与贡献企业包括华为、AWS、百度、腾讯、博云、京东、小红书、第四范式、bilibili等

🏷️社区地址:https://github.com/volcano-sh/volcano

目前,Volcano在人工智能、大数据、基因测序等海量数据计算和分析场景已得到广泛应用,完成对 Spark、Flink、Tensorflow、PyTorch、Argo、MindSpore、Paddlepaddle 、Kubeflow、MPI、Horovod、Mxnet、KubeGene、Ray 等众多主流计算框架的支持,并构建起完善的上下游生态。

2.png

Volcano社区已连续4年加入开源之夏,并在今年带来5项课题,欢迎高校同学选报,报名时间4月30日-6月4日。开源之夏是由中国科学院软件研究所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。

Volcano社区开源之夏2024课题

课题一:Volcano支持Pod Scheduling Readiness调度

项目编号:243ba0503

项目难度:基础/Basic

项目社区导师常旭征

导师联系邮箱cxz2536818783@gmail.com

项目简述Pod 一旦创建就被认为已准备好进行调度。在 kube-scheduler 中,它会尽职尽责地寻找节点来放置所有待处理的 Pod。然而,在现实情况下,某些 Pod 可能会长时间处于“缺少必要资源”状态。这些 Pod 实际上以不必要的方式干扰调度程序(以及 Cluster AutoScaler 等下游组件),造成资源浪费等问题。Pod Scheduling Readiness是 kube-sheduler 的一项稳定功能。它通过设置Pod的schedulingGates字段来控制Pod的调度时机。Volcano也应该支持该功能,以增强调度功能,避免无意义的调度,提升调度效率,进行调度准入等。

参考:https://kubernetes.io/docs/concepts/scheduling-eviction/pod-scheduling-readiness/

项目链接https://summer-ospp.ac.cn/org/prodetail/243ba0503?list=org&navpage=org


课题二:Volcano支持多集群AI任务调度中的队列容量管理能力

项目编号243ba0505

项目难度进阶/Advanced

项目社区导师王龙辉(lowang-bh)

导师联系邮箱lhui_wang@163.com

项目简述随着AI大模型的迅速发展,单个K8s集群由于资源和性能瓶颈,已越来越不能满足大模型AI作业训练的需求,越来越多的用户使用多集群来管理和运行AI作业,Volcano正在支持多集群AI作业的任务调度,这其中涉及到多集群的作业管理、多租户任务公平调度,队列管理等系列需求。多集群编排系统Karmada已逐渐成为业界标准,Volcano需要基于Karmada现有的能力,构建多集群场景下的AI作业调度能力,弥补Karmada调度方面缺失的队列管理等能力,以解决多集群场景下AI作业任务调度、队列管理、多租户配额管理问题。

项目链接https://summer-ospp.ac.cn/org/prodetail/243ba0505?list=org&navpage=org


课题三:Volcano支持弹性层级队列管理

项目编号243ba0509

项目难度进阶/Advanced

项目社区导师:李鑫

导师联系邮箱hwdefcom@outlook.com

项目简述:在云原生AI任务调度场景下,公平调度和资源利用率是用户比较关注的问题,Volcano社区已经构建了弹性队列管理插件capacity,以支持细粒度的资源借入借出和队列管理,提升资源利用率,但在实际场景中,队列通常是层级的,对应公司团队的层级组织架构,为了更加符合实际的队列使用场景,进一步提升AI任务调度的资源利用率,Volcano需要在capacity的基础上支持层级队列管理能力。

项目链接https://summer-ospp.ac.cn/org/prodetail/243ba0509?list=org&navpage=org


课题四:云原生批量计算项目Volcano UI & Monitor系统

项目编号243ba0574

项目难度基础/Basic

项目社区导师:王雷博

导师联系邮箱wangleibo1@huawei.com

项目简述:作为首个云原生批量计算项目Volcano,提供了丰富的功能和优异的性能,帮助用户提升AI和大数据的性能以及提升整体资源利用率,然而对于很多用户来说,Volcano因为缺少前端UI以及监控,整体的使用成本以及学习曲线较高,尤其是对于集群管理员,无法通过UI对队列、作业进行管理以及无法直观的查看资源的总量、余量以及作业的进度等。

该项目将设计和实现一套Volcano项目的前端UI,该UI具体包含如下内容:

1. 集群资源信息查看

2. 队列管理

2.1 查看队列 ( reservation, min, max, allocated resource, job数量等)

2.2 配置队列(reservation,min, max)

3. 工作负载

3.1 查看Job状态

3.2 配置Job的关键属性

4. 配置调度器的调度策略

项目链接https://summer-ospp.ac.cn/org/prodetail/243ba0574?list=org&navpage=org


课题五:Volcano 性能基准测试和压力测试

项目难度243ba0576

项目难度进阶/Advanced

项目社区导师:汪洋

导师联系邮箱wysea1990@163.com

项目简述:Volcano开源项目提供了丰富的作业管理、队列管理、调度策略等功能,目前缺少一套公开的性能测试和压力基准测试。如果有一份性能基准测试报告,它将会帮助大数据用户以及HPC用户快速评估是否可以将他们的业务从传统软件迁移到Kubernetes和Volcano系统。同时也有利于新研发算法的有效性评估。

本课题目标是设计和实现一套性能测试的方法以及标准,然后进行充分的性能及压力测试,最终提供一份报告。

项目链接https://summer-ospp.ac.cn/org/prodetail/243ba0576?list=org&navpage=org

如何报名开源之夏Volcano课题?

3.png

报名对象

  • 本活动面向年满 18 周岁的高校在校学生。
  • 暑期即将毕业的学生,只要申请时学生证处在有效期内,就可以报名活动。
  • 中国籍学生参与活动时需提供身份证、学生证、教育部学籍在线验证报告(学信网)或在读证明。
  • 外籍学生参与活动时需提供护照,同时提供录取通知书、学生卡、在读证明等文件用于证明学生身份。
4月30日-6月4日,符合条件的学生可以通过开源之夏官网(https://summer-ospp.ac.cn/)注册、与导师沟通项目并提交项目申请。

▶ 与导师建立沟通

Volcano社区开源之夏课题感兴趣的同学,可以通过本文上方导师邮箱或社区宣讲等方式,提前联系导师沟通课题要求,了解与锁定适合自己的项目;

▶ 准备项目申请材料提交申请

1. 查看学生指南(https://summer-ospp.ac.cn/help/student/)中的【项目申请模板】,并根据要求准备相关材料。

2.点击项目主页中的【加入备选】按钮,进入系统个人中心【我的项目】中点击【查看】按钮,上传简历及项目申请书;

3. 对所有项目申请书进行优先级排序,若同时被多个项目选中,则根据提交的项目排序,优先中选优先级高的项目;

4. 点击【排序并提交】按钮提交全部项目申请。

▶ 学生可以收获什么?

  • 结识开源界小伙伴和技术大牛

  • 获得社区导师的专业指导,与开源项目开发者深度交流

  • 丰富项目实践经验,提升项目开发技能

  • 为学习方向提供参考,为职业发展积累人脉

  • 通过结项考核的学生将获得结项奖金和结项证书(基础难度税前8000元RMB,进阶难度税前12000元RMB),更有机会获选优秀学生

Volcano社区技术交流与联系

4.png

添加社区小助手k8s2222

回复Volcano开源之夏进入技术交流群

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。