对话式人工智能/自然语言处理

来 NVIDIA 第七届 Sky Hackathon,挑战智能语音垃圾分类任务

Sky Hackathon 由 NVIDIA 发起并主办,项目旨在帮助在校学生、深度学习开发者在NVIDIA Jetson 边缘高性能计算产品上部署和优化人工智能应用。在经验丰富的 GPU 导师指导下,通过黑客松竞赛的方式学习业界所需的深度学习相关应用开发及其并行计算技能,激发学生们的学习兴趣与创新力。
NVIDIA 工程师将亲自为参赛队伍带来他们对最新的深度学习与边缘计算方面的理解、行业的趋势与最新的技术应用及最新开发工具实战技能知识,在训练营中对参赛队伍进行指导。Sky Hackathon 为参加者提供了一个难得的学习并实操的机会,学习嵌入式深度学习开发所需的动手技能, 通过使用 NVIDIA 最新的编程模型、库和工具以加速和优化他们的AI应用程序。整个活动包含了训练营和黑客松比赛,全程采用在线的方式。本次比赛最终成绩排名前三名队伍,将各获得由 NVIDIA 提供的 RTX 3050 显卡一个。其他比赛奖品由本次活动的赞助商创乐博赞助,创乐博将为本次比赛提供 21 件 Jetson Nano 开发套件。比赛最终排名前 20 名队伍的指导教师将获得 Jetson Nano 开发套件一套。本次黑客松比赛首次开设团队最大进步奖,将奖励已经多次参与 Sky Hackathon 系列比赛并在本次比赛中排名进步最大的队伍一套 Jetson Nano 开发套件。为了确保赛事资源有效使用,每个参赛队伍需要缴纳 100 元人民币参赛费用(以团队为单位),请先填写报名表,组委会会联系各队队长,缴纳报名费后(可开具发票),报名才算成功,且中途退赛不退还报名费。50个参赛席位等待您,名额报满即关闭报名通道。

往期活动回顾

第一届活动可以访问:https://mp.weixin.qq.com/s/NmKVftUs5diTrDRl2Rblmg

第二届活动可以访问:https://mp.weixin.qq.com/s/1M50CStTGzQTY2ADuUpeYQ

第二届活动导师评价:https://mp.weixin.qq.com/s/Sue6OV0eZyYlD2vvSLvwEg

第三届活动可以访问:https://mp.weixin.qq.com/s/r-nd9zDbaYdrQ0nZzKl5vg

第四届活动可以访问:https://mp.weixin.qq.com/s/df1QCJ5MRLd8CxrHkSylcg

第五届活动可以访问:https://mp.weixin.qq.com/s/Rt9Xz_YmI9VsjL8tUsjuqg

第六届活动可以访问:NVIDIA 第六届 Sky Hackathon 报名开启,挑战创建 AI 大白,虚位以待!

本次活动主题

参赛题目

挑战智能语音垃圾分类任务垃圾是世界范围内日益严重的环境问题,实行垃圾分类,关系节约使用资源,也是社会文明水平的一个重要体现。
NVIDIA 正在努力加强技术研究,致力于开发创新计算解决方案,同时鼓励开发者们利用 NVIDIA 各种 AI 开发工具,激发创造力,科技赋能,给垃圾分类注入“智慧力量”。本次 Hackathon 活动以 “挑战智能语音垃圾分类任务” 为主题。赛事涵盖:语音识别、垃圾检测及用户接口的 web 页面实现等。

应用流程图

比赛内容说明

比赛过程说明
1. 数据采集:每组参赛队伍自行分工,收集数据集并标注用于模型的训练 (语音数据需录制、图像数据需标注) 。
2. 模型训练:每组参赛队伍需要根据组委会提供的教程,在自己的服务器上搭建环境,训练自动语音识别模型、目标检测模型、语音合成模型。
· ASR 自动语音识别:根据录制的语音数据制作语音识别数据集,结合对话式 AI 工具库NeMo,训练自动语音识别模型,通过模型来识别语音指令(如:请检测出瓶子)
· CV 目标检测:收集纸箱、果皮和瓶子数据集, 利用 NVIDIA TAO Toolkit 训练检测模型.  利用TensorRT优化训练好的模型, 生成可执行的目标检测推理引擎。完成图像中的垃圾检测和识别,输出识别结果与文字回复。
3. 模型推理:参赛队伍最终将训练好的模型部署到组委会提供的 Jetson Xavier NX 集群上,进行最终的推理测试。
4. 本次活动:不限定参赛者选用的模型以及使用的训练数据集。
5. 正式比赛时:组委会会提供最终测试数据和评分规则。每个参赛队伍需要利用评分规则和最终的测试数据对程序进行评分。
6. 注意:除了在 Xavier NX 平台上提交模型进行比赛外,各参赛团队还要提交一份不少于 800 字的项目报告(项目报告模板见附件)

在此过程中,学生将会实际体验到:

  1. 基于目标识别的深度学习模型的训练过程
  2. 利用 NVIDIA TAO 对模型进行剪枝等优化过程
  3. 利用 NVIDIA TensorRT 对训练好的模型进行部署
  4. 利用 NVIDIA NeMo 进行自动语音识别模型的训练
  5. 利用 NVIDIA NeMo 将自动语音识别模型部署在 Jetson Xavier NX 上
  6. 利用 Jetson Xavier NX 进行实际场景实验
  7. 深度学习数据集的收集,筛选,清理和标注以及语音数据集的录制构建等过程
  8. 基于 Flask web 框架创建完整的应用系统

活动日程安排活动形式:线上活动安排:

10月28日-11月11日线上报名(https://jinshuju.net/f/crRiOo),每个参赛队员都需要报名。报名后,组委会联系队长缴纳报名费后才算报名成功。且中途退赛不退还报名费。报名时间内,如果所有席位报满,组委会将有权提前关闭报名通道。
11月12日第一次 AI 训练营
9:30-9:40欢迎致辞NVIDIA Maggie
9:40-11:40宣布黑客松的比赛规则,如何在服务器端利用 NVIDIA TAO 工具来训练模型(视觉)NVIDIA Ken
中午休息
14:00-15:00讲解自动语音识别快速入门+利用 NeMo 工具库在服务器端训练 ASR 自动语音识别NVIDIA YiPeng
11月19日第二次 AI 训练营
9:30-9:40前情回顾NVIDIA Ken He
9:40-10:30介绍如何在 Jetson Xavier NX 上利用 TensorRT部署 TAO 训练的目标检测模型NVIDIA Ken He
10:30-11:00介绍如何在 Jetson Xavier NX 上部署 NeMo 训练的自动语音识别模型NVIDIA Yipeng
10:30-11:30介绍用户接口的 web 页面实现NVIDIA Wilson
中午休息
14:00-14:20赞助商产品介绍赞助商
14:20-14:35Jetson 云平台介绍GPUS Hawk
14:35-18:00参赛团队远程上机操作,答疑
11月25日线上测试
18:00-24:00开放 Jetson Xavier NX 云平台给参赛队伍做测试
11月26日线上测试
8:00-24:00开放Jetson Xavier NX 云平台给参赛队伍做测试
11月27日比赛
8:00-14:00开放 Jetson Xavier NX 云平台给参赛队伍做测试
14:00-18:00各队开始远程提交最终模型,组委会进行模型性能评测,系统停止接受模型提交时间为 18:00同时各参赛团队需要在18点之前提交一份不少于800字的项目报告。如果有评分一样的,需要有加时赛直到确定比分顺序
11月28日公布比赛结果及大赛总结
10:00-10:15公布比赛结果NVIDIA/赞助商
10:15-11:00本次大赛选手发挥及经验总结NVIDIA Ken

参赛推理平台
硬件平台:NVIDIA Jetson Xavier NX( 8G Memory )操作系统:Ubuntu 18.04 L4T 64 位元桌面版开发环境:CUDA 10.2、CUDNN8.0、TensorRT8.0、OpenCV4.1.1教学环境:Jupyter Lab 2.1.2同时为参赛队伍提供真实的 Jetson Xavier NX 编程环境

评分标准
* 1. 自动语音识别推理精度评估(accASR):将服务器端训练好的语音识别模型上传到 NANO 节点上实现推理,调用语音识别模型进行推理完成语音识别任务,并计算字错率 (cer_score) 分数,进而得到准确率的分数即(accASR = 1 -cer_score)。
* 2. 目标检测推理精度评估:将最终提交的模型在 Jetson NX  节点上进行部署,在 Jetson NX 上对图片钟的垃圾进行检测, 根据组委会提供的统一测试数据集进行推理并计算 mAP 精度部分。
* 3. 目标检测模型推理速度评估:将最终提交的模型在 Jetson NX 节点上进行部署, 在 Jetson NX 上对垃圾进行检测分类。根据组委会提供的统一视频进行推理, 并计算推理速度 FPS。
* 4. 系统页面完整性和创新性: 最终提交的系统需要有一个用户界面, 完成完整的用户界面并能顺利操作才能得到最终的得分 25 分。
* 5. 额外加分项:▷ 本教程在语音识别部分提供 Quartznet 预训练模型为基础,若能够灵活使用框架内其他语音识别预训练模型完成推理,则最终成绩 isOthermodel 加 2 分,若能够自制语音数据集进行模型训练并完成推理,则最终成绩 isOthermodel 加 5 分

▷ 视觉部分( 修改 resnet18 ,isOthermodel 加 3 分,修改 ssd ,isOthermodel 加5分,如:利用 ssd-mobilenet 则加 3 分,利用 yolo-resnet18 加 5 分 )
▷ 用户界面创新性, 如果能够在用户界面中增加新的功能或者作出有特色的美化和优化, 那么可以额外为 UI 加 5 分

最终成绩通过以上4项分数的排名和第五项额外加分项获得:
语音识别排名 : rankASR
视觉精度排名 : rankMAP
视觉速度排名 :rankFPS
系统用户界面 : rankUI
语音额外模型 :asrOtherModel (最高加5分)
视觉额外模型 : cvOtherModel(最高加5分)
UI 美化创新  : UI (最高加5分)
参加的全部队伍数量 :teams

最终成绩FinalScore = 100 – (rankASR -1)*25/teams – (rankMAP -1)*25/teams – (rankFPS -1)*25/teams – (rankUI -1)*25/teams + asrOtherModel + cvOtherModel +UI

分数最高者为胜出团队。
另外本次比赛另设考勤分数,即参赛团队必须完成两次在线AI训练营打卡,即可获得考勤分。并且考勤情况我们也会通知团队导师。

赛事交流和答疑本次 Hackathon 活动会提供专属赛事交流微信群,所有符合参赛条件的团队成员将被组委会人员邀请加入微信群。

NVIDIA 在开发者社区论坛会提供专属赛事栏目:

https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179

有关赛事的技术问题请在论坛上提问。组委会技术团队会负责技术答疑。

第一届赛事技术问题回顾可以访问:

https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179

NVDC-TLT 安装文档:

https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11673&extra=page%3D1

项目报告模板:

https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11674&extra=page%3D1

TLT 相关资料下载地址:

https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11675&extra=page%3D1

关于参赛团队导师此次活动采用导师制。所以每个参赛队伍都需要有一名指导老师。导师需要能够敦促参赛团队完成两次在线 AI 训练营的学习,以及最后的比赛。能给予团队成员一定的技术指导。所有导师带队的团队能完成最后的比赛,且成绩有效,前二十名队伍的参赛导师也将获得由创乐博赞助的 Jetson Nano 开发套件各一台(如队伍导师重复,也只发一台)

Q&A

Q: 我能参加吗?A : Sky Hackathons 目前针对高校学生,当然有兴趣参与的高中学生也欢迎。一般不需要有 GPU 编程经验,但是最好有一定 Python 和编程基础;对深度学习、神经网络有一定理论基础;需要自己准备数据训练用的 GPU 服务器/工作站或者 GPU 云;本次活动暂时不接受非学生者参加。

Q: 如何报名?A : 黑客精神就是团队合作,每队需要选出一名队长,并为团队起个名字。此次活动采用导师制。所以每个参赛队伍都会有一名指导老师。所有团队成员应单独报名,并填写团队名称以及导师名字每队限3-5人(不含导师)。如果报名团队多余5人或者少于3人,我们将视为团队无效。
团队报名:识别以下二维码组队报名。

Q: 有奖励么?A : 一般来说,NANO Hackathon 是合作而不是竞争。最好的奖品是代码的新性能级别、与专家的相处时间、在 Jetson 平台上运行的能力以及难忘的体验,这些都可能使您更接近一篇新的论文或演讲。但是,我们确实会颁发一些象征性的奖品和参赛证书。
优胜奖:三个 ,每个队伍获得 NVIDIA 提供的 RTX 3050 显卡一个
纪念奖:每位参赛选手,并获得参赛证书和参赛纪念品。

Q: 如何缴纳报名费?A : 团队在线报名后,请队长在24小时内缴纳报名费用,每个团队费用为100元人民币(跟参赛人数无关)组委会合作伙伴会开具 “技术服务费” 增值税普通电子发票。

支付宝转账

支付宝账号:18915751925 顾海燕 (请备注团队名称)

24小时内没有缴纳报名费用,则席位取消。

报名时间内,如果所有席位报满,组委会将有权提前关闭报名通道。


– – – 项目报告模板 – – –
第七届 Sky Hackathon参赛项目书参赛学校:______________________参赛队名:______________________指导老师:______________________团队成员:_______________________________________________________________________________________________________________________________________________________________________   
项目说明:描述一下数据集收集和标注情况:描述一下您们是如何进行模型训练(比如训练的时间,训练的结果,如何完成 NeMo 语音识别的模型训练,如何利用 NVIDIA TAO 对模型进行剪枝等优化过程等)描述一下您们是如何在 Jetson Xavier NX 进行部署和推理总结(团队收获及照片

Tags