使用mindspore+modelarts体验BERT完成文本分类任务

BERT的大名相信大家已经是耳熟能详了

给大家分享一下用华为出品的Mindspore深度学习框架+modelarts云计算平台完成BERT的finetune和文本分类流程

代码链接：https://github.com/LmYjQ/mindspore_bert

1.准备工作

来自https://github.com/CLUEbenchmark/CLUE里面的今日头条新闻数据集 

华为对象存储下载预训练模型：/chz/bert_base.ckpt，并上传到自己的对象存储

将代码和数据都上传到对象存储OBS

2.预处理：转TFRecord（本地）

第一步：json转tsv

python preprocess.py 'train'
python preprocess.py 'dev'

第二步：tsv转TFRecord

sh run.sh

生成的tfrecord上传到对象存储

这一步是将训练数据解析，并且转换成TFRecord格式，供后续模型训练和评估使用

3.finetune（modelarts）

将bert目录上传到对象存储，modelarts执行的代码目录选它，执行finetune.py

这一步是使用train数据集对bert_base模型做finetune

现在使用计算资源都是免费的哦～

4.评估（modelarts）

执行evaluation.py

这一步是使用dev数据集做evaluation

在日志里可以看到每一个batch的准确率

以上就是使用mindspore做bert的文本分类任务finetune+评估的完整流程了

大家还可以找一些其他的数据集，尝试一下NER或者问答任务

只要自己处理一下数据解析，改一下配置文件就可以～

感兴趣的同学欢迎关注我们的公众号、B站，搜索MindSpore即可，

也欢迎关注MindSpore的抖音账号：MindSpore梯度森林会，持续给大家分享技术干货哦~