他的回复:
感谢您的回复,所有的都跑通了,但是还有个问题。29 epoch,29000 steps 得到的accuracy是0.06482526,感觉很不合理,但是不知道是哪里的问题。 数据集是下载dump-wiki 20210101,并且按照https://github.com/mlcommons/training/tree/master/language_model/tensorflow/bert所给的流程一步步做成的(有578个文件,文件名为part-00***-of00500.tfrecord,*** 表示从000取到577)。 测试用的数据集是使用part-00000-of00500.tfrecord。 代码没有改动过。