记录一下OCR常用的数据集
github地址:https://github.com/zcswdt/OCR_ICDAR_label_revise
OCR常用的数据集
在这个代码仓库里,提供了常用的OCR检测和识别中的通用公开数据集的下载链接。并且提供了json标签转成.txt标签的代码和转换好的.txt标签。
数据集介绍
数据集 | 数据介绍 | 标注格式 | 下载地址 |
---|---|---|---|
ICDAR_2013 | 语言: 英文 train:229 test:233 | x1 y1 x2 y2 text | 下载链接. |
ICDAR_2015 | 语言: 英文 train:1000 test:500 | x1,y1,x2,y2,x3,y3,x4,y4,text | 下载链接. |
ICDAR2017-MLT | 语言: 混合 train:7200 test:1800 | x1,y1,x2,y2,x3,y3,x4,y4,text | 下载链接. 提取码: z9ey |
ICDAR2017-RCTW | 语言: 混合 train:8034 test:4229 | x1,y1,x2,y2,x3,y3,x4,y4,<识别难易程度>,text | 下载链接 |
天池比赛2018 | 语言: 混合 train:10000 test:10000 | x1,y1,x2,y2,x3,y3,x4,y4,text | 检测。 识别 |
ICDAR2019-MLT | 语言: 混合 train:10000 test:10000 | x1,y1,x2,y2,x3,y3,x4,y4,语言类别,text | 下载链接. 提取码: xofo |
ICDAR2019-LSVT | 语言: 混合 train:30000 test:20000 | json格式标签 | 下载链接 |
ICDAR2019-ReCTS | 语言: 混合 train:20000 test:5000 | json格式标签 | 下载链接 |
ICDAR2019-ArT | 语言: 混合 train:5603 test:4563 | json格式标签 | 下载链接 |
Synth800k | 语言: 英文 80k | 基于字符标注 | 下载链接 |
360万中文数据集 | 语言: 中文 360k | 每张图片由10个字符构成 | 下载链接. 提取码:lu7m |
中文街景数据集CTW | 基于字符标注的中文街景图片 | 下载链接 | |
百度中文场景文字识别 | 语言: 混合 32,285 | 下载链接 | |
MSRA-TD500 | 语言: 中英文 Training:300 Test:200 | .gt格式标签 | 下载链接 |
Total-Text | 语言: 英文 Training:1255 Test:300 | 下载链接 |
数据集标签的修正与更改
1.ICDAR2019-MLT
由于在ICDAR2019-MLT数据中存在着人为坐标点标错,这在训练文字检测模型计算文字区域会存在报错,所以本仓库对该数据集进行清洗并且最后到新的数据集。ICDAR2019-MLT新. 提取码:3y8q
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Oy8UK77p-1637634953224)(./ICDAR2019-MLT/ic19_dou_error.png)]。
温馨提示:一、该数据集还存在着gif格式的图片,如tr_img_01674.gif,所以使用该数据集的时候需要注意读图代码的鲁棒性。
二、该数据集中还存在一些标签不规范,有的标注最后一个字符会含有’,’,有的没有,这会导致我们在使用split()函数对标签进行提取坐标信息和文本信息时会出现一定的错误,一定要注意。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-at7Liplq-1637634953227)(./ICDAR2019-MLT/ic19_error.png)]
2.ICDAR2019-LSVT
ICDAR2019-LSVT所有图片的标签存放在一个train_full_labels.json格式文件里,在该代码仓库中运行python3 ic19lsvt_convert_txt.py
来产生每张图片的txt格式的标签。
3.ICDAR2019-ReCTS
ICDAR2019-LSVT所有图片的标签都对应一个json格式文件里,如果需要txt格式的标签,可以在该代码仓库中运行python3 ic19lsvt_convert_txt.py
。当然如果你可以修改代码第48中的--chars
和--lines
来得到字符级标注和基于单词级标注的txt标签。
4.天池比赛2018
ICDAR2019-LSVT数据标注中的坐标格式是逆时针排列,这和icdar的顺时针标注略有不同,所以如果要统一成icdar格式标注,可以在仓库中运行python3 modify_coordinates.py
来产生。
温馨提示:由于天池数据中的图片命名后缀会有.jpg.jpg格式的情况(T1.WBXtXdXXXXXXXX!!0-item_pic.jpg.jpg),导致可能在对图片路径或者是切分路径操作过程中会产生bug,所以建议先给该数据集修改名字,之后在进行使用。
修改名字的代码可以运行python3 revise_name.py
以下链接是我对天池数据做了清洗修改后的链接,可以直接下载使用。下载链接. 提取码:fere
数据集介绍
1.ICDAR-2013
- 数据简介:该数据集由462(训练229,测试233)张英文标注的自然场景图片构成,标注形式为两点水平标注,坐标格式为左上角,和右下角:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4XMaKgft-1637634953229)(./images/ic13.png)]
2.ICDAR-2015
- 数据简介:该数据集由1500张(训练1000,测试500)英文标注的自然场景图片构成,标注形式为四点标注,坐标格式依次为为左上角,右上角,右下角和左下角,如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-03Pbllp1-1637634953230)(./images/ic_15.png)]
3.ICDAR2017-MLT
- 数据简介:该数据集由9000张(训练7200,测试1800)多种混合语言标注的自然场景图片构成,标注形式为四点标注,坐标格式依次为为左上角,右上角,右下角和左下角,如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UvjeNATi-1637634953231)(./images/ic17_mlt.png)]
4.ICDAR2017-RCTW
- 数据简介:ICDAR 2017-RCTW(Reading Chinest Text in the Wild),由Baoguang Shi等学者提出。RCTW主要是中文,共12263张图像,其中8034作为训练集,4229作为测试集,标注形式为四点标注,
数据集绝大多数是相机拍的自然场景,一些是屏幕截图;包含了大多数场景,如室外街道、室内场景、手机截图等等。
5.天池比赛2018
- 数据简介:该数据集全部来源于网络图像,主要由合成图像,产品描述,网络广告构成。每一张图像或者包含复杂排版,或者包含密集的小文本或多语言文本,或者包含水印,典型的图片如图1所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fDIcFhiH-1637634953231)(./images/tianchi18.png)]
6.ICDAR2019-MLT
- 数据简介:该数据集由20000张(训练10000,测试10000)多种混合语言标注的自然场景图片构成,标注形式为四点标注,坐标格式依次为为左上角,右上角,右下角和左下角
10,000个图像在训练集中排序,使得:每个连续的1000个图像包含一种主要语言的文本(当然它可以包含来自1种或2种其他语言的附加文本,全部来自10种语言的集合)
00001 - 01000 :Arabic
01001 - 02000:English
02001 - 03000:French
03001 - 04000:Chinese
04001 - 05000:German
05001 - 06000:Korean
06001 - 07000:Japanese
07001 - 08000:Italian
08001 - 09000:Bangla
09001 - 10000:Hindi
如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eJIlcVXS-1637634953232)(./images/ic19_mlt.png)]
7.ICDAR2019-LSVT
-
数据简介:该数据集由45w中文街景图像,包含5w(2w测试+3w训练)全标注数据(文本坐标+文本内容)构成,40w弱标注数据(仅文本内容),标注形式为四点标注,如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nHfPlrnT-1637634953233)(./images/ic19_lvst.png)] -
说明:其中,test数据集的label目前没有开源,如要评估结果,可以去官网提交:https://rrc.cvc.uab.es/?ch=16
8.ICDAR2019-ReCTS
- 数据简介:ReCTS数据集包括25,000张带标签的图像,训练集包含20,000张图像,测试集包含5,000张图像。这些图像是在不受控制的条件下通过电话摄像机野外采集的。它主要侧重于餐厅招牌上的中文文本。
数据集中的每个图像都用文本行位置,字符位置以及文本行和字符的成绩单进行注释。用具有四个顶点的多边形来标注位置,这些顶点从左上顶点开始按顺时针顺序排列。如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HDggnSp-1637634953233)(./images/ic19_rects.png)]
9.ICDAR2019-ArT
- 数据简介:该数据集共含10,166张图像,训练集5603图,测试集4563图。由Total-Text、SCUT-CTW1500、Baidu Curved Scene Text (ICDAR2019-LSVT部分弯曲数据) 三部分组成,包含水平、多方向和弯曲等多种形状的文本。
如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qcqocQYk-1637634953234)(./images/ic19_art.png)]
10.Synth800k
- 数据简介:SynthText 数据集由牛津大学工程科学系视觉几何组于2016年在IEEE计算机视觉和模式识别会议(CVPR)上发布。
数据集由包含单词的自然场景图像组成,其主要运用于自然场景中的文本检测,该数据集由 80 万个图像组成,大约有 800 万个合成单词实例。
每个文本实例均使用文本字符串、字级和字符级边界框进行注释。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i0nV3QsI-1637634953234)(./images/synth.png)]
11.360万中文数据集
- 数据简介:该数据集利用中文语料库(新闻 + 文言文),通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成共约364万张图片,按照99:1划分成训练集和验证集。
包含汉字、英文字母、数字和标点共5990个字符(字符集合:https://github.com/YCG09/chinese_ocr/blob/master/train/char_std_5990.txt )
每个样本固定10个字符,字符随机截取自语料库中的句子,图片分辨率统一为280x32。如下图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HbJCMwt3-1637634953235)(./images/360.png)]
12.中文街景数据集CTW
- 数据简介:该数据集包含32285张图像,1018402个中文字符(来自于腾讯街景), 包含平面文本,凸起文本,城市文本,农村文本,低亮度文本,远处文本,部分遮挡文本。
图像大小2048x2048,数据集大小为31GB。以(8:1:1)的比例将数据集分为训练集(25887张图像,812872个汉字),测试集(3269张图像,103519个汉字),验证集(3129张图像,103519个汉字)。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yHyHTPVH-1637634953236)(./images/ctw.png)]
13.百度中文场景文字识别
- 数据简介:ICDAR2019-LSVT行识别任务,共包括29万张图片,其中21万张图片作为训练集(带标注),8万张作为测试集(无标注)。
数据集采自中国街景,并由街景图片中的文字行区域(例如店铺标牌、地标等等)截取出来而形成。所有图像都经过一些预处理,将文字区域利用仿射变化,等比映射为一张高为48像素的图片,如图所示:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oblG06r5-1637634953236)(./images/baidu.png)]
14.MSRA-TD500
- 数据简介:总共500张自然场景图片(Training:300 + Test:200)。
数据集特点:多方向文本检测、大部分文本都在引导牌上、分辨率在1296x864到1920x1280之间、包含中英文、标注以行为单位,而不是单词、每张图片都完全标注,难以识别的有difficult标注。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rjrCRPEM-1637634953237)(./images/md500.png)]
15.total-text
- 数据简介:总共500张自然场景图片(Training:1255 + Test:300)。
数据集特点:Total-Text是最大弯曲文本数据集之一-ArT(任意形状文本数据集)训练集中的一部分。用于关于任意形状文本识别阅读任务的创新想法研究。
该代码仓库中运行python3 total-text_icdar.py
可以将total_text标注的转换成icdar数据标注格式的txt标签
文章来源: wanghao.blog.csdn.net,作者:AI浩,版权归原作者所有,如需转载,请联系作者。
原文链接:wanghao.blog.csdn.net/article/details/121487857
- 点赞
- 收藏
- 关注作者
评论(0)