ChatGPT必将在文档处理领域大有所为,未来以来,拭目以待

举报
码农飞哥 发表于 2023/03/29 10:02:06 2023/03/29
【摘要】 其中最有前景的是 ChatGPT 技术,它能够自动识别和处理文档中的信息,同时它也可以识别图像并且理解图像表达的信息。本文由现有图像识别领域和文档建模领域的一些突破出发,进而探讨 ChatGPT 技术在文档处理和图像处理中的应用和未来发展趋势。

您好,我是码农飞哥(wei158556) ,感谢您阅读本文,欢迎一键三连哦
💪🏻 1. Python基础专栏,基础知识一网打尽,9.9元买不了吃亏,买不了上当。 Python从入门到精通
😁 2. 毕业设计专栏,毕业季咱们不慌忙,几百款毕业设计等你选。
❤️ 3. Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当 。python爬虫入门进阶
❤️ 4. Ceph实战,从原理到实战应有尽有。 Ceph实战
❤️ 5. Java高并发编程入门,打卡学习Java高并发。 Java高并发编程入门

[TOC]

1. 前言

文档处理和图像处理是人们在日常生活中不可或缺的一部分。从商业合同到医学报告,人们需要文档来记录和传递信息。这些文档有时非常复杂,需要花费大量的时间和劳动力来处理。 然而,随着技术的进步,我们已经看到了许多革命性的工具和技术的出现,可以简化文档处理的过程。其中最有前景的是 ChatGPT 技术,它能够自动识别和处理文档中的信息,同时它也可以识别图像并且理解图像表达的信息。本文由现有图像识别领域和文档建模领域的一些突破出发,进而探讨 ChatGPT 技术在文档处理和图像处理中的应用和未来发展趋势。

2.现有图像处理流程

首先,我们需要了解何为图像处理呢?通俗易懂的说就是通过计算机来处理图像,从图像中提取有价值的信息。如下图所示:

人类可以通过听觉感知(耳朵)来识别语音信号;通过视觉感知(眼睛)来识别图像信号;通过运动感知(手)来识别轨迹信号。

同理,计算机也可以通过相应的技术来处理这些外部信号。计算机可以通过语音识别技术来识别语音信号;通过OCR(Optical Character Recognition,光学字符识别)技术来识别图像信号;通过手写识别来识别轨迹信号(手写信息)。

识别完成之后就可以对识别到的信号进行后续处理,从而提取图像或语音中的文本/结构/语义等信息。

2.1. 图像不清楚咋办?

然而,理想很丰满,现实很骨感,在实际场景中图像识别会存在诸多的痛点和难点。如下罗列了几种常见的图像问题。

1. 如何处理图像形变(弯曲,折叠,皱等)的问题呢?

手持镜头拍照得到的文档图像往往存在着复杂的几何形变,包括拍摄视角、纸张本身的折叠、褶皱、弯曲以及厚度等因素,都会造成拍摄图像存在畸变。

如下图图片右边发生了折叠,并且拍摄角度倾斜,有无关的区域,对这图像不处理直接去进行OCR识别是比较困难的一件事。

1. 如何去除图像中的摩尔纹呢?

当我们对着电脑屏幕拍照时,所拍摄的图片会出现彩色的高频率条纹,也就是摩尔纹,如下图所示的图片。该图片不仅仅出现了摩尔纹,而且还存在倾斜的情况,这些情况给图像识别带来了很大的困难。

1. 拍摄的图片模糊不清晰该如何处理呢?

有时候受限于拍摄角度和拍摄光线的影响,用户所拍摄的照片内容非常不清晰,并且图片中还存在污渍,如下图所示:

2.2. 问题图像轻松识别!

上述图像问题一度让我感到十分困惑,不过近期,我在CSIG企业行-走进合合信息 的直播中通过郭老师的讲述了解到, 合合信息 是如何通过一系列自研的关键技术来处理这些问题。下图展示了整个OCR识别的过程,即在接收到一张图片之后,扫描全能王 所进行一系列操作。

1. ROI提取:首先,识别到一张图像之后,将图像分为若干个待提取信息的区域,然后按照区域提取信息。

2. 形变矫正:针对图像的形变矫正,合合信息采用基于位移场网络学习方法的系统构架,可对形变文档进行智能矫正,包括弯曲矫正与透视矫正,同时智能定位文档边缘,切除多余背景。

3. 图像恢复:合合信息采用多重神经网络技术,通过分析暗角、摩尔纹的形成原理,对图像中存在的干扰因素进行对应处理,可去除所有样式的摩尔纹,同时保证图像信息完整、颜色不失真。与此同时,通过合合信息阴影处理技术,可以智能消除图像中的阴影,提升材料规范性与后续的识别准确性。

4. 质量增强:通过增强锐化提升图像质量、突出文字,使之达到清晰可读的效果。

下面我们可以看下上述三张图片增强之后的效果。


1. 经过上述四个步骤的处理之后,就可以得到能够清晰方便识别的图像,接着就可以对文档进行智能扫描,识别分析,图片转成Word/Excel等操作。

文档和图像识别的问题解决了,那么将这些技术与ChatGPT结合会碰撞成怎样的火花呢?

3.ChatGPT在文档图像处理领域中展望

3.1. ChatGPT的简介与原理

ChatGPT 是一种基于人工智能和自然语言处理技术的大型语言模型。它的基本原理是使用深度学习算法对大量的文本进行训练,并利用这些训练数据来生成自然语言的响应。

ChatGPT 通过学习大量的数据来获得对自然语言的理解和应用,因此它能够识别并理解文档中的关键信息,然后生成符合人类语言习惯的文本回复。ChatGPT 可以被用于自动化文档处理、对话系统,问答系统,图像识别等场景。

它的原理是基于自回归语言模型(Auto-Regressive Language Model),它是一种基于深度学习的自然语言处理技术,可以用来生成自然语言文本。它使用一种叫做Transformer的模型,它可以训练一个模型来预测下一个词,从而生成文本。

与此同时,ChatGPT还能够通过人类反馈进行强化学习,从而对齐人类指令。

方法总体上包括三个不同步骤:

1. 预训练语言模型(LM),也就是收集演示数据并训练有监督策略。

2. 收集数据,训练奖励模型:也就是手机比较数据并训练奖励模型

3. 使用强化学习对LM进行微调,也就是使用PPO强化学习算法针对奖励模型优化策略。

步骤 1 只进行一次,而步骤 2 和步骤 3 可以持续重复进行:在当前最佳策略模型上收集更多的比较数据,用于训练新的 RM 模型,然后训练新的策略。具体如下图所示:

目前,最新版的ChatGPT-4 已经可以进行图像识别,并且可以完全理解图片,下图的案例中,我们向ChatGPT提问:如果剪断绳子,会发生什么?ChatGPT给出的回答是:"气球会飞走"。这就说明了ChatGPT已经可以做到对图像的识别以及可以对图像进行逻辑分析。

3.2. ChatGPT在图像领域的展望

那么,我们完全可以合理的展望ChatGPT在未来图像文档领域的广阔作为,我认为有如下几个作为。

1. 图像分类与标记:未来ChatGPT应该可以对大批量的图片进行分类与标记,用户只需要上传需要分类和标记的图片给ChatGPT,然后通过自然语言告诉ChatGPT按照怎样的维度对这些图片进行分类和标记。比如上传一批美食的图片,可以让ChatGPT按照美食的菜系进行分类,也可以让ChatGPT按照美食口味进行分类。

2. 智能绘图:用户可以通过语音指令或手绘工具,让ChatGPT帮助创建或修改简单的图像或文档,如流程图、简单草图等,我认为我们还可以上传一张已有的流程图或者其他的UML图,让ChatGPT来检测所上传的图片的语法错误,以及逻辑错误,并做相应的修改。

3. 图像检索:ChatGPT可以处理海量的视觉数据,并能够将关键字与图像的语义特征相匹配,从而准确地检索相关的图像。

4. 图像生成:ChatGPT可以基于给定的文本描述生成与之匹配的图像。如生成照片、插图,logo等,未来ChatGPT生成的图像将更加有创意,有内涵。

5. 图像生文:在不远的未来,ChatGPT必将可以具备看图写文的能力,我们只需要上传一张图片给ChatGPT。然后告诉他需要写一篇什么样题材的文章。ChatGPT就可以给我们生成一篇原创的作文。

4. 总结

本文首先介绍了在图像文档处理领域里的一些最新的进展,然后结合ChatGPT在图像文档领域中的应用场景做了一些展望。

ChatGPT作为划时代的大型语言模型,可以说它真正的实现了人工智能。它通过海量的入参,海量的训练模型,实现了对自然语言很好的理解能力。未来必将实现图生文,文生图,图像分类识别,图像检索等即有用又有趣,更能提高生产力的好功能。

5. 如何免费获得ChatGPT相关图书呢?

为了回馈广大粉丝们更好的了解ChatGPT的使用以及原理。本博主决定给小伙伴们送出共4本【Python机器学习:数据建模与分析 ChatGPT背后的逻辑
】。在此特别感谢 机械工业出版社有限公司的赞助,所有图书均包邮包邮包邮!!!!

Python机器学习:数据建模与分析 ChatGPT背后的逻辑 ,本书采用理论与实践相结合的方式,引导读者以Python为工具,以机器学习为方法,进行数据的建模与分析。本书共13章,对机器学习的原理部分进行了深入透彻的讲解,对机器学习算法部分均进行了Python实现。除前两章外,各章都给出了可实现的实践案例,并全彩呈现数据可视化图形。

所有获奖用户先三连:评论,点赞,收藏。

1. 评论获得

1. 本文优质评论两条,且该评论点赞数是最高的,分别获得《Python机器学习:数据建模与分析 ChatGPT背后的逻辑》一本!
如果2条评论点赞数并列第一的,以评论的时间谁早!

2. 关注【码农飞哥】抽奖获得

关注【码农飞哥】公众号,私聊博主,博主会随机抽取两个小伙伴,获得《Python机器学习:数据建模与分析 ChatGPT背后的逻辑》。

统计截止时间:2023/04/02 18:00:00


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。