OperationalError: (1366, "Incorrect string value)

举报
彭世瑜 发表于 2021/08/14 00:44:06 2021/08/14
【摘要】 python2爬虫抓取数据的时候,保存到数据库报错: OperationalError: (1366, "Incorrect string value)1 发现字符中存在表情符号 使用re正则库将表情符号过滤掉即可, 去除字符串中emoji符号 # 过滤表情符号 def filter(self, text): try: text = unicode(text, ...

python2爬虫抓取数据的时候,保存到数据库报错:

OperationalError: (1366, "Incorrect string value)
  
 
  • 1

发现字符中存在表情符号
使用re正则库将表情符号过滤掉即可, 去除字符串中emoji符号

# 过滤表情符号 def filter(self, text): try: text = unicode(text, "utf-8") except TypeError as e: pass try: highpoints = re.compile(u'[\U00010000-\U0010ffff]') except re.error: highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]') return highpoints.sub(u'', text)
  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

参考:
python2 去除 字符串中emoji 符号,去除所有4字节utf8字符

文章来源: pengshiyu.blog.csdn.net,作者:彭世瑜,版权归原作者所有,如需转载,请联系作者。

原文链接:pengshiyu.blog.csdn.net/article/details/80969866

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。