Python爬虫:利用urlparse获取“干净”的url
【摘要】 urlparse 类似处理操作系统路径的 os.path 模块,能够很好的处理网址路径
导入模块
python3
from urllib.parse import urlparse, urljoin1
python2
from urlparse import urlparse, urljoin1
使用测试
url = "https://cdn.itjuzi...
urlparse 类似处理操作系统路径的 os.path 模块,能够很好的处理网址路径
导入模块
python3
from urllib.parse import urlparse, urljoin
- 1
python2
from urlparse import urlparse, urljoin
- 1
使用测试
url = "https://cdn.itjuzi.com/images/51202bf56a442ba934fe15d34a3f2976.png?imageView2/0/w/58/q/100"
ret = urlparse(url)
print ret
# ParseResult(scheme='https', netloc='cdn.itjuzi.com',
# path='/images/51202bf56a442ba934fe15d34a3f2976.png',
# params='', query='imageView2/0/w/58/q/100', fragment='')
link = urljoin(ret.scheme+"://"+ret.netloc, ret.path)
print link
# https://cdn.itjuzi.com/images/51202bf56a442ba934fe15d34a3f2976.png
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
封装成函数
def get_clean_url(url): """ 获取干净的url链接 :param url: {str} url链接 :return: {str} 干净的url链接 """ ret = urlparse(url) link = urljoin(ret.scheme + "://" + ret.netloc, ret.path) return link
print(get_clean_url(url))
# https://cdn.itjuzi.com/images/51202bf56a442ba934fe15d34a3f2976.png
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
文章来源: pengshiyu.blog.csdn.net,作者:彭世瑜,版权归原作者所有,如需转载,请联系作者。
原文链接:pengshiyu.blog.csdn.net/article/details/80607140
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)