云社区 python
# python #
扯个淡：用Python实现中文编程
Python是面向对象的编程语言，Python中一切都是对象，函数也不例外。所以，我们可以把函数赋值给变量。通过把内置函数（英文）赋值给中文变量就实现了函数的汉化，顺便也把正则re的函数名也个给汉化一下下： 正则.搜索 = 正则.search。哈哈，汗不汗～
作者小头像 Huawei Cloud Expert
9
0
1
不要相信requests返回的text
一句函数调用，就可以获得请求结果的对象response，通过response.content 可以得到原始的二进制数据，通过response.text可以得到解码后的文本数据，解码是根据response.encoding进行的。然而，requests对这个encoding（编码）的获取是有问题的。
作者小头像 Huawei Cloud Expert
10
0
0
打包你的Python程序并绑定CPU
客户想要运行你的程序，还有以下步骤： 第一步，让你客户在他的机器上运行程序获得CPU序列号并发给你，你用你的授权码生成算法生成一个授权码发个客户； 第二步，客户把授权码配置到程序中（比如，写入一个指定文件）就可以成功运行了。
作者小头像 Huawei Cloud Expert
7
0
0
简说Python Web异步框架
Tornado是Python 2时代的明星，比起Django的笨重来它更轻巧，赢得了很多人的喜爱，也包括本人。多年前，开始接触Web开发就是从它开始的。到了Python 3 这个异步盛行的时代，Tornado 有些廉颇老矣。虽然它有异步支持，但是各种测试来看，都敌不过后起之秀的强劲。如果你现在想开始web开发，就不要用它了，去拥抱Sanic吧
作者小头像 Huawei Cloud Expert
13
0
1
如何让爬虫一天抓取100万张网页
2.requests请求优化 要优化requests.get(timeout=1.5)的超时时间，不设置超时的话，有可能get()请求会一直挂起等待。而且野云主机本身性能就不稳定，长时间不回请求很正常。如果要追求抓取效率，超时时间设置短一点，设置10秒超时完全没有意义。对于超时请求失败的，大不了以后再二次请求，也比设置10秒的抓取效率高很多。
作者小头像 Huawei Cloud Expert
13
0
1
只因写了一段爬虫，公司200多人被捕！
“一个程序员写了个爬虫程序，整个公司200多人被端了。”“不可能吧！”刚从朋友听到这个消息的时候，我有点不太相信，做为一名程序员来讲，谁还没有写过几段爬虫呢？只因写爬虫程序就被端有点夸张了吧。朋友说，消息很确认并且已经进入审判阶段了。01.对消息进一步确认朋友认识几个律师朋友，和他们有一些业务来往，得知他们想尝试把业务扩展到程序员这个群体。那段时间我刚好离职也有时间，在朋友的安排下一起聊聊看...
作者小头像 技术火炬手
33
0
1
爬虫小偏方：绕开登陆和访问频率控制
分析完后，我就舒缓了很多，得出新的抓取思路，就是： 使用10个账号按一定频次通过APP不停的获取每个用户详细页分享到微信的URL，让另外一个程序模仿微信的user-agent不停的访问这些分享到微信的URL（要使用adsl拨号来解决单个IP访问频率控制问题）。 这样通过app加微信的方式解决了对账号的限制问题，实现了曲线救国。
作者小头像 Huawei Cloud Expert
9
0
1
爬虫小偏方二：修改referer后可以不用登录了
这些网站为什么会厚此薄彼呢？ 是有些网站想获取SEO流量，就把从搜索引擎点击进入的访问控制放得较为宽松的原因。所以当你遇到如上两个问题时，先改一改referer试试，这样可以节省你不少的研究时间。这适用于有的爬虫是个临时任务或者一次性的爬虫，不用长期维护，你快速写好抓完数据就好的时候适用。
作者小头像 Huawei Cloud Expert
6
0
0
爬虫小偏方系列：robots.txt快速抓取网站的小窍门
写爬虫有很多苦恼的事情，比如： 1.访问频次太高被限制； 2.如何大量发现该网站的URL； 3.如何抓取一个网站新产生的URL，等等；
作者小头像 Huawei Cloud Expert
9
0
2
爬虫挣钱系列：数据整合之--结构化人名的机会
如何抓取？ 抓取网页需要入口，需要准备一些关键字，比如：嘉宾介绍、高管介绍，作者简介、公司董事等等关键词借助百度，google，微信，微博等搜索渠道，过滤出可能的网页，然后对这些网页实施抓取和结构化。结构化是超级繁琐的事情。如何抓取？
作者小头像 Huawei Cloud Expert
4
0
0
总条数：308
    到第页
    热门标签