扯个淡：用Python实现中文编程
作者小头像Huawei Cloud Expert
8
0
1
Python是面向对象的编程语言，Python中一切都是对象，函数也不例外。所以，我们可以把函数赋值给变量。通过把内置函数（英文）赋值给中文变量就实现了函数的汉化，顺便也把正则re的函数名也个给汉化一下下： 正则.搜索 = 正则.search。哈哈，汗不汗～
2019-10-18 11:20:00
8
0
1
不要相信requests返回的text
作者小头像Huawei Cloud Expert
10
0
0
一句函数调用，就可以获得请求结果的对象response，通过response.content 可以得到原始的二进制数据，通过response.text可以得到解码后的文本数据，解码是根据response.encoding进行的。然而，requests对这个encoding（编码）的获取是有问题的。
2019-10-18 10:55:59
10
0
0
打包你的Python程序并绑定CPU
作者小头像Huawei Cloud Expert
7
0
0
客户想要运行你的程序，还有以下步骤： 第一步，让你客户在他的机器上运行程序获得CPU序列号并发给你，你用你的授权码生成算法生成一个授权码发个客户； 第二步，客户把授权码配置到程序中（比如，写入一个指定文件）就可以成功运行了。
2019-10-18 10:51:16
7
0
0
简说Python Web异步框架
作者小头像Huawei Cloud Expert
13
0
1
Tornado是Python 2时代的明星，比起Django的笨重来它更轻巧，赢得了很多人的喜爱，也包括本人。多年前，开始接触Web开发就是从它开始的。到了Python 3 这个异步盛行的时代，Tornado 有些廉颇老矣。虽然它有异步支持，但是各种测试来看，都敌不过后起之秀的强劲。如果你现在想开始web开发，就不要用它了，去拥抱Sanic吧
2019-10-18 10:49:01
13
0
1
推荐 33 个 IDEA 最牛配置，写代码太爽了！
作者小头像Huawei Cloud Expert
17
0
0
1.使用command line方式需要指定svn.exe的路径,例如:D:\tools\TortoiseSVN\bin\svn.exe 2.注意,安装TortoiseSVN时路径中不要带空格,例如:C:\Program Files\TortoiseSVN\bin\svn.exe就会报错. 3.安装TortoiseSVN选择全部安装组件,否则可能没有svn.exe
2019-10-18 09:50:45
17
0
0
爬虫小偏方系列：robots.txt快速抓取网站的小窍门
作者小头像Huawei Cloud Expert
9
0
2
写爬虫有很多苦恼的事情，比如： 1.访问频次太高被限制； 2.如何大量发现该网站的URL； 3.如何抓取一个网站新产生的URL，等等；
2019-10-18 09:39:44
9
0
2
如何让爬虫一天抓取100万张网页
作者小头像Huawei Cloud Expert
13
0
1
2.requests请求优化 要优化requests.get(timeout=1.5)的超时时间，不设置超时的话，有可能get()请求会一直挂起等待。而且野云主机本身性能就不稳定，长时间不回请求很正常。如果要追求抓取效率，超时时间设置短一点，设置10秒超时完全没有意义。对于超时请求失败的，大不了以后再二次请求，也比设置10秒的抓取效率高很多。
2019-10-17 11:32:02
13
0
1
爬虫小偏方：绕开登陆和访问频率控制
作者小头像Huawei Cloud Expert
9
0
1
分析完后，我就舒缓了很多，得出新的抓取思路，就是： 使用10个账号按一定频次通过APP不停的获取每个用户详细页分享到微信的URL，让另外一个程序模仿微信的user-agent不停的访问这些分享到微信的URL（要使用adsl拨号来解决单个IP访问频率控制问题）。 这样通过app加微信的方式解决了对账号的限制问题，实现了曲线救国。
2019-10-17 10:51:08
9
0
1
爬虫小偏方二：修改referer后可以不用登录了
作者小头像Huawei Cloud Expert
6
0
0
这些网站为什么会厚此薄彼呢？ 是有些网站想获取SEO流量，就把从搜索引擎点击进入的访问控制放得较为宽松的原因。所以当你遇到如上两个问题时，先改一改referer试试，这样可以节省你不少的研究时间。这适用于有的爬虫是个临时任务或者一次性的爬虫，不用长期维护，你快速写好抓完数据就好的时候适用。
2019-10-17 10:42:35
6
0
0
爬虫挣钱系列：数据整合之--结构化人名的机会
作者小头像Huawei Cloud Expert
4
0
0
如何抓取？ 抓取网页需要入口，需要准备一些关键字，比如：嘉宾介绍、高管介绍，作者简介、公司董事等等关键词借助百度，google，微信，微博等搜索渠道，过滤出可能的网页，然后对这些网页实施抓取和结构化。结构化是超级繁琐的事情。如何抓取？
2019-10-17 10:29:20
4
0
0

上划加载中

共122条 到第 页
个人简介
最新评论

技术火炬手

2019-9-4 10:24:23 评论了：

SpringCloud系列：亿级流量系统架构之如何设计承载百亿流量的高性能架构【石杉的架构笔记】