网络爬虫如何选择java和python语言

在网络爬虫界中，有一种说法，不用java语言就要用python语言，两种语言是网络爬虫最常见的使用语言。以下们就来分析下两种爬虫语言的区别。

python语言作为动态语言，一般适合于那些初学编程的的爬虫者，也支持调用爬虫代理IP，python作为爬虫语言更为简单，爬虫中使用python语言，适合高速下载，python爬虫支持多线程，而且在多线程的基础上能快速的下载和分析。尤其是python的scrapy框架，支持更高级的数据采集，用于抓取页面中的结构化的数据，Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。总的来说python语言使用方便，抓取简单。

java语言相对python语言就不一样，java语言是也是动态的。java语言也非常简单易学，而python的语法比java的语言调用起来简单很多，当然java同时也支持调用爬虫代理IP，而且java语言的安全性和可靠性非常稳定。

对于一般的爬虫任务，java和python语言都可以支持，如果要采集登陆网站可以用python语言，如果要分析网页数据结构的详细信息可以选择java语言。

python语言scrapy框架调用代码：

        #! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"

                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)

                # 添加验证头
                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    

                # 设置IP切换头(根据需求)
                tunnel = random.randint(1,10000)
                request.headers['Proxy-Tunnel'] = str(tunnel)