自己写的php curl库实现整站克隆
【摘要】
有时候经常会用到一些在线手册,比如国内或国外的,有些是访问速度慢,有些是作者直接吧网站关闭了,有些是服务器总是宕机,所以还是全盘克隆到自己服务器比较爽。所已这里给了一个demo<?php class Controller_Spider extends MyYaf_Controller_Base{ function init(){...
-
有时候经常会用到一些在线手册,比如国内或国外的,有些是访问速度慢,有些是作者直接吧网站关闭了,有些是服务器总是宕机,所以还是全盘克隆到自己服务器比较爽。所
-
已这里给了一个demo
-
<?php
-
-
class Controller_Spider extends MyYaf_Controller_Base{
-
-
function init(){
-
-
parent::init();
-
-
if(!$this->getRequest()->isCli()){
-
-
Ares_Http::error403();
-
-
}
-
-
include 'CurlMulti/CurlMulti.php';
-
-
include 'CurlMulti/MyCurl.php';
-
-
include 'phpQuery.php';
-
-
}
-
-
}
-
<?php
-
-
class YafdocController extends Controller_Spider {
-
-
function init() {
-
-
parent::init ();
-
-
include 'CurlMulti/MyCurl/Clone.php';
-
-
}
-
-
function indexAction() {
-
-
$url = 'http://www.laruence.com/manual';
-
-
$dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
-
-
$cacheDir = $this->getBaseDir () . '/cache/curl';
-
-
if (! is_dir ( $cacheDir )) {
-
-
mkdir ( $cacheDir );
-
-
}
-
-
$curl = new CurlMulti ();
-
-
$curl->maxThread = 10;
-
-
$curl->cache ['enable'] = true;
-
-
$curl->cache ['enableDownload'] = true;
-
-
$curl->cache ['dir'] = $cacheDir;
-
-
$curl->cache ['compress'] = true;
-
-
$clone = new MyCurl_Clone ( $curl, $url, $dir );
-
-
$clone->overwrite = true;
-
-
$clone->start ();
-
-
return false;
-
-
}
-
-
}
对应包含的文件我已经上传上去了http://download.csdn.net/detail/tiaozhanji_xian/8951277,免积分的
文章来源: markwcm.blog.csdn.net,作者:黄啊码,版权归原作者所有,如需转载,请联系作者。
原文链接:markwcm.blog.csdn.net/article/details/47184745
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)