自己写的php curl库实现整站克隆

举报
黄啊码 发表于 2022/06/28 22:33:47 2022/06/28
【摘要】 有时候经常会用到一些在线手册,比如国内或国外的,有些是访问速度慢,有些是作者直接吧网站关闭了,有些是服务器总是宕机,所以还是全盘克隆到自己服务器比较爽。所已这里给了一个demo<?php class Controller_Spider extends MyYaf_Controller_Base{ function init(){...

  
  1. 有时候经常会用到一些在线手册,比如国内或国外的,有些是访问速度慢,有些是作者直接吧网站关闭了,有些是服务器总是宕机,所以还是全盘克隆到自己服务器比较爽。所
  2. 已这里给了一个demo
  3. <?php
  4. class Controller_Spider extends MyYaf_Controller_Base{
  5. function init(){
  6. parent::init();
  7. if(!$this->getRequest()->isCli()){
  8. Ares_Http::error403();
  9. }
  10. include 'CurlMulti/CurlMulti.php';
  11. include 'CurlMulti/MyCurl.php';
  12. include 'phpQuery.php';
  13. }
  14. }


  
  1. <?php
  2. class YafdocController extends Controller_Spider {
  3. function init() {
  4. parent::init ();
  5. include 'CurlMulti/MyCurl/Clone.php';
  6. }
  7. function indexAction() {
  8. $url = 'http://www.laruence.com/manual';
  9. $dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
  10. $cacheDir = $this->getBaseDir () . '/cache/curl';
  11. if (! is_dir ( $cacheDir )) {
  12. mkdir ( $cacheDir );
  13. }
  14. $curl = new CurlMulti ();
  15. $curl->maxThread = 10;
  16. $curl->cache ['enable'] = true;
  17. $curl->cache ['enableDownload'] = true;
  18. $curl->cache ['dir'] = $cacheDir;
  19. $curl->cache ['compress'] = true;
  20. $clone = new MyCurl_Clone ( $curl, $url, $dir );
  21. $clone->overwrite = true;
  22. $clone->start ();
  23. return false;
  24. }
  25. }

对应包含的文件我已经上传上去了http://download.csdn.net/detail/tiaozhanji_xian/8951277,免积分的


文章来源: markwcm.blog.csdn.net,作者:黄啊码,版权归原作者所有,如需转载,请联系作者。

原文链接:markwcm.blog.csdn.net/article/details/47184745

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。