作者小头像 Lv.3
更多个人资料
523 成长值
0 关注
9 粉丝
+ 关注 私信

个人介绍

Crawlab作者，前端开发+爬虫+数据分析

感兴趣或擅长的领域

编程语言
个人勋章
TA还没获得勋章~
成长雷达
500
3
0
0
20

个人资料

个人介绍

Crawlab作者，前端开发+爬虫+数据分析

感兴趣或擅长的领域

编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
实现一个掘金Style的文章编辑器
前言我是一个掘金重度用户，不仅经常在掘金上挖掘含金量高的文章，偶尔还在掘金上创作技术文章。相信读者们也对掘金非常满意，尤其是它的文章编辑器，不仅支持Markdown编辑，而且还支持代码高亮、分屏预览、自动保存等等。本文将用React＋CodeMirror＋Showdown实现一个类似于掘金编辑器的单页应用。动图效果先不说那么多，先上动图效果吧。 布局下面是掘金文章编辑器的布局。可以看到，编辑...
作者小头像 Marvin Zhang
2274
0
0
2020-11-29 16:47:02
999+
0
0
爬虫平台Crawlab核心原理--自动提取字段算法
⚠注意: 可配置爬虫现在仅在Python版本（v0.2.1-v0.2.4）可用，在最新版本Golang版本（v0.3.0）还暂时不可用，后续会加上，请关注近期更新背景实际的大型爬虫开发项目中，爬虫工程师会被要求抓取监控几十上百个网站。一般来说这些网站的结构大同小异，不同的主要是被抓取项的提取规则。传统方式是让爬虫工程师写一个通用框架，然后将各网站的提取规则做成可配置的，然后将配置工作交给更初...
作者小头像 Marvin Zhang
1731
0
0
2020-11-29 16:46:06
999+
0
0
爬虫平台Crawlab核心原理--分布式架构
背景Crawlab自第一版发布已经几个月了，其中经历了好几次迭代：版本从v0.1到了v0.3.0；后端语言从Python到了Golang；从最初使用Celery作为任务调度引擎，到自己开发分布式任务调度引擎；从只能运行自定义爬虫到可以运行可配置爬虫（虽然还没迁移到最新版本）；从手动部署爬虫到自动部署爬虫；从自己搭建环境到Docker部署；从手动执行任务到定时任务；等等（详情见CHANGELO...
作者小头像 Marvin Zhang
4630
0
0
2020-11-29 16:45:22
999+
0
0
用 Golang 实现基于 Redis 的安全高效 RPC 通信
前言RPC（Remote Procedure Call），翻译过来为“远程过程调用”，是一种分布式系统中服务或节点之间的有效通信机制。通过 RPC，某个节点（或客户端）可以很轻松的调用远端（或服务端）的方法或服务，就像在本地调用一样简单。现有的很多 RPC 框架都要求暴露服务端地址，也就是需要知道服务器的 IP 和 RPC 端口。而本篇文章将介绍一种不需要暴露 IP 地址和端口的 RPC 通...
作者小头像 Marvin Zhang
2628
0
0
2020-11-29 16:44:18
999+
0
0
Crawlab Lite 正式发布，更轻量的爬虫管理平台
Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部...
作者小头像 Marvin Zhang
1934
0
0
2020-11-29 16:43:33
999+
0
0
开源一文多发平台ArtiPub，让文章随处可阅
背景很多优秀的程序员和技术人员喜欢写技术文章和技术博客，通过这样的方式分享传播知识和经验，扩大自己的知名度和影响力，吸引粉丝关注，甚至有些技术博主还通过写文章来获取广告收入，很多优秀的博主还通过这种方法获得了出版书的机会以及工作机会。因此，写技术文章是一件非常值得投入的事情，帮助了自己，也让大众受益。但是，写技术文章通常也很耗时，特别是一些优质文章，不仅需要旁征博引、构思文章结构、照顾读者受...
作者小头像 Marvin Zhang
4163
0
1
2020-11-29 16:42:55
999+
0
1
收获人生第一个 5k Star 开源项目，经验教训分享给大家
前言开发产品永远都是既痛苦，又开心的事情。一方面因为不了解用户真实需求、害怕闭门造车、担心技术无法实现而痛苦；另一方面，却会因为取得小小成就、获得用户认可、不断帮助用户解决问题而开心，从而继续坚持下去。Crawlab 就是这样让我既痛苦又开心的开源项目。它从去年 3 月份提交第一次 commit，到最近，已经在 Github 上积攒了 5k Star，成长为了最受欢迎的开源爬虫管理平台。其中...
作者小头像 Marvin Zhang
2066
0
0
2020-11-29 16:42:10
999+
0
0
用开源软件打造企业级 DevOps 工作流（三）：持续集成
前言本文为《用开源软件打造企业级 DevOps 工作流》系列的第三篇文章。接着上一篇版本控制系统篇，本篇文章主要讲介绍 DevOps 工作流中另一个核心模块 持续集成（CI），这可以说是 DevOps 中的重中之重，因为这涉及到自动化管理项目的部署过程。有了持续集成，我们就可以从手动部署中解脱出来，把时间用在更重要的事情上，例如代码重构、回归测试、架构设计等等。在本篇文章中，我们将介绍持续集...
作者小头像 Marvin Zhang
2561
0
0
2020-11-29 16:40:49
999+
0
0
用开源软件打造企业级 DevOps 工作流（二）：版本控制
前言本文章为系列文章的第二篇，之前已经写了一篇 《用开源软件打造企业级 DevOps 工作流（一）：概述》，主要介绍了DevOps的基本概念以及一些组成要素。在这篇文章中，我们将介绍 版本控制系统 / VCS（Version Control System），除了介绍版本控制的基础概念以外，我们还将介绍如何使用开源的 GitLab 来实现版本控制系统。版本控制系统版本控制系统主要是针对软件开发...
作者小头像 Marvin Zhang
2232
0
0
2020-11-29 16:40:14
999+
0
0
用开源软件打造企业级 DevOps 工作流（一）：概述
前言作为程序员或开发运维人员，可能很少有没在开发、部署、交付过程中遇到过问题的。特别是在企业环境、多人协同工作、模块纷繁复杂的情况下，要用简单粗暴的方式（例如手动上传代码，或是线上更改代码）往往会造成很严重的问题。因此对于企业级环境中开发部署来说，有一套严格完备的工作流机制会减少很多失误和因此而导致的延期，增加交付应用的健壮性，从而提升交付效率。现在有个很流行的名词叫 DevOps，意为开发...
作者小头像 Marvin Zhang
2745
0
0
2020-11-29 16:39:30
999+
0
0
总条数：50
  • 1
  • 2
  • 3
  • 4
  • 5
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信