本篇内容介绍微信公众号文章服务端数据爬取的实现，配合上一篇微信公众号爬虫：微信公众号浏览自动化，构成完整的微信公众号文章数据采集系统。

一、AnyProxy 配置（Mac）

AnyProxy是一个开放式的HTTP代理服务器，官方文档：http://anyproxy.io/cn/
Github主页：https://github.com/alibaba/anyproxy
主要特性包括：
基于Node.js，开放二次开发能力，允许自定义请求处理逻辑[……]

【阅读全文 ▽ 】

本文内容详细介绍微信公众号历史文章自动化浏览脚本的实现，配合服务端对公众号文章数据爬取来实现微信公众号文章数据的采集。服务端爬取实现见：微信公众号爬虫：服务端公众号文章数据采集。

背景：在团队的学习方面需要每周收集开发方面的博客文章，汇总输出每周的技术周报。周报小组成员收集的文章大多数是来自微信公众号，公众号的内容相对网页博客内容质量还是比较高的。既然数据的来源是确定的，收集汇总的流程是确定的，那么就把这个流程自动化，把人工成本降低到0。

一、方案选取

1、数据源选取

主要是爬取的数据来源选取，网上资料看的较多是爬取搜狗微信的内容，但是第三方平台（包括新榜、清博等 ）的公众号文章数据更新做不到实时，而且数据也不全，[……]

【阅读全文 ▽ 】