如何利用爬虫爬网络小说

首先爬虫分为爬取移动APP数据和网站数据，主要方法都是一致，但细节上有点区别。

拿爬取网站数据分析:

1.用浏览器开发者工具的Network功能分析对应的数据接口或者查看源代码写出相应的正则表达式去匹配相关数据

2.将步骤一分析出来的结果或者正则用脚本语言模拟请求，提取关键数据。这中间可能牵扯多个请求接口，而且一般要做数据签名以及数据加密，这一块需要找到对应js文件分析算法。

爬取一个网站数据大致就以上两步，当然细节还有很多，比如模拟请求头，请求方式以及请求体。如果你是爬取移动APP数据，那就还要牵扯抓包分析，软件砸壳反编译等等，相对来说APP爬虫要复杂一点。