基本需求#
- 抓取小说网站所有章节
- 将所有章节合并为一个txt
实现思路#
- 伪装浏览器进行访问网站
- 分析接口参数遍历出所有章节
- 使用Python写出爬虫脚本
难点#
- 小说内容涉及AES加密需要逆向JS
0x01 环境准备#
- 安卓手机一部
- python环境 （requests pycryptodemo execjs）
- charles抓包工具
0x02 开始分析#
首先将安卓手机通过usb连接到电脑上，并打开调试模式。 然后微信打开调试模式，在微信中访问 http://debugxweb.qq.com/?inspector=true 点击开启调试模式。
电脑上需安装chrome浏览器，访问 chrome://inspect/#devices 开启远程调试
使用charles抓包发现三个接口
http://xxxxx.com/api/book?id=1
然后发现小说内容使用了AES加密，直接搜索decrypto关键词来寻找解密的方法。