爬虫逆向进阶指南

要从零基础掌握逆向技能，特别是针对Web端和APP端的逆向，确实需要系统的学习和不断实践。可以总结为两大块：Web端逆向和APP端逆向，其中每个板块都包含多个重要的知识点。以下是对这两个板块的详细分析和学习路径建议：

1. Web端逆向

1.1 逆向算法
这是Web端逆向的基础，主要包括以下几种加密和哈希算法：
- 非对称加密算法：如RSA、ECC，适用于加密和签名等场景。
- 对称加密算法：如AES、DES，常用于加密通信。
- 消息摘要算法：如SHA、MD5，主要用于数据完整性校验。
- 数字签名算法：如DSA、ECDSA，用于验证消息来源和防篡改。

这些算法会在实际的Web应用中用来保护数据传输和用户信息的安全，因此理解这些算法是Web端逆向的基础。学习时可以从一些开源加密库（如CryptoJS）入手，理解它们的实现原理和如何进行逆向分析。

1.2 混淆技术
混淆是为了防止源代码被逆向分析，常见的混淆方式有：
- OB混淆：通过改变代码结构、重命名变量等方式使得代码难以理解。
- JSFuck：一种JavaScript的混淆方法，利用JavaScript的特殊语法和字符编码技术使代码变得难以阅读。
- 变量名混淆：将变量名和函数名替换成无意义的短字符串，如`a`, `b`, `c`等，增加理解难度。
- JJ、AA混淆：这些通常是特定工具或者技术中使用的代码混淆方式，主要用于加大代码的反向分析难度。

你需要学会如何利用工具（如JSDetox、UglifyJS、Terser等）进行分析和还原这些混淆过的代码。

1.3 爬虫和反爬虫技术
爬虫是抓取Web数据的工具，而逆向爬虫则涉及到如何绕过目标网站的反爬虫措施。常见的技术包括：
- JSVMP 和 JStorm：这两者是用于Web端逆向的关键技术，主要应用在动态加载的页面和JavaScript加密的保护中。
- 瑞数和 5秒盾：这些是针对某些防护措施的破解工具，帮助我们绕过反爬虫技术，提取目标数据。

通过了解这些技术，你可以在进行Web端数据抓取时避免被防护机制阻止。

---

2. APP端逆向

2.1 抓包技术
抓包是分析APP网络请求的常见手段，通过抓取APP和服务器之间的通信数据，我们可以了解数据的传输内容，常用的工具有：
- Fiddler、Charles：这类工具用于抓取HTTP/HTTPS请求。
- Wireshark：用于抓取更低层次的网络数据包。

在学习抓包时，需要了解如何使用代理设置、SSL证书安装等技巧，尤其是在移动端（iOS和Android）抓包时，需要解决一些特定的证书问题。

2.2 查壳技术
现代APP的很多安全防护是通过“壳”进行的。壳是一种保护机制，通过封装APP使其更加难以反编译或逆向。常见的壳包括：
- 360壳、腾讯壳、美团壳等，它们在APP运行时会插入一些安全检测或反调试机制。

查壳的核心技能是如何检测和绕过这些保护，常用的工具包括 Apktool、JD-GUI、Frida 等。

2.3 脱壳和反编译
- 脱壳：首先需要破解掉APP的壳保护，可以通过反汇编工具（如IDAPRO）或者通过Frida的动态调试技术进行。
- 反编译：通过工具如APKTool和JADX反编译APP的APK文件，得到源代码或者可读的资源。

在反编译后，你需要分析APP的代码，理解其中的功能，并查找漏洞或获取敏感信息。

2.4 Hook技术
Hook是用来拦截APP程序执行过程中的关键操作，尤其是在APP运行时，分析它的功能行为。常见的Hook技术工具有：
- Frida：强大的动态分析工具，可以在APP运行时插入JavaScript脚本。
- Xposed框架：用于Android设备，通过模块化的方式进行动态修改。

---