角色说明
两类角色 · 站点绑定归属操作员 · 防跨员操作
成员管理
共 6 名成员 · 1 管理员 · 5 操作员
| 成员 | 角色 | 绑定站点数 | 今日任务 | 状态 | 操作 |
|---|---|---|---|---|---|
赵赵敏 |
管理员 | 0 | 0 | 在线 | |
林林晓 |
操作员 | 12 | 12 | 在线 | |
王王磊 |
操作员 | 8 | 9 | 在线 | |
陈陈思 |
操作员 | 5 | 7 | 离线 | |
周周航 |
操作员 | 6 | 5 | 在线 | |
孙孙强 |
操作员 | 3 | 4 | 离线 |
权限矩阵
功能权限按角色分配 · 管理员全权限 / 操作员按归属范围
| 功能 | 管理员 | 操作员 |
|---|---|---|
| 新建任务 | ✓ | ✓ |
| 强制重爬 | ✓ | — |
| 检查核验 | ✓ | ✓ |
| 发布上线 | ✓ | ✓ |
| 域名管理 | ✓ | — |
| 效率看板 | ✓ | — |
| 系统配置 | ✓ | — |
平台插件
每平台插件自实现规模探测 / 全量策略 / 完整性校验（RQ-H）
Shopify 已启用
版本 v2.0 · 本期支持
规模探测
全量抓取
分类菜单
SEO
图片直引
WooCommerce 二期计划
预计 v2.1 · 二期以插件方式引入
规模探测
全量抓取
分类菜单
SEO
图片镜像
插件接口契约
PlatformPlugin 统一接口 · 平台差异在插件内部消化
// 平台插件接口契约 PlatformPlugin
interface PlatformPlugin {
id: string;
detect(url): Promise<PlatformInfo>;
probeScale(sitemap): Promise<ScaleReport>;
fetchAll(handles, opts): AsyncIterator<RawProduct>;
extractCategories(raw): Category[];
buildSEO(raw, domain): SEOFields;
imageStrategy: 'direct' | 'mirror';
}
// 本期：ShopifyPlugin · 二期：WooCommercePlugin
const ShopifyPlugin: PlatformPlugin = {
id: 'shopify',
imageStrategy: 'direct',
batch: 1000,
threads: 16
}
全局抓取参数
默认值将应用于新建任务，单任务可覆盖
单容器并发线程数，建议 16
每批 handle 数，对应一个容器
触发 429 后单站全局等待
配合指数退避与代理轮换使用，零 429 为目标
默认下载内容
新启动任务的实体下载选择（RQ-B-12）· 商品 / 图片 / 变体始终抓取，不可关闭
默认值只影响新建任务；存量任务与断点续跑沿用原任务选择
抓取重试
分实体重试次数（RQ-B-14）· 核心数据（网站 SEO / 商品四要素）优先重试 · 0 = 用爬虫默认
四要素失败会进一步进入清扫（另配）
页面失败此前不重试，是 SEO 丢失主因
首页在池预热期抓取，重试次数要高
集合分页被反爬挡时重试
对未成功的商品 JSON 整体重抓的轮数
新启动任务生效；运行中任务不热切换
图片策略
对带宽友好 · 默认不下载图片（RQ-C）
默认不下载图片
商品图 URL 全量保存，域名确定后按需下载到对象存储
限速配置
对源站友好 · 限速自适应 · 429 反馈（RQ-G-02）
限速自适应
根据 429 反馈自动调整请求速率
奶妈代理池
真实抓取走代理池 · 三级降级 socket → 远程端点 → IP 直连 · 配置保存在系统 DB，重启不丢
local 优先本机 socket，remote 直连远程端点；两端都填时爬虫按 socket→endpoint→直连 三级降级
默认 VPS：http://172.93.163.197:8902
local 模式需填写；remote 模式可留空
需与奶妈服务端一致
多奶妈接入
多套奶妈代理池记录 · 任务启动时可选路（RQ-B-13 / RQ-G-09）· 管理员维护
| 名称 | 模式 | 端点 / Socket | 连通性 | 默认 | 操作 |
|---|---|---|---|---|---|
| 加载中… | |||||
任务启动时「代理来源」下拉选择奶妈；未选择时回退默认记录，无默认则用下方插件配置
防重复爬
已发布站点阻止加入任务（RQ-K）
已发布站点阻止加入任务
提示域名与发布日期；管理员可强制重爬
密钥管理
域名账号 Key/Secret 加密存储 · OpenRouter key 不落明文
| 名称 | 用途 | 状态 | 最后更新 | 操作 |
|---|---|---|---|---|
| OpenRouter API Key | AI 计算 LLM 调用 | 已配置 | 2026-08-15 14:22 | |
| Spaceship API Secret | 域名申请账号池 | 已配置 | 2026-08-12 09:10 | |
| Cloudflare API Token | DNS / CDN / R2 对象存储 | 已配置 | 2026-08-14 16:45 | |
| Porkbun API Key | 域名申请账号池 | 未配置 | — |
安全策略
密钥加密存储 · 日志脱敏 · 访问审计
访问日志
记录所有密钥查看 / 更新操作，保留 90 天
系统信息
集中式部署 · 抓取服务器与发布服务器分置
运营目标配置
对标旧系统 100 站/天
数据保留策略
日志与任务数据保留周期
自动清理过期数据
每日定时清理超过保留周期的日志与任务数据
系统维护
维护模式与缓存管理
维护模式
开启后仅管理员可访问，暂停所有抓取与发布任务
WebFactory 2.0 · 基于 Cadence 设计系统 · 令牌驱动 · WCAG AA