FDM 多镜像站批量下载——整站从多个源并行拉取

什么是多镜像站批量下载

这是 FDM 站点工具模块的高级组合功能——把多个包含相同资源的镜像网站（比如 Ubuntu 的十几个官方镜像）配置给 FDM 的蜘蛛和下载引擎，让它们同时从多个镜像源爬取、从多个源下载：

蜘蛛层：FDM 同时向多个镜像站的同一个资源目录发起请求，从响应最快的源拿文件列表
下载层：FDM 下载引擎自动检测哪个镜像源对应哪个文件 URL，同时从多个源并行拉取（类似 HTTP 的多分段 + 多源镜像叠加）

和单任务镜像源的区别

之前在下载引擎的镜像源里讲的是单任务多源——给一个文件配多个下载地址。这里讲的是站点级多镜像——给整个资源站配多个镜像根 URL，蜘蛛和下载引擎自动利用。

对比项	单任务多源	站点级多镜像
配置粒度	每个下载任务手动配	一次性配好站点根 URL，自动生效
适用场景	下载单个大文件	批量下载整个资源站的文件
负载均衡	下载引擎层	蜘蛛 + 下载引擎两层
配置工作量	高（每个任务都要加镜像）	低（一次配置、持续生效）

操作方法

第一步：确定镜像站结构

多个镜像站必须结构完全一致——同一个文件在所有镜像站上的相对路径是一样的。比如：

镜像 1：中科大镜像站 Ubuntu 24.04 路径
镜像 2：清华镜像站 Ubuntu 24.04 路径
镜像 3：Ubuntu 官方主站 24.04 路径

它们的文件列表里都有：
ubuntu-24.04-desktop-amd64.iso
SHA256SUMS
ubuntu-24.04-live-server-amd64.iso
... （结构完全相同）

第二步：在 FDM 里配置镜像组

FDM 主界面 → 菜单「工具 → 镜像源管理」→ 创建一个新的镜像组：

镜像组名称：Ubuntu 官方镜像
镜像根 URL 列表：粘贴所有镜像站的根 URL（每行一个）

镜像组可以在 HTML 蜘蛛里被引用——蜘蛛设置面板里有一个「使用镜像组」选项，勾选后蜘蛛会从多个根 URL 同时开始爬。

第三步：用蜘蛛 + 镜像组批量下载

HTML 蜘蛛设置面板 → 起始 URL 填主镜像（官方主站或你觉得最靠谱的那个）→ 勾选「使用镜像组」→ 选中刚才创建的镜像组 → 其他规则正常填（扩展名、深度、同域名等）。

蜘蛛启动后：

爬取阶段：同时向主镜像和所有镜像根 URL 发起 HTTP 请求，哪个先返回就用哪个的目录列表（加速爬取）
下载阶段：下载引擎把每个文件的请求拆分到不同镜像源上（类似分段加速 + 多源的叠加）

进阶：镜像站 URL 通配符

如果镜像站命名有规律（比如 mirror1 mirror2 ... mirrorN），FDM 支持用通配符一次性生成：

mirror{N}.example.com/resources/（N 为 1-5）

FDM 会自动展开成 5 个完整 URL。这对镜像站数量多且命名规律的场景特别有用——不用一个个粘贴。

也可以用范围：

mirror{N}.example.com/resources/（N 为 1-10）

自动生成 10 个镜像 URL。

下载引擎的镜像源利用

蜘蛛从多个镜像根 URL 拿到文件列表后，每个文件在 FDM 里可能有多个候选 URL（来自不同镜像）。下载引擎的处理：

对于每个文件，FDM 记录所有镜像 URL
下载时尝试所有 URL——哪个先响应、哪个带宽足就用哪个
如果某个镜像下载失败（404、超时），自动切到同一个文件的其他镜像
如果所有镜像都可用，FDM 可以像 HTTP 多分段 + 多源那样叠加带宽

这相当于：

镜像站级的负载均衡——不让某个镜像站过载
镜像站级的容错——一个镜像挂了其他顶上，下载不中断

实战：批量下载 Ubuntu 24.04 的全部发行版

场景：
想把 Ubuntu 24.04 的所有发行版（Desktop / Server / Netboot / ARM）全部拉到本地备份。
每个 ISO 约 4-5 GB，总共约 30 GB。

步骤：
1. 工具 → 镜像源管理 → 新建镜像组「Ubuntu 镜像」
   - 根 URL 列表：
     Ubuntu 官方主站 24.04
     中科大镜像站
     清华镜像站
     阿里镜像站
     腾讯镜像站

2. 工具 → HTML 蜘蛛：
   - 起始 URL：Ubuntu 官方主站 24.04 路径
   - 使用镜像组：✅ Ubuntu 镜像
   - 最大深度：2（进入子目录）
   - 扩展名：.iso,.sha256sums
   - 同域名：✅
   - 保存路径：D:\Backup\Ubuntu-24.04\

3. 预览 → 确认列出了所有 Ubuntu 24.04 的 ISO（约 8 个）
4. 开始爬取 → 蜘蛛从 5 个镜像同时拿目录列表（约 10 秒完成）
5. 约 20 分钟后：8 个 ISO 全部加入下载队列，从 5 个镜像并行下载
6. 全部完成后：D:\Backup\Ubuntu-24.04\ 里存了完整备份

下载速度取决于你的带宽和镜像站的限速。中国国内镜像站（中科大、清华、阿里、腾讯）对国内用户的带宽通常比 Ubuntu 官方主站（在海外）快 5-10 倍。通过站点级多镜像，FDM 能自动选择最快的源。

常见问题

镜像站结构不一致怎么办

如果两个镜像站的目录结构略有差异（比如一个多了一层子目录），通配符方式不行，需要手动调整镜像根 URL 到结构一致的层。或者用单任务镜像源，对每个文件手动配对镜像。

蜘蛛只从一个镜像爬怎么办

确认 HTML 蜘蛛设置里「使用镜像组」的镜像组是否正确选中。如果勾了但蜘蛛只爬主镜像，可能是 FDM 版本问题——升级到 6.33+ 以上的版本。

镜像源被识别为不同域名导致同域名规则拦截

蜘蛛设置里的「只爬同域名」默认会让蜘蛛只爬主镜像的域名，不爬其他镜像站（其他镜像是不同域名）。解决：

不勾「只爬同域名」（镜像组内的域名是安全的，其他域名才需要防）
或者把镜像组内的域名加入蜘蛛的域名白名单

会不会被镜像站封 IP

镜像站（尤其是开源社区维护的官方镜像）通常允许较高的并发访问。但如果一次向 10 个镜像同时发大量请求：

把蜘蛛爬取间隔设为 2-5 秒
分批下载——先 Spider 拿文件列表，再慢慢下载
避免凌晨高峰时段（镜像站在高峰期可能限速）

站点工具模块四页讲完。剩下 11（界面与设置）和 12（常见问题）两个分组。先把 11 的 5 页写了，这是导航树里的倒数第二个分组。