深入了解我们的混合式智能体 AI 集群:Hermes、LiteLLM 与 Tailscale

Table of Contents
我们部署了按请求分配本地 GPU 的集群,并设计了混合控制平面。 已验证的路径从 LiteLLM 开始,选择一个模型组,并且每次只在一块 GPU 上加载一个本地模型。Hermes 的分级策略仍是提议方案,Tailscale Aperture 配置文件已准备好进入下一轮集成测试。两者都尚未作为端到端路径的一部分完成验证。
空闲显卡用于挖掘 Pearl。AI 请求只会暂停已租用显卡上的挖矿,完成请求后卸载模型,再将显卡交还给矿工程序。
要点
- T0 至 T2 处理成本高或要求高的工作。 这些路径优先使用托管的前沿模型和有序的回退链。
- T3 处理较重的本地工作。 集群将规划、编码、审查和视觉任务分配给 4B 至 12B 模型。
- T4 处理高频本地工作。 小型模型负责路由、分类、提取、嵌入,以及范围明确的代码任务。
- 每块 GPU 都是独立资源。 一块显卡处理 AI 请求时,其余显卡继续挖矿。
- 本地模型在空闲时保持卸载。 请求间隔期间,没有模型占用 GPU 内存。
- 每个网关都提供相同的逻辑目录。 共享别名会在符合条件的系统间分配任务。需要精确定位时,可使用带节点前缀的别名。
- 实验性代理没有进入生产环境。 它的金丝雀测试成功处理了一个请求,但未通过正常关闭测试。LiteLLM 继续使用已验证的按请求路径。
- Hermes 和 Aperture 仍处于准备阶段。 目标设计已经存在,但端到端验收测试尚未完成。
前提条件: 多台 Linux GPU 主机、稳定的 NVIDIA 驱动、Tailscale tailnet、systemd、正常运行的矿工程序、模型存储,以及每条模型路径的验收测试。
时间和难度: 高级。请为清点资产、下载模型、定义服务、路由测试、故障演练以及逐卡挖矿恢复检查预留数天。
下文使用的术语: tailnet 是由 Tailscale 身份和设备构成的私有网络。模型别名是提供给客户端的稳定模型名称。模型组将多个部署放在一个别名之后。池代理是小型本地服务,负责租用 GPU、启动模型 worker,并将显卡交还给挖矿任务。
设计目标
智能体工作有多种形式。修复代码仓库需要的模型,与生成标题、理解截图、生成嵌入或标记意图所需的模型不同。每轮都发送给最大模型会浪费资金和本地算力。每轮都发送给最小模型会增加重试并降低结果质量。
我们希望建立包含五个工作负载层级的统一目录。策略需要通过熟悉的 API 格式提供托管模型和本地模型。本地 GPU 也要在 AI 请求之间保持有效利用。
集群还需要支持并发。多卡主机应同时处理多项独立工作。一块显卡收到请求后,不应停止机箱内所有显卡的挖矿。

提议中和准备中的控制路径位于已验证的 LiteLLM 与逐 GPU 执行路径之上
图中使用通用节点名称,不包含私人地址、用户身份、访问密钥、钱包数据或实体主机标签。
T0 至 T4 的含义
这些层级名称代表我们的路由策略。它们不是行业标准,也不只描述模型大小。
| 层级 | 主要角色 | 常见目标 | 故障处理方式 |
|---|---|---|---|
| T0 | 默认协调者和最难的决策 | 托管的前沿推理模型 | 按顺序尝试托管回退链 |
| T1 | 高价值 worker 智能体 | 高能力托管模型池 | 在分配的链中重试 |
| T2 | 通用 worker 池 | 快速托管模型,必要时升级 | 将难题升级到 T1 或 T0 |
| T3 | 大量私有本地工作 | 4B 至 12B 本地聊天、代码、审查和视觉模型 | 在符合条件的本地节点重试,受限数据则安全失败 |
| T4 | 范围较窄且频繁的本地工作 | 0.6B 至 3B 本地路由、分类、代码和嵌入模型 | 在本地副本重试,或在相同数据边界内转到 T3 |
层级首先描述任务,其次才描述模型。简短且对安全敏感的分类适合 T4。较长的代码仓库计划适合 T3 或更高层级。即使提示词很短,困难的架构决策也应从更高层级开始。
这种划分也改变了智能体的成本结构。T4 worker 负责重复的低风险转换。T3 worker 将常见代码和分析保留在 tailnet 内。T0 至 T2 则用于困难工作和故障恢复。
每次使用托管回退前,都必须先检查数据类别。 公开、内部和受限工作分别使用不同链路。受限工作留在本地,并在失败时安全终止。跨越数据边界重试,需要先清理输入,并获得用户或工作流的明确批准。在调用托管服务前,必须删除凭据、仓库机密、私有工具输出和敏感检索内容。
Hermes 如何管理任务策略
Hermes 是提议中的智能体层。目标策略会分配模型类别、运行工具、委派工作,并沿明确的回退链处理请求。Hermes 为主模型、辅助任务、委派智能体和任务专属回退分别定义路径。它还支持通过基础 URL 配置自定义的 OpenAI 兼容端点。参见 Hermes 配置指南 和 回退提供方指南 。
我们的策略将 Hermes 任务映射到稳定别名,而不是物理服务器。例如:
t3-smart
t3-code
t3-review
t3-vision
t4-code
t4-classify
t4-router
t4-embedding
别名表达任务意图。Hermes 无需知道哪块 GPU 空闲、哪个节点有更大的显卡,或哪个副本未通过健康检查。这些决策由下层负责。
某些工作仍需要确定性部署。带节点前缀的模型 ID 会将运维诊断或基准测试发送到指定系统。应通过单独的 Aperture 授权将这些别名限制给运维人员。普通智能体流量使用共享层级别名。
模型访问控制并不能保护智能体工具。Hermes 部署还需要遵循最小权限原则的工具允许列表、隔离的工作区、限定范围的凭据、网络出口控制和提示词注入处理。委派 worker 不应继承超出任务需要的权限。
Aperture 是准备中的身份边界
Tailscale 在不将各项服务公开到互联网的前提下,连接已配置的网关和推理主机。Aperture 正在准备作为面向用户的边界和模型路由器。该路径仍需通过端到端验收测试。Tailscale 在 《Aperture 的工作方式》 中说明了通过 tailnet 加密访问客户端,以及通过 TLS 转发到提供方的机制。
Aperture 还将网络可达性与权限分开。其授权默认拒绝访问。用户或带标签的设备到达网关后,仍需获得匹配的模型授权。 Aperture 授权指南 说明了累加式授权模型和身份来源。
部署前,准备中的 Aperture 配置应遵循四项规则:
- 一个具名身份拥有管理员角色。 普通模型访问权限不授予管理权限。
- 提供方明确列出模型 ID。 Aperture 不会从上游服务推断模型。
- 提供方 URL 指向 tailnet 地址。 私有节点名称和地址不得出现在文章或公开配置示例中。
- 机密保存在服务专属文件中。 部署前应设置仅所有者可访问的权限、受限服务账户、密钥轮换和日志脱敏。诊断输出不得显示 LiteLLM 密钥、tailnet 地址、订阅令牌或钱包数据。
Aperture 会将收到的请求路径追加到每个提供方的基础 URL。其
配置参考
提醒,不要在提供方根路径中重复添加 /v1 后缀。这个细节带来了足够的集成风险,因此我们将其纳入了明确的验证检查。
视觉请求已准备好通过包含图像内容的 OpenAI Chat Completions 格式传递。嵌入请求直接使用私有 LiteLLM 端点,因为当前 Aperture 自托管提供方矩阵记录的是聊天格式,而我们的嵌入路径依赖聊天选择器之外的 LiteLLM 和 llama.cpp 端点。参见 支持的提供方和客户端参考 。
直接嵌入路径需要自己的授权边界。LiteLLM 身份验证、严格的 Tailscale 授权、服务绑定到 tailnet 接口,以及主机防火墙规则,应共同将访问限制到获准身份或服务标签。私有地址本身不构成授权策略。

身份、授权和数据分类决定请求是否离开私有集群
LiteLLM 提供统一目录
每台推理主机运行一个 LiteLLM 网关。即使模型位于其他节点,每个网关仍暴露相同的逻辑模型目录。客户端只需使用一种 API 格式和一组别名。
LiteLLM 会将多个部署归入同一个模型名称。随后,路由器选择符合条件的部署,并应用重试、超时、冷却时间或回退。当前的 LiteLLM 路由文档 介绍了共享模型名称、路由策略和重试行为。
目录包含两种地址形式:
| 地址形式 | 示例 | 用途 |
|---|---|---|
| 共享别名 | t4-classify | 在符合条件的节点间分配常规工作 |
| 节点别名 | node-b/qwen-small | 执行诊断或固定部署位置 |
共享别名无需更改 Hermes 即可实现横向扩展。添加符合条件的副本会扩大模型组。移除不健康的副本会缩小模型组。
我们将 GPU 生命周期逻辑放在 LiteLLM 下层。网关保持运行,但其内存占用不会预留 GPU 内存。本地池代理收到所选模型的请求后,租用一块显卡、启动 worker,并在响应后将 worker 关闭。
本地模型目录
集群优先选择参数量不超过 12B 的模型。这个上限符合现有显卡内存,同时为上下文和运行时缓冲区留出空间。
模型记法: B 表示十亿参数。K 表示数千个已配置的上下文令牌。量化以较低数值精度存储模型权重,从而减少内存使用。KV 缓存保存活动上下文的注意力状态,并随提示词长度增长。E4B 是 Google 对较小 Gemma 4 版本的尺寸标签。
| 层级路由 | 模型类别 | 已配置上下文 | 主要任务 | 部署位置 |
|---|---|---|---|---|
| T3 智能 | Qwen3.5 9B,已量化 | 64K | 困难的本地规划和通用智能体工作 | 内存较大的 GPU 节点 |
| T3 代码 | Granite 4.2 8B,已量化 | 64K | 仓库工作、工具、终端任务、结构化输出 | 内存较大的 GPU 节点 |
| T3 审查 | Gemma 4 12B,已量化 | 32K | 独立审查和替代推理 | 内存较大的 GPU 节点 |
| T3 通用和视觉 | Qwen3.5 4B,已量化 | 32K | 扩展的通用工作和图像理解 | 所有兼容 GPU |
| T3 替代审查 | Gemma 4 E4B,已量化 | 8K | 多样化的审查路径 | 所有兼容 GPU |
| T4 代码 | Granite 4.2 3B,已量化 | 16K | 小型编辑、工具调用、结构化输出 | 所有兼容 GPU |
| T4 分类 | Qwen3.5 2B,已量化 | 16K | 分类、提取和改写 | 所有兼容 GPU |
| T4 路由器 | Qwen3.5 0.8B,高精度量化 | 16K | 意图、标签、标题和短文本转换 | 所有兼容 GPU |
| T4 嵌入 | Qwen3 Embedding 0.6B,已量化 | 32K | 智能体记忆、RAG、代码检索和聚类 | 所有兼容 GPU |
这些上下文值是部署设置,不是模型公布的限制。即使使用更大的公布窗口,也会占用 KV 缓存和运行时内存。我们选择较低值,以便在单块显卡上稳定运行。
Qwen 将 Qwen3.5 描述为多模态系列,并在 Qwen3.5 系列页面 发布从小到大的密集模型变体。IBM 发布了 Granite 4.2 8B 的智能体编码和长上下文结果。Google 表示 Gemma 4 支持多模态输入、函数调用和更大的公布窗口。
嵌入路径使用独立模型生成向量,而不是要求聊天模型生成向量。 Qwen3 Embedding 0.6B 模型卡 列出了 32K 序列长度、多语言检索、代码检索和最高 1,024 维的输出。

较大的专用模型留在高内存显卡上,较小的专用模型则在集群内复制
llama.cpp 为何用于生产
llama.cpp 符合我们的资源模型。一个静态 worker 对应一块 GPU、一个模型文件、一组已配置上下文和一个租约。进程边界使启动、关闭、GPU 可见性和日志更容易审计。
它的服务器提供兼容 OpenAI 的聊天、响应和嵌入接口,也支持并行解码和连续批处理。当前服务器文档将多模态支持标记为实验性功能。这些能力见 llama.cpp 服务器文档 。
较大的节点仍可使用 Ollama 作为兼容路径。当内存足够时,Ollama 支持并发加载多个模型,并可通过 keep_alive: 0 立即卸载,详见
Ollama 常见问题
。我们没有选择 Ollama 作为逐卡生产路径,因为静态 llama.cpp worker 对部署和关闭提供了更精确的控制。
我们也评估了 Strata。Strata 面向大型 Qwen 混合专家模型,将 GPU 内存、系统 RAM 和存储组合使用。其已发布预设从 32 GB 的组合内存开始,低 RAM 模式则以速度换取较低容量。参见 Strata 仓库 。Strata 适用于另一个目标:在一块或多块显卡上运行一个更大的混合模型。我们的集群更偏向多个独立且低于 12B 的 worker。
逐 GPU 按需加载
每个模型 worker 都按需加载。请求间隔期间,系统只保持网关、池代理、watchdog 和矿工程序运行。

只有租用的显卡会离开矿工程序,模型进程退出后它便返回
请求生命周期包括以下步骤:
- LiteLLM 选择一个部署。 请求到达所选模型类别对应的池代理。
- 池代理获取租约。 锁可防止两个独占 worker 使用同一块显卡。
- 矿工程序移除一块 GPU 后重启。 所有未租用显卡仍保留在 Pearl 命令中。
- llama.cpp 在租用的设备上启动。 就绪检查完成后,代理才转发请求。
- worker 返回响应。 并发请求会在其他空闲显卡上启动 worker。
- worker 退出。 进程关闭后,池代理会清除租约。
- 矿工程序重新加入已释放的 GPU 后重启。 健康检查确认显卡已重新开始挖矿。
这不同于切换整台主机。多卡机箱可运行多个模型,同时让其余显卡继续挖矿。集群空闲时,所有健康 GPU 都会返回 Pearl。
Pearl 白皮书 介绍了其矩阵计算证明系统。我们的架构不依赖盈利预测,也不声称能带来经济回报。挖矿只是系统配置的空闲工作负载。
故障处理比启动更重要
模型启动只占生命周期的一半。强制停止、GPU 消失、请求中断、过期租约和矿工程序重启都需要明确处理。
我们的 watchdog 将已配置的 GPU 集合与实时 NVIDIA 设备列表进行比较。确认 GPU 缺失后,只触发一次带保护措施的完整系统重启。安全的生产触发条件应包括多次检查失败、冷却时间、排空活动作业、持久化重启计数器和远程告警。一次恢复失败就应停止自动化并要求人工介入。
同一个 watchdog 还会协调过期租约。如果没有 worker 拥有该租约,协调程序就会删除过期记录,并将 GPU 交还给矿工程序。代理金丝雀测试期间,这条恢复路径发挥了作用。
| 故障 | 响应 |
|---|---|
| 模型未通过就绪检查 | 停止 worker、释放租约、恢复挖矿并返回错误 |
| 请求意外结束 | 限制清理时间、终止 worker 进程树并协调租约 |
| GPU 消失 | 确认多次缺失、排空活动工作、执行一次受保护重启、发送告警,然后检查所有已配置 GPU |
| 矿工程序漏掉空闲显卡 | 根据活动租约重建设备列表并重启矿工程序 |
| LiteLLM 部署失败 | 在同一模型组中重试另一副本,然后遵循回退策略 |
| Aperture 授权阻止路径 | 修正身份或模型授权,绝不绕过网关策略 |

常规故障会释放一个租约,确认设备丢失后则进入受保护的主机恢复路径
实验性代理的情况
后端无关代理 旨在为 Ollama、vLLM、llama.cpp 和 Strata 提供统一的 OpenAI 兼容接口。它包含逐模型生命周期管理、空闲卸载和 GPU 部署。
我们在 2026 年 10 月 21 日测试了代理 0.6.0 版本,提交为 c12b65。其本地测试套件报告 1,101 项通过、2 项跳过,Ruff 检查干净。金丝雀随后按需加载模型,并成功处理聊天请求。请求处理期间,其余 GPU 继续挖矿。
关闭时暴露出严重的生命周期问题。模型加载后,代理一直卡在停止流程中,直到 systemd 杀死整个进程树。强制停止留下了过期 GPU 租约,直到协调过程恢复矿工程序。我们还发现,文档中“必须使用 GPU”的设置与生产适配器的实际执行之间存在差距。
我们已在生产路径中禁用该代理。 LiteLLM 现在通过按请求运行的池代理路由。只有在有界子进程关闭、进程组终止、必需 GPU 准入检查和过期租约清理都通过集成测试后,代理才会结束实验阶段。
这带来了一条实用的工程经验:代理只成功启动一次模型,几乎无法证明什么。达到生产要求还依赖干净关闭、有界恢复、独占设备准入和可重复的故障演练。
已执行的验证
部署测试不只检查模型响应:
- 每个共享聊天模型都至少在一台符合条件的主机上完成加载、回答、退出和 Pearl 恢复循环。
- 视觉模型通过聊天路径接受了图像输入。
- 嵌入模型通过私有 LiteLLM 路径返回了已配置的向量大小。
- 多个模型同时在不同显卡上运行。
- 并发 AI 请求期间,未租用的显卡仍留在矿工程序中。
- 共享别名在符合条件的节点间路由。
- 带节点前缀的别名保留了确定性部署位置。
- 每个 LiteLLM 网关都列出了相同的逻辑目录。
- 完整重启一次主机后,缺失的 GPU 恢复了。watchdog 现在带有持久化循环保护。
- 代理关闭失败后,通过租约协调完成恢复。
- 最终稳定状态没有 AI 租约,所有健康 GPU 都回到了矿工程序集合。
健康检查和模型列表不算模型加载测试。有效的验收测试会发送真实请求、检查响应、确认所选 GPU、观察关闭过程,并验证挖矿恢复。
集群故障排除
| 症状 | 首先检查 |
|---|---|
| 能看到模型,但请求失败 | 上游模型 ID、API 格式、认证标头和提供方基础 URL |
| Aperture 返回 405 | 提供方根路径是否重复包含 /v1 后缀 |
| 请求由错误节点处理 | 使用的是共享别名还是带节点前缀的别名 |
| 两个 worker 指向同一显卡 | 租约锁、过期租约状态和 GPU 准入逻辑 |
| 所有显卡都停止挖矿 | 矿工重启代码是否根据活动租约生成设备列表 |
| GPU 没有回到挖矿 | worker 进程树、租约协调和矿工设备列表 |
| 冷启动较慢 | 模型大小、存储速度、PCIe 链路宽度和主机 CPU 压力 |
| 长提示词失败 | 已配置上下文、KV 缓存余量和输出预留 |
| Aperture 中没有嵌入路径 | 使用受 Tailscale 身份和主机防火墙策略限制的已认证 LiteLLM 路径 |
| 代理停止时卡住 | 禁用代理路由,并将流量送回已验证的池代理 |
值得保留的设计规则
- 按任务目的路由。 模型大小本身不决定层级。
- 将策略放在部署位置之上。 Hermes 选择能力别名。LiteLLM 选择部署。池代理选择 GPU。
- 将每块 GPU 作为单独租约处理。 切换整台主机会浪费可用显卡。
- 卸载所有空闲模型。 网关保持运行不要求 GPU worker 也保持运行。
- 保留受限的精确部署路径。 仅供运维人员使用的节点别名可让诊断结果重现。
- 优先测试关闭流程。 矿工恢复和租约清理都属于验收测试。
- 分开处理聊天、视觉和嵌入。 单一网关不代表只有一种协议路径。
- 图表中不放私密信息。 公开角色和流程,不公开地址、密钥、身份或钱包数据。
- 为重启逻辑添加保护。 要求多次检测不到设备、冷却时间、持久化计数器、告警,以及恢复失败后的人工介入。
- 保留实验性旁路。 代理故障不应连带破坏已验证路径。
后续步骤
下一阶段将评估工作负载。每个层级都需要固定任务集、验收标准、延迟记录、GPU 占用率、挖矿中断时间和升级率。这些数据将显示哪些 T2 任务适合转到 T3,哪些 T3 任务能放入 T4。
我们还计划首次执行 Hermes 经 Aperture 到 LiteLLM 的验收测试,并在修复关闭和 GPU 准入路径后重新测试代理。图像生成需要自己的按需加载 OpenAI 兼容适配器,之后才能加入同一套路由目录。
有关模型大小选择,请阅读 本地 AI 模型与 GPU 上下文指南 。有关隐私边界,请阅读 本地 AI 隐私与安全 。有关矿工设置和风险,请阅读 Pearl 挖矿指南 ,不要将空闲挖矿视为保证盈利。






