Table of Contents

我们部署了按请求分配本地 GPU 的集群,并设计了混合控制平面。 已验证的路径从 LiteLLM 开始,选择一个模型组,并且每次只在一块 GPU 上加载一个本地模型。Hermes 的分级策略仍是提议方案,Tailscale Aperture 配置文件已准备好进入下一轮集成测试。两者都尚未作为端到端路径的一部分完成验证。

空闲显卡用于挖掘 Pearl。AI 请求只会暂停已租用显卡上的挖矿,完成请求后卸载模型,再将显卡交还给矿工程序。

要点

  • T0 至 T2 处理成本高或要求高的工作。 这些路径优先使用托管的前沿模型和有序的回退链。
  • T3 处理较重的本地工作。 集群将规划、编码、审查和视觉任务分配给 4B 至 12B 模型。
  • T4 处理高频本地工作。 小型模型负责路由、分类、提取、嵌入,以及范围明确的代码任务。
  • 每块 GPU 都是独立资源。 一块显卡处理 AI 请求时,其余显卡继续挖矿。
  • 本地模型在空闲时保持卸载。 请求间隔期间,没有模型占用 GPU 内存。
  • 每个网关都提供相同的逻辑目录。 共享别名会在符合条件的系统间分配任务。需要精确定位时,可使用带节点前缀的别名。
  • 实验性代理没有进入生产环境。 它的金丝雀测试成功处理了一个请求,但未通过正常关闭测试。LiteLLM 继续使用已验证的按请求路径。
  • Hermes 和 Aperture 仍处于准备阶段。 目标设计已经存在,但端到端验收测试尚未完成。

前提条件: 多台 Linux GPU 主机、稳定的 NVIDIA 驱动、Tailscale tailnet、systemd、正常运行的矿工程序、模型存储,以及每条模型路径的验收测试。

时间和难度: 高级。请为清点资产、下载模型、定义服务、路由测试、故障演练以及逐卡挖矿恢复检查预留数天。

下文使用的术语: tailnet 是由 Tailscale 身份和设备构成的私有网络。模型别名是提供给客户端的稳定模型名称。模型组将多个部署放在一个别名之后。池代理是小型本地服务,负责租用 GPU、启动模型 worker,并将显卡交还给挖矿任务。

设计目标

智能体工作有多种形式。修复代码仓库需要的模型,与生成标题、理解截图、生成嵌入或标记意图所需的模型不同。每轮都发送给最大模型会浪费资金和本地算力。每轮都发送给最小模型会增加重试并降低结果质量。

我们希望建立包含五个工作负载层级的统一目录。策略需要通过熟悉的 API 格式提供托管模型和本地模型。本地 GPU 也要在 AI 请求之间保持有效利用。

集群还需要支持并发。多卡主机应同时处理多项独立工作。一块显卡收到请求后,不应停止机箱内所有显卡的挖矿。

匿名化架构图,将提议中的 Hermes 路由和准备中的 Aperture 路由,与已验证的 LiteLLM 网关及本地 GPU worker 分开显示

提议中和准备中的控制路径位于已验证的 LiteLLM 与逐 GPU 执行路径之上

图中使用通用节点名称,不包含私人地址、用户身份、访问密钥、钱包数据或实体主机标签。

T0 至 T4 的含义

这些层级名称代表我们的路由策略。它们不是行业标准,也不只描述模型大小。

层级主要角色常见目标故障处理方式
T0默认协调者和最难的决策托管的前沿推理模型按顺序尝试托管回退链
T1高价值 worker 智能体高能力托管模型池在分配的链中重试
T2通用 worker 池快速托管模型,必要时升级将难题升级到 T1 或 T0
T3大量私有本地工作4B 至 12B 本地聊天、代码、审查和视觉模型在符合条件的本地节点重试,受限数据则安全失败
T4范围较窄且频繁的本地工作0.6B 至 3B 本地路由、分类、代码和嵌入模型在本地副本重试,或在相同数据边界内转到 T3

层级首先描述任务,其次才描述模型。简短且对安全敏感的分类适合 T4。较长的代码仓库计划适合 T3 或更高层级。即使提示词很短,困难的架构决策也应从更高层级开始。

这种划分也改变了智能体的成本结构。T4 worker 负责重复的低风险转换。T3 worker 将常见代码和分析保留在 tailnet 内。T0 至 T2 则用于困难工作和故障恢复。

每次使用托管回退前,都必须先检查数据类别。 公开、内部和受限工作分别使用不同链路。受限工作留在本地,并在失败时安全终止。跨越数据边界重试,需要先清理输入,并获得用户或工作流的明确批准。在调用托管服务前,必须删除凭据、仓库机密、私有工具输出和敏感检索内容。

Hermes 如何管理任务策略

Hermes 是提议中的智能体层。目标策略会分配模型类别、运行工具、委派工作,并沿明确的回退链处理请求。Hermes 为主模型、辅助任务、委派智能体和任务专属回退分别定义路径。它还支持通过基础 URL 配置自定义的 OpenAI 兼容端点。参见 Hermes 配置指南 和 回退提供方指南 。

我们的策略将 Hermes 任务映射到稳定别名,而不是物理服务器。例如:

t3-smart
t3-code
t3-review
t3-vision
t4-code
t4-classify
t4-router
t4-embedding

别名表达任务意图。Hermes 无需知道哪块 GPU 空闲、哪个节点有更大的显卡,或哪个副本未通过健康检查。这些决策由下层负责。

某些工作仍需要确定性部署。带节点前缀的模型 ID 会将运维诊断或基准测试发送到指定系统。应通过单独的 Aperture 授权将这些别名限制给运维人员。普通智能体流量使用共享层级别名。

模型访问控制并不能保护智能体工具。Hermes 部署还需要遵循最小权限原则的工具允许列表、隔离的工作区、限定范围的凭据、网络出口控制和提示词注入处理。委派 worker 不应继承超出任务需要的权限。

Aperture 是准备中的身份边界

Tailscale 在不将各项服务公开到互联网的前提下,连接已配置的网关和推理主机。Aperture 正在准备作为面向用户的边界和模型路由器。该路径仍需通过端到端验收测试。Tailscale 在 《Aperture 的工作方式》 中说明了通过 tailnet 加密访问客户端,以及通过 TLS 转发到提供方的机制。

Aperture 还将网络可达性与权限分开。其授权默认拒绝访问。用户或带标签的设备到达网关后,仍需获得匹配的模型授权。 Aperture 授权指南 说明了累加式授权模型和身份来源。

部署前,准备中的 Aperture 配置应遵循四项规则:

  1. 一个具名身份拥有管理员角色。 普通模型访问权限不授予管理权限。
  2. 提供方明确列出模型 ID。 Aperture 不会从上游服务推断模型。
  3. 提供方 URL 指向 tailnet 地址。 私有节点名称和地址不得出现在文章或公开配置示例中。
  4. 机密保存在服务专属文件中。 部署前应设置仅所有者可访问的权限、受限服务账户、密钥轮换和日志脱敏。诊断输出不得显示 LiteLLM 密钥、tailnet 地址、订阅令牌或钱包数据。

Aperture 会将收到的请求路径追加到每个提供方的基础 URL。其 配置参考 提醒,不要在提供方根路径中重复添加 /v1 后缀。这个细节带来了足够的集成风险,因此我们将其纳入了明确的验证检查。

视觉请求已准备好通过包含图像内容的 OpenAI Chat Completions 格式传递。嵌入请求直接使用私有 LiteLLM 端点,因为当前 Aperture 自托管提供方矩阵记录的是聊天格式,而我们的嵌入路径依赖聊天选择器之外的 LiteLLM 和 llama.cpp 端点。参见 支持的提供方和客户端参考 。

直接嵌入路径需要自己的授权边界。LiteLLM 身份验证、严格的 Tailscale 授权、服务绑定到 tailnet 接口,以及主机防火墙规则,应共同将访问限制到获准身份或服务标签。私有地址本身不构成授权策略。

匿名化路由图,将获准的托管任务与发送到本地 GPU worker 的受限请求分开

身份、授权和数据分类决定请求是否离开私有集群

LiteLLM 提供统一目录

每台推理主机运行一个 LiteLLM 网关。即使模型位于其他节点,每个网关仍暴露相同的逻辑模型目录。客户端只需使用一种 API 格式和一组别名。

LiteLLM 会将多个部署归入同一个模型名称。随后,路由器选择符合条件的部署,并应用重试、超时、冷却时间或回退。当前的 LiteLLM 路由文档 介绍了共享模型名称、路由策略和重试行为。

目录包含两种地址形式:

地址形式示例用途
共享别名t4-classify在符合条件的节点间分配常规工作
节点别名node-b/qwen-small执行诊断或固定部署位置

共享别名无需更改 Hermes 即可实现横向扩展。添加符合条件的副本会扩大模型组。移除不健康的副本会缩小模型组。

我们将 GPU 生命周期逻辑放在 LiteLLM 下层。网关保持运行,但其内存占用不会预留 GPU 内存。本地池代理收到所选模型的请求后,租用一块显卡、启动 worker,并在响应后将 worker 关闭。

本地模型目录

集群优先选择参数量不超过 12B 的模型。这个上限符合现有显卡内存,同时为上下文和运行时缓冲区留出空间。

模型记法: B 表示十亿参数。K 表示数千个已配置的上下文令牌。量化以较低数值精度存储模型权重,从而减少内存使用。KV 缓存保存活动上下文的注意力状态,并随提示词长度增长。E4B 是 Google 对较小 Gemma 4 版本的尺寸标签。

层级路由模型类别已配置上下文主要任务部署位置
T3 智能Qwen3.5 9B,已量化64K困难的本地规划和通用智能体工作内存较大的 GPU 节点
T3 代码Granite 4.2 8B,已量化64K仓库工作、工具、终端任务、结构化输出内存较大的 GPU 节点
T3 审查Gemma 4 12B,已量化32K独立审查和替代推理内存较大的 GPU 节点
T3 通用和视觉Qwen3.5 4B,已量化32K扩展的通用工作和图像理解所有兼容 GPU
T3 替代审查Gemma 4 E4B,已量化8K多样化的审查路径所有兼容 GPU
T4 代码Granite 4.2 3B,已量化16K小型编辑、工具调用、结构化输出所有兼容 GPU
T4 分类Qwen3.5 2B,已量化16K分类、提取和改写所有兼容 GPU
T4 路由器Qwen3.5 0.8B,高精度量化16K意图、标签、标题和短文本转换所有兼容 GPU
T4 嵌入Qwen3 Embedding 0.6B,已量化32K智能体记忆、RAG、代码检索和聚类所有兼容 GPU

这些上下文值是部署设置,不是模型公布的限制。即使使用更大的公布窗口,也会占用 KV 缓存和运行时内存。我们选择较低值,以便在单块显卡上稳定运行。

Qwen 将 Qwen3.5 描述为多模态系列,并在 Qwen3.5 系列页面 发布从小到大的密集模型变体。IBM 发布了 Granite 4.2 8B 的智能体编码和长上下文结果。Google 表示 Gemma 4 支持多模态输入、函数调用和更大的公布窗口。

嵌入路径使用独立模型生成向量,而不是要求聊天模型生成向量。 Qwen3 Embedding 0.6B 模型卡 列出了 32K 序列长度、多语言检索、代码检索和最高 1,024 维的输出。

匿名化模型部署图,显示较大的 T3 模型位于高内存节点,复制的 T3 与 T4 模型位于多 GPU 节点

较大的专用模型留在高内存显卡上,较小的专用模型则在集群内复制

llama.cpp 为何用于生产

llama.cpp 符合我们的资源模型。一个静态 worker 对应一块 GPU、一个模型文件、一组已配置上下文和一个租约。进程边界使启动、关闭、GPU 可见性和日志更容易审计。

它的服务器提供兼容 OpenAI 的聊天、响应和嵌入接口,也支持并行解码和连续批处理。当前服务器文档将多模态支持标记为实验性功能。这些能力见 llama.cpp 服务器文档 。

较大的节点仍可使用 Ollama 作为兼容路径。当内存足够时,Ollama 支持并发加载多个模型,并可通过 keep_alive: 0 立即卸载,详见 Ollama 常见问题 。我们没有选择 Ollama 作为逐卡生产路径,因为静态 llama.cpp worker 对部署和关闭提供了更精确的控制。

我们也评估了 Strata。Strata 面向大型 Qwen 混合专家模型,将 GPU 内存、系统 RAM 和存储组合使用。其已发布预设从 32 GB 的组合内存开始,低 RAM 模式则以速度换取较低容量。参见 Strata 仓库 。Strata 适用于另一个目标:在一块或多块显卡上运行一个更大的混合模型。我们的集群更偏向多个独立且低于 12B 的 worker。

逐 GPU 按需加载

每个模型 worker 都按需加载。请求间隔期间,系统只保持网关、池代理、watchdog 和矿工程序运行。

匿名化流程图,显示 GPU 从 Pearl 挖矿转为 AI 租约、模型服务、卸载,然后恢复挖矿

只有租用的显卡会离开矿工程序,模型进程退出后它便返回

请求生命周期包括以下步骤:

  1. LiteLLM 选择一个部署。 请求到达所选模型类别对应的池代理。
  2. 池代理获取租约。 锁可防止两个独占 worker 使用同一块显卡。
  3. 矿工程序移除一块 GPU 后重启。 所有未租用显卡仍保留在 Pearl 命令中。
  4. llama.cpp 在租用的设备上启动。 就绪检查完成后,代理才转发请求。
  5. worker 返回响应。 并发请求会在其他空闲显卡上启动 worker。
  6. worker 退出。 进程关闭后,池代理会清除租约。
  7. 矿工程序重新加入已释放的 GPU 后重启。 健康检查确认显卡已重新开始挖矿。

这不同于切换整台主机。多卡机箱可运行多个模型,同时让其余显卡继续挖矿。集群空闲时,所有健康 GPU 都会返回 Pearl。

Pearl 白皮书 介绍了其矩阵计算证明系统。我们的架构不依赖盈利预测,也不声称能带来经济回报。挖矿只是系统配置的空闲工作负载。

故障处理比启动更重要

模型启动只占生命周期的一半。强制停止、GPU 消失、请求中断、过期租约和矿工程序重启都需要明确处理。

我们的 watchdog 将已配置的 GPU 集合与实时 NVIDIA 设备列表进行比较。确认 GPU 缺失后,只触发一次带保护措施的完整系统重启。安全的生产触发条件应包括多次检查失败、冷却时间、排空活动作业、持久化重启计数器和远程告警。一次恢复失败就应停止自动化并要求人工介入。

同一个 watchdog 还会协调过期租约。如果没有 worker 拥有该租约,协调程序就会删除过期记录,并将 GPU 交还给矿工程序。代理金丝雀测试期间,这条恢复路径发挥了作用。

故障响应
模型未通过就绪检查停止 worker、释放租约、恢复挖矿并返回错误
请求意外结束限制清理时间、终止 worker 进程树并协调租约
GPU 消失确认多次缺失、排空活动工作、执行一次受保护重启、发送告警,然后检查所有已配置 GPU
矿工程序漏掉空闲显卡根据活动租约重建设备列表并重启矿工程序
LiteLLM 部署失败在同一模型组中重试另一副本,然后遵循回退策略
Aperture 授权阻止路径修正身份或模型授权,绝不绕过网关策略
匿名化恢复图,涵盖 worker 故障、过期租约、GPU 缺失、受保护重启和运维人员锁定

常规故障会释放一个租约,确认设备丢失后则进入受保护的主机恢复路径

实验性代理的情况

后端无关代理 旨在为 Ollama、vLLM、llama.cpp 和 Strata 提供统一的 OpenAI 兼容接口。它包含逐模型生命周期管理、空闲卸载和 GPU 部署。

我们在 2026 年 10 月 21 日测试了代理 0.6.0 版本,提交为 c12b65。其本地测试套件报告 1,101 项通过、2 项跳过,Ruff 检查干净。金丝雀随后按需加载模型,并成功处理聊天请求。请求处理期间,其余 GPU 继续挖矿。

关闭时暴露出严重的生命周期问题。模型加载后,代理一直卡在停止流程中,直到 systemd 杀死整个进程树。强制停止留下了过期 GPU 租约,直到协调过程恢复矿工程序。我们还发现,文档中“必须使用 GPU”的设置与生产适配器的实际执行之间存在差距。

我们已在生产路径中禁用该代理。 LiteLLM 现在通过按请求运行的池代理路由。只有在有界子进程关闭、进程组终止、必需 GPU 准入检查和过期租约清理都通过集成测试后,代理才会结束实验阶段。

这带来了一条实用的工程经验:代理只成功启动一次模型,几乎无法证明什么。达到生产要求还依赖干净关闭、有界恢复、独占设备准入和可重复的故障演练。

已执行的验证

部署测试不只检查模型响应:

  • 每个共享聊天模型都至少在一台符合条件的主机上完成加载、回答、退出和 Pearl 恢复循环。
  • 视觉模型通过聊天路径接受了图像输入。
  • 嵌入模型通过私有 LiteLLM 路径返回了已配置的向量大小。
  • 多个模型同时在不同显卡上运行。
  • 并发 AI 请求期间,未租用的显卡仍留在矿工程序中。
  • 共享别名在符合条件的节点间路由。
  • 带节点前缀的别名保留了确定性部署位置。
  • 每个 LiteLLM 网关都列出了相同的逻辑目录。
  • 完整重启一次主机后,缺失的 GPU 恢复了。watchdog 现在带有持久化循环保护。
  • 代理关闭失败后,通过租约协调完成恢复。
  • 最终稳定状态没有 AI 租约,所有健康 GPU 都回到了矿工程序集合。

健康检查和模型列表不算模型加载测试。有效的验收测试会发送真实请求、检查响应、确认所选 GPU、观察关闭过程,并验证挖矿恢复。

集群故障排除

症状首先检查
能看到模型,但请求失败上游模型 ID、API 格式、认证标头和提供方基础 URL
Aperture 返回 405提供方根路径是否重复包含 /v1 后缀
请求由错误节点处理使用的是共享别名还是带节点前缀的别名
两个 worker 指向同一显卡租约锁、过期租约状态和 GPU 准入逻辑
所有显卡都停止挖矿矿工重启代码是否根据活动租约生成设备列表
GPU 没有回到挖矿worker 进程树、租约协调和矿工设备列表
冷启动较慢模型大小、存储速度、PCIe 链路宽度和主机 CPU 压力
长提示词失败已配置上下文、KV 缓存余量和输出预留
Aperture 中没有嵌入路径使用受 Tailscale 身份和主机防火墙策略限制的已认证 LiteLLM 路径
代理停止时卡住禁用代理路由,并将流量送回已验证的池代理

值得保留的设计规则

  1. 按任务目的路由。 模型大小本身不决定层级。
  2. 将策略放在部署位置之上。 Hermes 选择能力别名。LiteLLM 选择部署。池代理选择 GPU。
  3. 将每块 GPU 作为单独租约处理。 切换整台主机会浪费可用显卡。
  4. 卸载所有空闲模型。 网关保持运行不要求 GPU worker 也保持运行。
  5. 保留受限的精确部署路径。 仅供运维人员使用的节点别名可让诊断结果重现。
  6. 优先测试关闭流程。 矿工恢复和租约清理都属于验收测试。
  7. 分开处理聊天、视觉和嵌入。 单一网关不代表只有一种协议路径。
  8. 图表中不放私密信息。 公开角色和流程,不公开地址、密钥、身份或钱包数据。
  9. 为重启逻辑添加保护。 要求多次检测不到设备、冷却时间、持久化计数器、告警,以及恢复失败后的人工介入。
  10. 保留实验性旁路。 代理故障不应连带破坏已验证路径。

后续步骤

下一阶段将评估工作负载。每个层级都需要固定任务集、验收标准、延迟记录、GPU 占用率、挖矿中断时间和升级率。这些数据将显示哪些 T2 任务适合转到 T3,哪些 T3 任务能放入 T4。

我们还计划首次执行 Hermes 经 Aperture 到 LiteLLM 的验收测试,并在修复关闭和 GPU 准入路径后重新测试代理。图像生成需要自己的按需加载 OpenAI 兼容适配器,之后才能加入同一套路由目录。

有关模型大小选择,请阅读 本地 AI 模型与 GPU 上下文指南 。有关隐私边界,请阅读 本地 AI 隐私与安全 。有关矿工设置和风险,请阅读 Pearl 挖矿指南 ,不要将空闲挖矿视为保证盈利。