Table of Contents

模型选择:根据每个变体能完成多少有用回答、能保留多少质量,以及你的工作负载需要多少内存来评估它。拒绝次数少或模型卡片受欢迎,都不能证明这些结果。

不受审查没有标准的性能等级。模型发布者会用这个词描述不同的权重编辑、微调和聊天模板。将每个候选模型与原始模型比较,并用你计划执行的任务进行测试。

这个标签说明什么

经过拒绝方向消融的模型修改了权重,以改变某些拒绝行为。2024 年关于拒绝方向的论文在 13 个开放聊天模型上展示了一种方法。较新的工具还提供其他方法。例如,Heretic 2 同时记录了任意秩消融和定向消融。模型卡上的标签不会说明哪些行为发生了变化,也不会说明编辑产生了什么影响。

比较模型时,请分别查看以下四项属性:

属性检查内容
拒绝行为哪些请求会得到拒绝、部分回答或完整回答?
能力保留知识、推理、编码和格式化任务与原始模型相比如何?
回答完成情况生成在达到令牌数或时间限制前完成的频率有多高?
运行环境适配度精确的量化文件能否在内存足够的情况下运行,并满足所需上下文?

编辑过的模型仍然是概率模型。质量检查要分开进行:准确性、可靠性和安全使用。对于安全措施很重要的任务,也要保留一个经过常规对齐的模型。

为什么拒绝次数不是可靠的排名依据

拒绝分数只衡量一个提示集上的一种结果。它很难说明事实准确性、回答长度,或模型能否在生成预算用尽前给出最终回答。

Sapwell 在 2026 年 9 月进行的 Qwen3.8-27B 比较使用相同的服务配置测试了基础模型和八个变体。包含 13 项任务的能力测试衡量了知识、数学、编码和真实性。另一个 HarmBench 测试集包含 400 个有害请求,并由一个 LLM 评审器检查完整回答。这些结果仅适用于一个模型系列、一块 GPU 和一种评估设计。

研究中的 Qwen3.8-27B 变体400 个请求中的明确拒绝思考未完成的回答
基础模型3810%
OrcaRouter238%
Trohrbaugh12215%

基础模型的拒绝次数较多,同时未完成输出较少。OrcaRouter 的拒绝次数较少,同时未完成回答的比例较高。Trohrbaugh 保留了更多拒绝行为,未完成回答则更少。根据你的任务和可接受的取舍来选择。

一项对 23 个 Gemma 4 E4B 变体的研究发现,下载量最高的变体在部分能力指标上明显下降,而改动较小的变体在该测试中接近基础模型。人气和下载量说明采用情况,不能衡量质量。

不要把这些测量合并成一个总分。分别记录各项指标:拒绝、完成情况、正确性和延迟。还要记录提示集、模型修订版、聊天模板、运行环境、上下文和输出限制。改变其中任何设置都会改变比较的含义。

更换模型前先诊断空回答

推理令牌会在可见文字出现前消耗输出限制。如果内部思考期间用尽限制,一些运行环境会返回空回答或截断的回答。这与拒绝或已完成但错误的回答不同。

Sapwell 的 Qwen3.6-27B 基准测试展示了这个问题如何影响总体分数。原始数学分数差异很大,因为部分运行从未到达最终回答。在已经完成的回答中,测得的准确率要接近得多。该基准将回答能力与推理预算耗尽区分开来。

出现空回答时,检查运行环境的停止原因和日志。记录请求长度、上下文分配、输出令牌上限、经过的时间,以及模型是否生成了最终答案标记。如果设备还有余量,再用更高的输出上限重复同一请求。

结果需要检查的可能类别
拒绝文字模型拒绝了请求。
达到令牌上限时没有输出最终回答生成前,输出预算已耗尽。
输出被截断生成限制中断了尚未完成的回答。
运行环境错误服务器、模型文件或内存分配发生故障。
回答完整但错误模型返回了文字,但未通过正确性检查。

空输出:先确认运行环境的结果,再判断每个案例是否属于模型缺陷。扩大上下文窗口不会自动解决输出上限太低、模板格式错误或应用程序超时的问题。

为权重和上下文预留 VRAM

模型文件只是内存使用者之一。运行环境还需要为 KV 缓存留出空间,用于存储当前请求和回答的注意力状态,也需要计算缓冲区和其他已加载进程占用的内存。上下文越长,内存使用量越大。

Ollama 的当前文档列出的默认上下文窗口为:VRAM 小于 24 GiB 时 4K,24 到 48 GiB 时 32K,48 GiB 及以上时 256K。这些值描述的是运行环境默认行为。使用 ollama ps 检查已分配的上下文和处理器位置。

Linux 示例:此命令为新的 Ollama 服务器会话设置 16K 的默认值:

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

检查已分配的上下文是否满足已加载模型的常见输入和回答长度:

ollama ps

CONTEXT 和 PROCESSOR 列会显示分配量,以及模型是在 GPU 上运行还是部分卸载。上下文分配:显示的上限并不保证整个窗口都能放进 VRAM。

按 GPU 内存选择起点

起步候选:这些模型系列曾出现在 2026 年的变体比较中。文件大小来自特定的量化仓库。在认定某个候选适用前,请确认具体文件、运行环境支持情况和实测内存需求。

GPU 内存起步候选主要限制
8 GBGemma 4 E4B,例如 coder3101 变体权重文件较小。为上下文和运行环境缓冲区预留内存。
12 GBGemma 4 12B,例如 TrevorJS 的 7.4 GB GGUF Q4 文件模型能力更强,但与较小变体相比,长上下文可用空间更少。
16 GB较小模型或 Qwen3.8-27B Q3 文件Qwen 仓库列出的 Q3_K_S 大小为 13.72 GB。发布者将该文件标为低质量。上下文余量有限。
24 GBQwen3.8-27B Q4_K_S 或 Q4_K_M当前仓库列出 16.71 GB 和 17.77 GB 的文件。为缓存和缓冲区预留空间。
32 GBQwen3.8-27B Q6_K当前仓库列出的文件为 23.46 GB。与较小量化版本相比,较大的文件会为上下文留下更少内存。

将这些选项作为起点。仓库和版本会变化,文件大小本身无法预测运行环境的内存分配或回答质量。

GGUF 量化标签概述了编码方式。不同仓库之间存在差异:名义位深相同的文件不一定具有相同质量。一个 Qwen 仓库将 Q3_K_S 标为低质量,并将 Q4_K_M 作为默认选择。下载前检查具体文件大小、模型卡、请求格式和测试结果。

要估算缓存并检查本地 GPU 是否适用,请参阅本站的 本地模型、GPU 和上下文指南 。其中的建议侧重编码工作。本文侧重修改后的拒绝行为和评估。

检查聊天模板和模型来源

聊天模板会使用模型预期的令牌和指令封装消息。模型包有时包含自定义模板或系统提示词。即使基础权重不变,这些修改也会影响测得的行为。

模板的影响:Sapwell 发现一个 Qwen3.8 变体,其模型包包含一个 角色设定,要求模型绝不拒绝或警告。它的低拒绝声明依赖于该模板。Sapwell 在比较中统一了模板,让测试着重观察权重之间的差异。这种控制不能证明随附模板具有恶意或无法使用。

安装前:核实发布者、基础模型、许可证、转换流程、量化器、模板和修订历史。使用相同模板和运行环境与原始模型比较。如果模型卡没有说明方法或测试设置,请将来源记录为未知。

为你的工作负载进行小规模评估

建立可重复的提示集,从你拥有或获准测试的常见任务中选取内容。包括模型将执行的工作、答案已知的事实问题,以及通过条件明确的格式要求。加入一些安全的边界案例,让拒绝行为仍是决策依据之一。

原始模型和编辑后的变体要使用相同的测试设置。系统提示词、模板、量化、运行环境版本、上下文、输出上限和采样设置都应保持一致。将模型修订版或文件哈希与结果一并保存。

分别记录每项结果:

  • 完成情况:最终回答、拒绝、空输出、截断或运行环境错误。
  • 正确性:根据预期答案或评分标准判断通过或失败。
  • 实用性:回答是否满足任务要求。
  • 延迟:首个令牌所需时间和总生成时间。
  • 内存:上下文分配、GPU 位置和峰值 VRAM。
  • 安全行为:对每个边界案例作出适当拒绝或继续回答。

每次只改变一个变量,然后重复测试。如果提高输出上限后回答完成,首次失败是预算不足所致。如果回答仍不完整,请检查模型模板、推理模式、运行环境和模型修订版。只有在不会造成不可接受的准确性或安全性损失、且能改进目标任务时,才保留该变体。

隔离部署环境

隐私:本地推理取决于整个技术栈。检查前端、日志、扩展、遥测和网络路由。将不可信权重和自定义模板视为第三方代码与配置。

公网访问:切勿将模型端点直接暴露在公网。隔离工具访问,并仅在获准的工作中使用编辑后的变体。远程访问时,应将端点放在具备身份验证、请求速率限制和网络隔离的私有网关后。原始拒绝方向论文说明了移除拒绝行为的编辑所带来的安全影响。

结论

决策规则:选择在你自己的任务集上取得最强已验证结果的模型。将拒绝次数作为一项指标,然后检查回答完成情况、正确性、模板行为和 VRAM 余量。先选一个适合 GPU 的文件,按工作负载设置上下文,再用相同设置与原始模型比较。

要确定 GPU 规格,请将这些结果与本站的 Qwen 27B GPU 租赁基准 比较。如果不确定具体模型文件或目标上下文,先租用或借用设备再购买。

来源