Table of Contents

Raspberry Pi 可以在本地运行实用的语言模型,但模型必须放得进板载内存,响应时间也要符合应用需求。2 GB 的 Raspberry Pi 4 最适合参数量约低于 10 亿的模型。8 GB 的 Raspberry Pi 5 可以轻松运行紧凑型 1B–3B 模型,也能加载一些更大的量化模型,但需要明显妥协。

我们在一台2 GB Pi 4B和一台8 GB Pi 5上通过 Ollama 实测这些模型,两者均使用 microSD 存储。表格中的测试使用相同的五条简短助手提示、相同系统提示、固定 seed 和 140-token 输出上限。每次测试前卸载其他模型,并测量冷加载时间、首个可见 token 时间、完整回复时间、输出速度和峰值常驻内存。这些是针对短回复工作负载的单轮测试,结果可用于估算资源需求,不代表通用速度或回答质量排名。 Pi 5 的 Cortex-A76 CPU 和可选内存配置 与 Pi 4 的 Cortex-A72 平台 也有明显差异。

适合的模型类型

模型类型测量示例实际用途
约 230M–600M 参数的小型文本模型LFM2.5-230M、LFM2.5-350M、Qwen2.5-0.5B简短本地命令、摘要和受限问答;2 GB Pi 4 的最佳起点
约 1B–2B 参数的紧凑文本模型LFM2.5-1.2B、Qwen2.5-1.5B、Gemma 3 1B、MiniCPM5-1BPi 5 或更大内存的 Pi 4 可更细致地遵循指令,但速度低于最小模型
量化的 3B–4B 文本模型Qwen2.5-3B、Llama 3.2 3B、Gemma 3 4B适合能接受每次回复等待数秒的 8 GB Pi 5
更大的稀疏或混合模型LFM2.5 8B在测试过的 8 GB Pi 5 上可以运行,但内存占用大,冷加载时间长

这些是文本生成结果,不代表图像生成、语音识别、视觉或训练性能。“能运行”不只代表模型文件能放进卡里,运行时、上下文缓存、操作系统和其他服务也需要 RAM。量化会缩小权重文件,但可能降低回答质量,尤其是 1-bit 权重等极端设置。

测量内容

基准测试通过 Ollama 聊天 API 发送关于事实、安全流程、检索上下文、天气和帮助的简短提示。每个模型使用相同的提示集和 seed。计时前卸载模型,让下一次请求包含冷加载。总耗时是完整请求时间,每秒 token 数只表示输出生成速度。我们还记录首个可见 token 的时间,因为模型可能先进行推理再回答。

内存测试期间,我们记录 Pi 的可用 RAM 和 swap,以及 Ollama 与推理进程的常驻内存。RSS表示进程常驻内存,不是整台主机的总需求。文件页、操作系统、浏览器或其他本地服务仍可能让看起来放得下的模型触发 swap。表格采用最初五条提示的单轮测试。之后我们增加了新闻提示和回复规则检查。这些检查能说明要关注什么,但不会把早期速度测试变成六条提示的合规结果。

每秒 token 数和参数量都不是质量分数。模型可以快速输出文本,却漏掉要求的来源、超过字数上限或留下不完整句子。请用实际准备发送的提示比较模型,并在用于应用前检查回答。

Raspberry Pi 4:优先选择最小模型

测试的 2 GB Pi 4 可用余量有限。最小的 LFM2.5 模型和 qwen2.5:0.5b 都完成了五条提示,适合简短离线回复或小型本地助手。

模型模型文件实测输出速度平均回复时间内存或观察结果
LFM2.5-230M,导入 GGUF0.25 GB12.8 tokens/s7.2 s峰值常驻内存 383 MB;5/5 条提示
LFM2.5-350M,导入 GGUF0.38 GB8.6 tokens/s8.6 s峰值常驻内存 516 MB;5/5 条提示
qwen2.5:0.5b0.40 GB8.0 tokens/s9.7 s5/5 条提示;可直接从 Ollama 获取
MiniCPM5-1B,导入 GGUF,关闭推理0.69 GB5.9 tokens/s12.2 s峰值常驻内存 883 MB;5/5 条提示
MiniCPM5-1B,导入 GGUF,默认推理0.69 GB5.7 tokens/s33.3 s五条提示中仅一条返回有用的可见回复
qwen3:0.6b,默认推理0.52 GB6.4 tokens/s40.4 s一条空回复;板子重启
granite4:350m0.71 GB4.6 tokens/s15.5 s913 MB RSS,无 swap 或重启;速度慢但稳定
gemma3:1b0.82 GB4.0 tokens/s30.7 sswap 压力大;测试期间板子重启
qwen3.5:0.8b1.04 GB——未完成;板子重启

Pi 4 的结果尤其受系统其他负载影响。测试较大模型时出现板子重置,包括未能完成的 qwen3.5:0.8b 运行。这反映我们的 2 GB 配置,不表示所有 Pi 4 或所有 1B 模型都会重启。4 GB 或 8 GB Pi 4 内存更多,但 CPU 推理仍会慢于测试的 Pi 5。我们没有直接测试这些 Pi 4 内存版本。

Pi 4 的一次早期测试明显差于最终结果:约 625 MB 暂存 GGUF 文件放在 RAM 支持的 /tmp 中,只剩约 500–600 MB 可用,数百 MB 被换出到 swap。将文件移到持久存储后,小模型结果更能反映推理内存。在 2 GB 板子上,下载文件的位置也会扭曲基准测试。

**建议:**这台 2 GB 板子的默认选择是导入的 LFM2.5-350M。它在 516 MB RSS 下保持稳定,留下约 1 GB RAM,并在 Pi 4 回复规则测试中通过 5/6。Pi 5 重复测试中它有时漏掉来源名称,因此需要出处的应用应检查这一点。若延迟和内存余量最重要,可选 LFM2.5-230M:它更快、更轻,但一次医疗语境回答将 “nausea or vomiting” 错写成 “nausea/ventilator use”。这项内容错误使它不适合作为健康或安全回复的默认选择,尽管重复机械检查分数更高。如果需要 Ollama 模型库 中的模型,可选 qwen2.5:0.5b,但要考虑其指令遵循能力较弱。granite4:350m稳定但更慢、占用更多内存;MiniCPM5-1B 只有在客户端关闭推理时才可用。在这台特定 2 GB 配置中,我们的测试导致重启,因此避免 Gemma 3 1B 和 Qwen3.5 0.8B。

Raspberry Pi 5:选择更多,速度需要妥协

8 GB Pi 5 运行了速度和内存基准中的全部 25 个模型。表格包括所有测试,也包括不推荐用于短回复工作负载的模型。†表示导入的 GGUF。“Think off”表示速度测试所用设置;单独的合规测试不一定采用相同设置。

模型文件 GB输出 tok/s回复 s峰值 RSS MB短回复评估
lfm2.5-230m †0.2545.01.8446延迟最低;重复合规率 78%
bonsai-1.7b †,Q1_00.2515.38.2871不建议:1-bit 权重,单轮合规 3/6
lfm2.5-350m †0.3830.02.1581速度快,但 18 次重复中有 5 次漏掉来源
qwen2.5:0.5b0.4028.43.6675易用的模型库选项;重复合规率 61%
qwen3:0.6b,关闭推理0.5223.04.31,069有条件适用:4/6,推理设置很重要
bonsai-4b †,Q1_00.576.818.11,343实验性 1-bit 模型;单轮 6/6 尚未确认
minicpm5-1b †,关闭推理0.6918.45.1869有条件适用:默认推理会返回空回复
granite4:350m0.7112.16.6892能运行,但比小型 LFM2.5 慢且更大
lfm2.5-1.2b †0.7315.54.7967最适合我们的工作负载;重复合规率 89%
llama3.2:1b-instruct-q4_K_M0.8113.07.51,244模型库替代选项;合规 5/6
gemma3:1b0.8211.210.91,262仅用模型库选项中重复合规率最高:83%
qwen2.5:1.5b-instruct-q4_K_M0.9910.39.41,3614/6;Gemma 3 1B 更遵循规则
qwen3.5:0.8b,关闭推理1.048.812.21,592默认推理时 0/6;无法控制推理时避免
spark-x2.5-1.7b †,关闭推理1.119.79.41,542默认推理时 0/6;无法控制推理时避免
qwen3:1.7b,关闭推理1.368.112.41,867有条件适用;比小型选项更耗内存、延迟更高
minicpm5-2b †,关闭推理1.567.710.91,787有条件适用;单轮 5/6,但多出列表项
qwen2.5:3b-instruct-q4_K_M1.935.214.72,366可尝试的 3B 选项;单轮 5/6
granite4:micro-h1.943.923.72,486不适合交互使用:解码慢
llama3.2:3b-instruct-q4_K_M2.025.518.62,831另一 3B 选项;未报告合规测试
granite4:micro2.105.317.92,679能运行,但回复慢于较小替代方案
qwen3.5:2b,关闭推理2.745.016.13,627内存和延迟较高;未报告合规测试
gemma3:4b3.343.930.34,267不适合快速回复;首 token 等待 14.3 s
ling-3.0-tiny †,关闭推理4.829.919.45,071占用大;单轮 5/6,但依据关联失败
lfm2.5:8b,关闭推理5.168.754.65,317勉强放得下;冷加载 34.4 s,回复过长
gemma3n:e2b5.626.125.95,261不建议:与其他 Pi 服务同时运行会产生 swap 压力

† 导入的 GGUF。回复时间和内存数据来自 Pi 5 的五提示速度测试;合规分数来自单独的六提示测试。没有合规分数表示尚未证明模型遵循回复规则。

小型 LFM2.5 模型在这类短回复工作负载下速度最快。1.2B 版本在测试的 Pi 5 上比较实用。Gemma 3 1B 是仅来自模型库的替代方案,在后续测试中重复遵循回复规则的表现优于 Qwen2.5 1.5B。对于需要更大容量的提示,3B 模型的慢速输出可能值得接受,但单凭这些计时无法判断哪款回答更好。

冷加载和首 token 延迟会影响体验。Pi 5 上 LFM2.5-230M 约 0.21 秒加载,并在 0.37 秒后输出可见 token。Qwen2.5 1.5B 加载需 2.59 秒,首个可见 token 需 3.66 秒;Qwen2.5 3B 分别需 5.60 和 7.97 秒。偶尔提问时,这些延迟可能比生成开始后的输出速度更重要。持续驻留的模型受冷加载影响较小,但会在请求间占用内存。

其他测量结果说明为什么不能仅按参数量排序。关闭推理后,qwen3:0.6b 在 Pi 5 上达到 1,069 MB RSS、23.0 tokens/s,导入的 MiniCPM5-1B 达到 869 MB RSS、18.4 tokens/s。尽管名为 350M,granite4:350m需要下载 0.71 GB,生成速度为 12.1 tokens/s。模型包装和架构会改变名称、文件大小、内存和速度之间的关系。

如果客户端能可靠发送 think: false,可以把 Qwen3 0.6B 和 MiniCPM5-1B 作为 LFM2.5 的替代方案测试。MiniCPM5-2B、Qwen3 1.7B 和 Spark-X2.5 1.7B 也在 Pi 5 上运行过,但与主要选择相比没有明显的速度和内存优势。MiniCPM5-1B 和 Spark-X2.5 的合规测试使用默认推理;不能把它们的空回复说成关闭推理时速度测试的结果。反过来,关闭推理后的快速计时也不能证明未发送该标志的桥接服务会收到可用答案。

如果安装简单比原始速度更重要,Gemma 3 1B 和 Llama 3.2 1B 是 8 GB Pi 5 上合理的模型库选项。Gemma 3 1B 在重复测试中 15/18 次遵循了规则。Llama 3.2 1B 单轮通过 5/6,所以合规估计不够确定。计时测试中 Qwen2.5 1.5B 的加载和回答都快于 Gemma 3 1B,但其单次合规测试仅通过 4/6。请根据自己提示中的要求选择。

对于偶尔出现的较长或较难文本提示,量化的 Qwen2.5 3B 和 Llama 3.2 3B 是我们 8 GB Pi 5 上内存适中的 3B 候选。我们测量了速度和内存;Qwen2.5 3B 单轮合规测试通过 5/6。没有报告 Llama 3.2 3B 的可比合规测试。参数更多是值得在小模型表现不佳的任务上进行测试的理由,不代表它们答得更好。Granite 4 Micro 和 Micro-H、Qwen3.5 2B、Gemma 3 4B、Ling-3.0-tiny、Gemma 3n E2B 都能在 Pi 5 测试中放入或加载,但对于短回复应用,延迟、内存余量或可靠性不够理想。

两个 Bonsai 模型展示了极端量化的代价。对于标称 1.7B 和 4B 参数的模型,它们的 Q1_0 文件异常小,但 1.7B 模型只通过 3/6 条回复规则检查。4B 模型通过了一次六提示测试,但每条回复要 18.1 秒,也没有重复合规确认。尤其重视回答质量时,应把它们视为实验模型,而非默认推荐。

LFM2.5-8B 的结果需要说明背景:其混合架构每个 token 使用更少的活跃参数,因此解码速度超过了测过的稠密 3B 模型。但从 microSD 冷加载仍需 34.4 秒,常驻内存超过 5.3 GB。这展示了什么模型能放得下,不代表它适合作为还运行其他服务的 Pi 的默认选择。测得的 gemma3n:e2b也用了约 5.3 GB 常驻内存,并与测试主机的其他服务一起造成 swap。

LFM2.5 8B 还输出到完整的 140-token 上限,没有保持简短。Gemma 3 4B 首 token 等待 14.3 秒,完整回复需 30.3 秒。两者都能加载到这台 Pi 5,但测试中都不像响应迅速的小助手。能给出恰当短答的小模型,可能比纸面解码速度更快的大模型更适合无线电或命令界面。

内存、推理和模型格式

根据测量,一个有用的初步估算是:推理常驻内存约为模型下载大小 × 1.4。这只是经验法则;上下文长度、运行时设置、模型架构和其他进程都会改变需求。生成时检查可用内存,小型主机一次只加载一个模型,并为操作系统留出空间。4 GB 板子可以从小型或紧凑模型开始,但我们对 4 GB 的建议是推算值,不是直接测试结果。

例如,0.73 GB 的 LFM2.5-1.2B 文件在 Pi 5 上约对应 967 MB RSS,0.99 GB 的 Qwen2.5 1.5B 文件则达到 1,361 MB RSS。对这些模型,这条经验规则大致可用,但不是硬性上限。如果 Pi 还运行界面、搜索索引、本地库或后台服务,应在实测模型进程之外预留更多内存。实际请求期间观察 swap;仅能加载、却持续使用 swap 的模型并不实用。

部分模型会在可见回复前生成内部推理块。测试中,2 GB Pi 4 上的 qwen3:0.6b要等更久才输出可见文本。MiniCPM5-1B 默认推理设置下五条提示只有一条给出有用回答,关闭推理后则是五条全有用。短回复预算下,可在兼容的 Ollama API 请求中设置 think: false,或选择默认不推理的模型。该设置只适用于支持它的模型和客户端,不是通用加速开关。

这一区别很重要,因为 token 上限可能包含推理 token,即使用户看不到回答。在 Pi 4 上,默认推理的 qwen3:0.6b平均每次请求 40.4 秒,有一条提示的可见回答为空。MiniCPM5-1B 默认平均 33.3 秒,关闭推理后平均 12.2 秒。根据记录,我们也在 Pi 5 的 Qwen3、Qwen3.5、MiniCPM5、Ling-3.0 和 Spark-X2.5 测试中关闭了推理。请按客户端实际采用的推理设置比较模型。

检查回复是否可用

对于我们的短回复 mesh 助手工作负载,回复约定与速度同样重要:不超过 90 个词、最多 三条项目符号、纯文本、完整句子,并使用提供的检索上下文且注明来源。桥接程序将文本拆成 180 字符的块。回复越长,占用无线电时间越多,即使模型生成很快。

后续版本的基准会检查空回复、提示特定字数限制、过多项目符号、Markdown 表格或代码围栏、结尾未完成、缺少上下文中的术语以及缺少来源名称。按已部署助手的系统提示评分时,小模型经常违反规则。最严重的问题是推理耗尽 token 预算时产生的空回复,其次是忽略检索上下文或漏掉来源。超过字数或项目符号限制仍会返回可见文本,但浪费无线电时间。这些是机械检查,不能取代阅读回答,也无法证明事实准确性或安全建议可靠。

Pi 5 重复合规结果

我们先用220-token 上限和已部署的系统提示,对每个模型运行六条提示各一次。表现有希望的模型换一个 seed 再测两次,总计每个模型 18 条回复。单轮完美不代表重复结果完美。以下重复结果能更稳妥地比较测试过的短回复 mesh 助手:

模型遵循所有已检查规则的回复主要观察到的问题
导入的 LFM2.5-1.2B16/18 (89%)两条未完成回复
gemma3:1b15/18 (83%)三条未完成回复
导入的 LFM2.5-230M14/18 (78%)回复未完成、缺少来源名称
导入的 LFM2.5-350M13/18 (72%)缺少来源名称
qwen2.5:0.5b11/18 (61%)项目符号和字数过多、缺少来源名称

在2 GB Pi 4上,单独的六提示合规测试中,LFM2.5-350M 得到 5/6,LFM2.5-230M 得到 4/6,Qwen2.5-0.5B 得到 2/6。MiniCPM5-1B 在默认推理时为 1/6,关闭推理后提高到 5/6。Pi 4 分数来自单轮测试,因此讨论总体指令遵循能力时,我们更看重 Pi 5 的重复结果;Pi 4 测试则用于判断这块板上的稳定性和速度。

不同错误的影响不同。空回复帮不到用户;忽略提供的材料可能误导用户。没有来源名称,读者无法核实出处。额外项目符号或词语主要消耗更多的 180 字符数据包。不完整句子可能意味着输出被截断。LFM2.5-230M 的医疗术语错误说明,即使通过机械检查,回答仍可能有误。五个重复测试候选中,没有一个在全部 18 条回复里遵循所有规则。对长度或格式有严格要求的应用应在生成后继续强制检查,并单独审查高风险内容。

我们还通过带有检索 WikiMed 上下文的真实桥接端点测试了 Ollama 的 OpenAI 兼容 /v1/chat/completions。在 Pi 5 上,LFM2.5-1.2B 回复 28 个词,使用了提供的六个术语;Qwen2.5-0.5B 回复 38 个词,使用了七个术语。两者都能放进两个 180 字符数据包。这项端点检查确认导入的 LFM2.5 能通过桥接请求路径工作,但一次成功回复不能保证可靠性。

Ollama 提供许多可直接拉取的模型,包括 Qwen2.5 的 0.5B、1.5B 和 3B 版本 。我们从 Liquid AI 的 GGUF 发布版本 将小型 LFM2.5 模型导入 Ollama。下载前请核对准确的标签或 GGUF 文件名,因为模型库和仓库会变化。将 GGUF 下载文件保存在持久存储中;我们的测试显示,RAM 支持的 /tmp 会占用 Pi 4 稀缺的内存。

模型库标签与 GGUF 导入

Ollama 标签是最快的初次测试方法:拉取准确标签并运行。表格中的小型 LFM2.5 是GGUF 导入模型,不是 Ollama 公共模型库中的 lfm2.5-230m、lfm2.5-350m 或 lfm2.5-1.2b 标签。GGUF 是模型文件格式;Q8_0 和 Q4_K_M 等名称表示量化选项。我们使用的 230M 和 350M LFM2.5 文件是 Q8_0,1.2B 文件是 Q4_K_M。因此,相同参数量的另一种量化版本不一定有相同的文件大小、内存用量或质量。

要导入测试过的 350M 版本,请将 GGUF 下载到持久存储目录,创建一个指向该文件的 Modelfile,然后让 Ollama 将其复制到模型存储区:

mkdir -p "$HOME/gguf"
cd "$HOME/gguf"
curl -fL -C - --retry 5 --retry-all-errors -O \
  https://huggingface.co/LiquidAI/LFM2.5-350M-GGUF/resolve/main/LFM2.5-350M-Q8_0.gguf
printf 'FROM %s/LFM2.5-350M-Q8_0.gguf\n' "$PWD" > Modelfile-lfm2.5-350m
ollama create lfm2.5-350m -f Modelfile-lfm2.5-350m
ollama run lfm2.5-350m

导入期间,需要同时为下载文件和 Ollama 存储副本留出临时空间。长时间 GGUF 传输偶尔中断,因此我们使用了可续传下载。导入前,将下载的 SHA-256 与来源发布的哈希值比较;传输不完整可能被误认为模型故障。在我们的 Pi 环境中,/tmp 位于 RAM,因此把 GGUF 暂存在那里会减少推理可用内存。

实用起点

硬件和目标首先尝试的模型原因
2 GB Pi 4,默认选择导入的 LFM2.5-350M516 MB RSS 下稳定并空出约 1 GB;在 230M 出现医疗术语错误后选用
2 GB Pi 4,最低延迟导入的 LFM2.5-230M383 MB RSS,平均回复 7.2 s;健康或安全问题尤其要仔细核对内容
2 GB Pi 4,仅用模型库qwen2.5:0.5b可直接从 Ollama 拉取,在 Pi 4 五提示测试中稳定;Pi 5 重复合规率 61%
4 GB Pi 4 或 Pi 5导入 LFM2.5-1.2B,再本地测试8 GB Pi 5 上为 967 MB RSS、89% 重复合规率;未直接测试 4 GB 版本
8 GB Pi 5,响应迅速的助手导入的 LFM2.5-1.2B15.5 tokens/s、完整回复 4.7 s,且测得的重复合规率最高
8 GB Pi 5,仅用模型库gemma3:1b11.2 tokens/s、1,262 MB RSS、83% 重复合规率
8 GB Pi 5,尝试较大的文本模型量化 Qwen2.5 3B 或 Llama 3.2 3B两者约 5 tokens/s,使用 2.4–2.8 GB RSS;Qwen2.5 3B 单轮合规 5/6

这些选项优先考虑在可能同时运行其他服务的 Pi 上给出简短、有用的回复。它们是起点,不代表某个模型适合所有任务。在 Pi 5 的单轮合规检查中,默认推理的 qwen3.5:0.8b 和 Spark-X2.5 没有返回合规回复,MiniCPM5-1B 得到 1/6。如果客户端无法关闭推理,不要将它们用于这种短回复工作负载。请用计划部署时的实际提示、上下文、并发量和回复上限测试最终模型。

使用模型库模型时,先 安装 Linux 版 Ollama ,再运行:

ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b

用自己的提示、期望回答长度和其他运行中的服务进行测试。记录总回复时间和内存用量。相比参数量,这些数据更能说明模型是否适合你的 Pi。

在内存受限的节点上测试时,留意 swap。如果更大的模型让板子失去响应,就换用更小的模型,并为 Ollama 服务设置合适的内存上限,让过大的加载在耗尽主机内存前失败。服务上限是保护措施,不能让过大的模型变得合适。我们的 Pi 4 重启情况说明,选择模型时除了每秒 token 数,也要考虑响应能力和内存余量。

将基准测试转为部署决策

日常使用模型前,明确四项限制:最长回复时间、最大常驻内存、回复格式和故障处理方式。在与其他服务共享板子的情况下测试这些限制。模型单独运行通过,但与无线电桥接程序或仪表板同时运行时导致 swap,就不符合部署要求。

预先安装一个小型备用模型。当主模型超过内存上限、返回空回复或违反回复约定时切换到备用模型。每次比较记录模型标签、量化方式、Ollama 版本、提示、上下文长度和 seed,避免把后续模型更新误当成硬件提升。