在手机端离线运行 LFM3 模型与 ExecuTorch 导出实战
通过将 LFM3-1.7B 和 LFM3-VL-2B 模型导出到 ExecuTorch，实现其在 iPhone 和 Android 手机上的完全离线运行。实测 LFM3-VL-2B 能够离线读取日文拉面菜单并准确回答辣度与支付方式。
Reddit r/LocalLLaMA/u/K4anan
ExecuTorchPyTorchPrivate MindHugging FaceMLXXNNPACK
收录于 2026-10-31 · 原文发布于 2026-10-30
操作步骤
- 1使用 PyTorch 重写解码器，引入 gated short convolutions、full attention、sliding-window attention、sigmoid gate 及 RMSNorm 等结构，并与 Liquid 参考实现进行对齐。
- 2为 sliding layers 设置 window + 2048 的缓冲区并通过 attention mask 强制 256 token 窗口，使单次调用可处理 2048 token 且上下文达 8192。
- 3导出 MLX 4-bit 版本用于 Apple GPU（大小 1.07 GB），或导出 XNNPACK 8da4w 版本用于 iOS 和 Android 的 CPU（大小 1.17 GB）。
- 4将导出的 LFM3 模型部署到开源应用 Private Mind 中，在手机端实现完全离线运行。
可复制提示词
请参考 LFM3 模型的架构特性（包含 24 层混合 gated short convolutions、full attention、sliding-window attention 以及 sigmoid gate），协助我编写一段用于 [输入导出需求或框架] 的 PyTorch 代码，实现 [具体导出或模型优化任务]。
#端侧AI#模型导出#ExecuTorch#离线运行
相关用例
内容由 AI 依据原文翻译整理，细节以原帖为准；版权归原作者。