文章
全部内容 · 共 2 篇 · 最新在前
机器学习基础
端侧模型的运行时选择:llama.cpp、MLX、ONNX Runtime 与 ExecuTorch
本文对比llama.cpp、MLX、ONNX Runtime及ExecuTorch四大端侧推理运行时,分析其平台假设、量化机制与内存管理差异,指出选型应优先考量模型来源、目标平台兼。
浏览 37 次
2026-10-28 →
全部内容 · 共 2 篇 · 最新在前
本文对比llama.cpp、MLX、ONNX Runtime及ExecuTorch四大端侧推理运行时,分析其平台假设、量化机制与内存管理差异,指出选型应优先考量模型来源、目标平台兼。