MoonLM — 浏览器内本地推理

纯 MoonBit 实现的 LLM 推理引擎。模型在浏览器 Worker 中运行,不调用远程推理 API。
网络:未检测 模型:未加载 引擎:MoonBit → JavaScript

1 · 加载模型

本地文件,不会上传
推荐 SmolLM2-135M-Instruct-Q8_0.gguf(约 138 MB)。 选文件这条路完全不联网:读取用的是 FileReader,页面不发起任何请求。 从地址加载是把模型当作静态文件从本地服务器读进来(浏览器加载本地文件本来就要这样), 方便不想每次选文件的场合;两种方式加载完之后,推理过程本身都不产生任何网络请求。

2 · 生成

这是单轮对话,每次生成均独立;页面不会执行模型输出的代码。回答能力取决于所加载模型。
—prefill tok/s
—decode tok/s
—生成 token
—加载耗时

为什么这是本地推理

检测网络状态…
推理代码由 MoonBit 编译而来(web.js),与模型一起加载到浏览器里。 静态页面通过 Web Worker 执行推理,没有推理后端、没有 CDN。 页面和 Worker 加载后,使用本地文件推理不需要外部网络;刷新仍需访问静态服务器。