MoonLM — 浏览器内本地推理

纯 MoonBit 实现的 LLM 推理引擎。模型在你的浏览器里运行，不发起任何网络请求。
网络：未检测 模型：未加载 引擎：MoonBit → JavaScript

1 · 加载模型

本地文件，不会上传
推荐 SmolLM2-135M-Instruct-Q8_0.gguf（约 138 MB）。 选文件这条路完全不联网：读取用的是 FileReader，页面不发起任何请求。 从地址加载是把模型当作静态文件从本地服务器读进来（浏览器加载本地文件本来就要这样）， 方便不想每次选文件的场合；两种方式加载完之后，推理过程本身都不产生任何网络请求。

2 · 生成

—prefill tok/s
—decode tok/s
—生成 token
—加载耗时

为什么这是本地推理

检测网络状态…
推理代码由 MoonBit 编译而来（web.js，约 313 KB），与模型一起加载到页面里。 整个页面是单个 HTML 文件加这个脚本，没有后端、没有 CDN。 断网后刷新本页仍可正常使用 —— 这可以直接演示。