积稻面板内置 llama-server 推理组件,支持将本地模型文件导入面板直接运行,数据全程不出服务器。
准备 GGUF 等受支持的本地模型文件,确认磁盘剩余空间充足(模型文件通常数 GB 起)。
进入「模型管理」点击「新增模型」,类型选择「本地模型」,上传或指定模型文件路径,填写模型名称与上下文参数。
在模型列表点击「启动」,面板调用内置推理组件加载模型并分配端口;启动过程需等待模型加载完成,大模型首次加载耗时较长属正常现象。
启动后执行「调试」发起对话测试,确认推理输出正常后即可对外提供调用。