本地模型

DeskFlux 支持在本地部署和运行大型语言模型（LLM），让您可以在完全离线或网络受限的环境下，也能获得强大、私密的 AI 助手体验。整个过程设计得极为简单无需复杂的命令行操作或环境配置。

核心优势

• 一键下载：从内置的模型库中直接选择并下载。
• 开箱即用：下载完成后自动完成配置，立即可用。
• 安全：所有数据与计算均在本地完成，保障您的数据隐私。
• 离线运行：无需联网，随时随地使用 AI 能力。

使用流程概览

启用并使用一个本地模型，主要包含三个步骤：进入设置、选择并下载模型、切换至本地模型进行对话。

详细操作步骤

第一步：进入模型管理页面

1. 启动 DeskFlux 。
2. 在主应用窗口的右上角，找到并点击 “运行环境配置”。
3. 在弹出的页面中，点击 “扩展市场” 选项，向下滑动即可看到开源模型的列表。

第二步：下载本地模型

1. 点击开源模型的卡片上的右侧的下载按钮，即可等等下载，因为一般模型数据都比较大，所以需要比较长的等待时间。

第三步：启用本地模型并开始对话

1. 下载并自动配置完成后，即可在模型管理中看到已经下载好的本地模型。
2. 点击该卡片变成启动状态，表示当前AI助手已切换至该本地模型，并选中为主力模型（本地AI对话的默认模型）。
3. 此时切换到AI对话窗口，即可进行切换使用。

特别提醒：

• 当选中本地模型后，基础运行环境的卡片中的Liama.cpp的灯会变成绿色，表示在运行，则代表本地模型启动成功，若是橙色，则表示未启动本地模型为主力模型。
• 模型下载后已经在本地的列表，如果不选择为主力模型的话，也可以在各个AI应用窗口中进行切换调用，不影响使用。

注意事项

• 硬件要求：运行本地大模型（尤其是7B参数及以上）需要较高的硬件配置，建议拥有 16GB以上内存 和 支持AVX2指令集的现代CPU。使用GPU（NVIDIA）运行会显著提升速度。
• 空间：下载前请确保您的系统盘或所选存储路径有足够的剩余空间（通常需要4GB至数十GB不等，具体请查看模型卡片说明）。
• 首次加载：部分模型在首次启用时可能需要几分钟时间到内存，请耐心等待。
• 性能提示：在本地模型对话时，您可能会感受到响应速度不如云端模型快，这是正常的，因为计算资源完全来自您的本地计算机。

常见问题

Q：我可以同时多个本地模型吗？ A：可以。您可以根据需要下载多个模型，但同一时间只能启用其中一个进行对话。

Q：下载的模型文件存储在哪里？ A：模型文件默认存储在您的默认数据目录下（d:\deskflux\gguf\）。您可以在下载确认窗口中查看具体路径,该路径我系统默认的数据存储路径，可以进行修改，系统设置-存储-目录路径，切记：如果使用中期进行修改则会导致软件找不到原有数据。

Q：如何释放磁盘空间？ A：在列表中点击删除模型，则同步删除本地的模型文件，若删除失败，请到存储目录下进行删除（d:\deskflux\gguf\）。

Q：启用本地模型后，还能切换回云端模型吗？ A：当然可以。只需在对话中或者工作流配置中，选择任意一个模型并点击即可。

现在，您可以轻松享受 DeskFlux 本地模型带来的安全、私密且强大的 AI 协助了。