Qwen2.5 72B 是最好的本地代码补全模型

本地 4xV100 平台部署 Qwen2.5 72B GPT-Q int4 ，命令如下：

lmdeploy serve api_server ./Qwen2.5-72B-Instruct-GPTQ-Int4 --cache-max-entry-count 0.4 --model-format gptq --tp 4

在 CodeGeeX 插件中启用本地模型，配置自定义提示词：

• 聊天 Prompt

You are Qwen, created by Alibaba Cloud. You are a helpful assistant. You are profound in coding.

• 代码补全 Prompt

我会给你我的代码片段，结构如下<|code_prefix|>：光标前的代码
 <|code_middle|>：你需要在这后面预测光标处的代码
 <|code_suffix|>：光标后的代码
 你需要根据光标前后的代码给我中间的代码；不要废话，不要输出 code_suffix 、code_prefix 、code_middle ；不要将代码放在代码块内；只输出纯代码

生成速度能到 80 tps ，补全几乎无延迟，实际使用体验代码能力和 Deepseek api 不相上下，但是响应速度快三到四倍。

---

目前的痛点在于 CodeGeeX 本地模式不支持直接引用文件，想问问有推荐的 vscode 插件吗？

Qwen2.5 72B 比 Qwen2.5 Coder 32B 在代码补全上面提升大吗？

@kizunai #1 Qwen2.5 Coder 32B 是新模型，但是不好用 参数提升是量级上的碾压

连本地模型最好的办法就是 continue： https://docs.continue.dev/autocomplete/model-setup

@Leon6868 基础模型和 coder 模型 比参数量没意义。两个我都用过，反正我觉得对于我 swiftUI 的编程帮助不大。可能我用惯了基于 claude 的 AI IDE ，觉得这些本地模型就跟过家家一样

内存买小了，跑不了 72- -

本地 4xV100 有点猛了。。

有没有最安全的联网模型，明确不记录代码、用于训练的

日常使用连 deepssek 肉眼可见没 copilot 好用，十次有 6 次是错误的。

@cyio #7 你相信他宣称的隐私保护就安全，否则没有安全的联网模型。