飞社-令人惊奇的创意工作者社区-›Local LLM
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?  立即注册
飞社公众号二维码
社区运行状况
注册会员 68745
主题 5316509
今日 78
昨日 1667
› 帖子排行榜
› 用户排行榜
今日 0 主题 62 排名 424
Local LLM
这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节
最新 最后回复 热门 精华 更多 新窗
多卡部署 QWQ Q8 是否可行
PalWorld•2025-6-15 00:53•最后回复来自 mumbler
2
ollama 跑 Qwen2.5:7b 可以用上 gpu，但是用 gemma3 和 qwen2.5vl:7b 都只用 cpu
shyr0ck•2025-5-16 15:19•最后回复来自 shyr0ck
本地 vllm 部署 Qwen2.5-7B-Instruct 在 stream 模式下 tool_calls 参数 JSON 字符串未正常闭合
BenchWidth•2025-5-16 10:45•最后回复来自 harlen
1
本地部署视觉大模型，用于 OCR 中文文献+翻译，最好的模型是什么？
villivateur•2025-5-12 10:34•最后回复来自 neteroster
4
有没有能 mac 上直接跑的多语言翻译 LLM？
idblife•2025-5-6 11:08•最后回复来自 idblife
英语文本音频按句自动对齐的有推荐的吗？
afkool•2025-5-4 12:29•最后回复来自 halliday
1
llama.cpp/ollama 对于类似 vllm tensor parallel 功能的支持。
coefuqin•2025-4-18 19:15•最后回复来自 liprais
3
本地 llm client
kid1412621•2025-4-17 22:28•最后回复来自 huluhulu
3
公司要搭建本地大模型，推荐配置。
Woolaman•2025-4-17 14:46•最后回复来自 MrLonely
1
单卡 2080ti 22gb 装机其他怎么配啊
NoahBishop•2025-4-3 10:40•最后回复来自 mkroen
1
本地 AI 工作站装机
fcten•2025-4-1 11:46•最后回复来自 fcten
mcp 支持力度探讨
nl101531•2025-3-31 09:40•最后回复来自 nl101531
4
ubuntu + 双 N 卡 本地部署 DS-R1，性能优化请教
crac•2025-3-28 09:53•最后回复来自 maskerTUI
1
本地部署 LLM 并启用网络搜索，有什么现成的方案吗？
villivateur•2025-3-24 10:35•最后回复来自 villivateur
3
使用 dify 时代码如何管理?
frankyzf•2025-3-23 11:50•最后回复来自 GPLer
2
一块 4090，怎么来评估部署大模型后（假设为 DeepSeek-R1-Distill-Qwen-7B）的并发数？、、
bushnerd•2025-3-20 07:24•最后回复来自 jroger
1
如何估算一个大模型需要用到什么性能配置的硬件？
zcm3579•2025-3-17 08:39•最后回复来自 villivateur
6
开发了个本地实时字幕 (Whisper + LLM api ) 软件，开源
xkeyC•2025-3-15 16:32•最后回复来自 xkeyC
MacMin M4 +国补很香，想买一个内存大一点的跑 pytorch 训练是否可行
python35•2025-3-13 17:27•最后回复来自 thedog
1
A30 显卡-24G 显存，推荐部署什么大模型呢
ZimaBlueee•2025-3-12 17:36•最后回复来自 cat9life
5
下一页 »
1234下一页
手机版小黑屋飞社-令人惊奇的创意工作者社区
Powered by FSHEX ♥ GMT+8, 2026-2-5 04:08, Processed in 0.065333 second(s), 17 queries .
鲁ICP备2024064694号-2
返回顶部