Local LLM

飞社-令人惊奇的创意工作者社区-›Local LLM

今日 0 主题 55 排名 410

这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节

最新最后回复热门精华更多新窗

飞社-FSHEX明白贴，必看！

admin•2024-9-12 11:06•最后回复来自 admin

NAS 上有几千首歌，有没有 LLM 智能推荐歌曲的？

tf2•2025-11-12 13:12•最后回复来自 tf2

私有化部署 LLM 及 LVM 选型方案意见收集

Sh1xin•2025-11-7 10:58•最后回复来自 kinkin666

经过我一个多月的测试，我发现本地部署的 qwen3-vl-8b 比 qwen3-8b 在新闻和游戏名词等翻译上面更有优势

spike0100•2025-11-4 11:22•最后回复来自 spike0100

[个人项目分享] 写了三篇关于 AI 前沿架构的文章，结合了一些与 AI 对话的独特体验

lmxxff•2025-10-14 20:12•最后回复来自 lmxxff

本地部署了大模型如何有效利用？

ragnarok19•2025-9-29 07:16•最后回复来自 YsHaNg

web search MCP 推荐

faoisdjioga•2025-9-18 10:09•最后回复来自 AJDX3906

大语言模型中规模和模型大小的关系？

SSang•2025-9-5 11:29•最后回复来自 Muniesa

转贴一个视频：绝大多数的视频都没能讲出 gpt-oss 系列模型的真正意义

frankyzf•2025-8-17 09:56•最后回复来自 frankyzf

有没有人尝试过用 ai 去整理自己的知识库

rocloong•2025-8-2 09:31•最后回复来自 panda188

使用 dify 编写智能体的时候，如何让 LLM 节点能够强制输出结构化输出 Schema

skyworker•2025-7-21 10:13•最后回复来自 skyworker

Grok 4 发布

alanying•2025-7-10 13:14•最后回复来自 hahastudio

我做了一个 Ollama JSONL 批量推理工具，除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API

mili100•2025-6-24 01:22•最后回复来自 mili100

huggingface-cli hf_xet 插件经常报 dns error 是咋回事

guoguobaba•2025-6-16 11:03•最后回复来自 coefuqin

多卡部署 QWQ Q8 是否可行

PalWorld•2025-6-15 00:53•最后回复来自 mumbler

ollama 跑 Qwen2.5:7b 可以用上 gpu，但是用 gemma3 和 qwen2.5vl:7b 都只用 cpu

shyr0ck•2025-5-16 15:19•最后回复来自 shyr0ck

本地 vllm 部署 Qwen2.5-7B-Instruct 在 stream 模式下 tool_calls 参数 JSON 字符串未正常闭合

BenchWidth•2025-5-16 10:45•最后回复来自 harlen

本地部署视觉大模型，用于 OCR 中文文献+翻译，最好的模型是什么？

villivateur•2025-5-12 10:34•最后回复来自 neteroster

有没有能 mac 上直接跑的多语言翻译 LLM？

idblife•2025-5-6 11:08•最后回复来自 idblife

英语文本音频按句自动对齐的有推荐的吗？

afkool•2025-5-4 12:29•最后回复来自 halliday

llama.cpp/ollama 对于类似 vllm tensor parallel 功能的支持。

coefuqin•2025-4-18 19:15•最后回复来自 liprais

12 3 / 3 页下一页

浏览全部节点

FSHEX / 节点导航

分享与探索

问与答分享发现分享创造自言自语奇思妙想随想纯水无要点创意职场话题酷工作求职推广

编程	程序员 Vue 浏览器 React CSS JAVA Python C# PHP Go Node.js Swift Electron Android

休闲生活	随想休闲电影剧集综艺动漫阅读旅行骑行健身健康生活树洞投资美酒与美食学习课程

城市	西安重庆广州成都北京上海深圳京东香港郑州

注册会员	64614
主题	4899561
今日	78
昨日	559