Local LLM

飞社-令人惊奇的创意工作者社区-›Local LLM

今日 0 主题 55 排名 410

这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节

最新最后回复热门精华更多新窗

飞社-FSHEX明白贴，必看！

admin•2024-9-12 11:06•最后回复来自 admin

Qwen2.5 72B 是最好的本地代码补全模型

Leon6868•2024-12-8 18:04•最后回复来自 Donaldo

使用 dify 编写智能体的时候，如何让 LLM 节点能够强制输出结构化输出 Schema

skyworker•2025-7-21 10:13•最后回复来自 skyworker

私有化部署 LLM 及 LVM 选型方案意见收集

Sh1xin•2025-11-7 10:58•最后回复来自 kinkin666

Deepseek r1 14b 很有自己的想法

lostsquirrelX•2025-2-13 11:41•最后回复来自 lostsquirrelX

怎么没看到有人做嘴臭大模型

javazero•2025-1-15 17:57•最后回复来自 javazero

Intel GPU 的 llama-bench 测试结果

HojiOShi•2025-3-5 22:25•最后回复来自 HojiOShi

NAS 上有几千首歌，有没有 LLM 智能推荐歌曲的？

tf2•2025-11-12 13:12•最后回复来自 tf2

我做了一个 Ollama 模型仓库镜像站，帮你更快的从 ModelScope 魔搭拉取模型

mili100•2025-1-10 21:26•最后回复来自 mili100

OpenBayes.com 有羊毛可薅，过年期间很多算力都直接半价了

GraceXiii•2025-1-26 14:48•最后回复来自 hadoop

为 Ollama 添加 APIKEY 鉴权的最简单的方式，防止 Ollama 直接暴露在公网被滥用

mili100•2025-3-6 22:07•最后回复来自 YsHaNg

Thinkstation P8 搭配 4090 48G 测试 Deepseek-r1

devlnt•2025-2-28 18:19•最后回复来自 devlnt

本地 vllm 部署 Qwen2.5-7B-Instruct 在 stream 模式下 tool_calls 参数 JSON 字符串未正常闭合

BenchWidth•2025-5-16 10:45•最后回复来自 harlen

Llama 3.3 70B

Livid•2024-12-7 08:43•最后回复来自 TonyG

如何估算一个大模型需要用到什么性能配置的硬件？

zcm3579•2025-3-17 08:39•最后回复来自 villivateur

本地部署视觉大模型，用于 OCR 中文文献+翻译，最好的模型是什么？

villivateur•2025-5-12 10:34•最后回复来自 neteroster

经过我一个多月的测试，我发现本地部署的 qwen3-vl-8b 比 qwen3-8b 在新闻和游戏名词等翻译上面更有优势

spike0100•2025-11-4 11:22•最后回复来自 spike0100

我做了一个 Ollama JSONL 批量推理工具，除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API

mili100•2025-6-24 01:22•最后回复来自 mili100

多卡部署 QWQ Q8 是否可行

PalWorld•2025-6-15 00:53•最后回复来自 mumbler

开发了个本地实时字幕 (Whisper + LLM api ) 软件，开源

xkeyC•2025-3-15 16:32•最后回复来自 xkeyC

公司要搭建本地大模型，推荐配置。

Woolaman•2025-4-17 14:46•最后回复来自 MrLonely

12 3 / 3 页下一页

浏览全部节点

FSHEX / 节点导航

分享与探索

问与答分享发现分享创造自言自语奇思妙想随想纯水无要点创意职场话题酷工作求职推广

编程	程序员 Vue 浏览器 React CSS JAVA Python C# PHP Go Node.js Swift Electron Android

休闲生活	随想休闲电影剧集综艺动漫阅读旅行骑行健身健康生活树洞投资美酒与美食学习课程

城市	西安重庆广州成都北京上海深圳京东香港郑州

注册会员	64614
主题	4903618
今日	1453
昨日	559