我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置,同时需要保证这些地点是真实存在的,纯粹通过 Prompt 约束,明显是不行的。

现在我通过 Gpt-4o 的 Structured Output ,对其生成结果逐个进行真实性查询,倒是能达到效果,但是缺点是:Structured Output 没法实现 Stream 的方式输出,导致结果要超过 10s 才出现

求助:如何既能保持真实性又能满足 stream 输出呢?
举报· 229 次点击
登录 注册 站外分享
6 条回复  
gaobh 小成 2024-10-19 09:16:49
接入地图 API 来判断真实度,大模型谈真实本来就是相悖的
vevlins 小成 2024-10-19 09:41:35
为什么不前置给个景点的知识库,或者对输出结果做缓存,你对于某个城市的输出结果不总是一致的是吗
forgottencoast 小成 2024-10-19 09:44:32
@HeyCaptainJack
全国的景点一共没多少个,全收集起来,用不着地图 API 吧。
bigtear 小成 2024-10-19 10:52:28
配置好知识库,让 AI 直接给出知识库里保存的位置 ID ,然后对比
KHHj7U2DNR 小成 2024-10-19 10:59:19
你是圆周笔记 app 的开发者吗?圆周笔记可以根据小红书帖子生成地图景点。
mumbler 小成 2024-10-19 11:25:06
解决幻觉最好办法就是知识库,现在的大模型已经足够听话了,我们还会让大模型回答问题同时还要把资料出处给出来,用户自己也能再核查一遍真实性。说实话,旅游景点比法律法规容错性高多了
返回顶部