RT ,目前我是拿大模型当工具用,我想让它记住一个提示语,后面我只管提出问题,它回答我就行,消耗的只是提出问题和回答问题的 token

目前如果想这么做

要么记住所有的对话历史,每轮对话都要消耗以前对话历史的 token

或者每次都带上 Prompt ,白白消耗 token

请问有什么方式能解决吗

举报· 89 次点击
登录 注册 站外分享
6 条回复  
liu731 小成 2024-11-5 10:56:05
叫它总结就好了,没必要每条历史消息传过去
gitlight 小成 2024-11-5 11:03:01
gemini,openai 和 claude 都支持 prompt caching 功能,缓存过的 token 价格更便宜 https://www.anthropic.com/news/prompt-caching
landerwong99 小成 2024-11-5 11:57:38
@gitlight 意思是:传还是避免不了的,但是价格可以便宜些?
返回顶部