公司项目要求把数十年的归档的文件结构化,然后使用 json 导出,问一下技术上如何选型
目前要求:不要求内网部署,使用 api 调用(后端交互方便),能上传文件( doc 、pdf ),能解析成 json
目前问题:我们目前试用了 fastgpt ,先把文件全部导入知识库,然后让 gpt 根据文件名称去解析,但是会出现解析时候 1.上传的文件会被分割多个部分,解析时候就只是解析了前几个部分,有的部分不读取; 2.按照文件名设置解析的文档有可能数据来自于知识库中其他的文件; 3.gpt 模型有文字限制,文档太长解析出来的 json 就截断了
各位老哥有啥思路吗
举报· 53 次点击
登录 注册 站外分享
2 条回复  
ospider 小成 2024-8-26 10:15:20
doc 和 json 之间也没有明确映射关系吧…… GPT 巧妇难为无米之炊啊
maymay5 小成 2024-8-26 15:24:46
不能用知识库,必须用上下文模式,然后用 api 的 jsonschema 模式,如果 128K 的上下文还不够用,那你只能人工介入,分块然后合并,人工分块,合并可以写个函数自动化
返回顶部