背景介绍
随着大模型的技术的不断发展，如何将各种 office 文档转换为 markdown 成为了一个刚需，包括微软在内的不少公司都给出了解决方案，但是都需要经过繁琐的步骤再本地或云端进行部署，有的对本地还有一定算力要求。
现在各家的多模态大模型都在不断降价，1 块钱都能处理几百张图片，不少提供商还每日提供免费额度，所以使用多模态大模型转换 office 文档成为一个廉价而简单的解决方案。
技术方案
这里介绍的是使用 nodejs 的方案
- 使用各种工具将 office 文档转为 PDF （ Windows 下使用虚拟打印机即可，无需任何费用）
- 使用 pdfjs 获取 PDF 每页截图和文字信息
- 使用 sharp 压缩图片
- 将 PDF 每页截图和文字信息组合起来提交给多模态大模型
- 使用提示词输出为 markdown 文档
这个方案也有很多缺点，比如文档中的图片无法处理，复杂的表格无法百分百还原，当然也有一些补救措施，比如文档中的图表可以尝试用 mermaid 进行还原。当然，我们将 office 文档转为 markdown 文档的主要目的还是获取文字信息。所以虽然有遗憾，但是也能满足绝大部分的需求。
详细实现
office 文档转为 PDF
这个我们如果没有大规模转换需求，直接使用虚拟打印机即可，效果和兼容性非常好，超过所有其他方案。
如果有大规模转换需求，可以考虑使用 LibreOffice 的命令行模式，例如：
soffice --headless --convert-to pdf <word_document.docx> --outdir <output_directory>
这个方案兼容性稍差，但是也能满足绝大部分需求。
使用 pdfjs 获取 PDF 信息
PDF.js 是一个基于 JavaScript 的开源 PDF 渲染器，由 Mozilla 开发和维护。提供了从解析到渲染 PDF 的成套方案，久经考验，兼容性强，如果使用 nodejs ，这是首选方案。
感谢大模型技术，以下代码都是 AI 生成的，省去了我查询帮助文档的时间。都非常准确好用。
获取某一页的图片截图
async function capturePage(pageNumber, scale = 2) {
const pdfDoc = await pdfjsLib.getDocument(state.filePath).promise
const page = await pdfDoc.getPage(pageNumber)
const viewport = page.getViewport({ scale: scale })
// 创建临时 canvas
const tempCanvas = document.createElement('canvas')
const tempContext = tempCanvas.getContext('2d')
tempCanvas.width = viewport.width
tempCanvas.height = viewport.height
// 渲染 PDF 页面到临时 canvas
await page.render({
canvasContext: tempContext,
viewport: viewport
}).promise
// 将 canvas 转换为 DataURL
const dataUrl = tempCanvas.toDataURL('image/webp')
// 移除临时 canvas
tempCanvas.remove()
// 返回 DataURL
return { type: 'image/webp', data: dataUrl }
}
获取某一页的文本信息，含换行信息
async function getPageTextContent(pageNumber) {
const pdfDoc = await pdfjsLib.getDocument(state.filePath).promise
const page = await pdfDoc.getPage(pageNumber)
const textContent = await page.getTextContent()
const items = textContent.items
let lastY = null
let text = ''
for (const item of items) {
const transform = item.transform
const y = transform[5] // 获取垂直位置
if (lastY !== null && Math.abs(y - lastY) > item.height * 0.5) { // 判断是否换行
text += '\n'
}
text += item.str + ' '
lastY = y
}
return text
}
压缩图片
适当压缩图片，能够为我们省钱，也可以节约图片传输的时间。用 nodejs 当然首选 Sharp ，Sharp 是一个高性能的 Node.js 图像处理库，它基于 libvips 库构建。它可以用来进行各种图像操作。这里我压缩为最大宽度为 1024 的 webp 。
当然，下面的代码也是 AI 写的
compressImage = async(base64Image, options) => {
const maxWidth = options.maxSize || 1024 // 设置最大宽度为 1024
const compressToWebP = options.compressToWebP || false
const quality = options.quality || 80
const base64Data = base64Image.split(',')[1]
const imageBuffer = Buffer.from(base64Data, 'base64')
try {
let sharpInstance = sharp(imageBuffer).resize({ width: maxWidth, fit: 'inside', withoutEnlargement: true }) // 使用 maxWidth 限制宽度
if (compressToWebP) {
sharpInstance = sharpInstance.webp({ quality })
} else {
sharpInstance = sharpInstance.jpeg({ quality })
}
const compressedImageBuffer = await sharpInstance.toBuffer()
const metadata = await sharp(compressedImageBuffer).metadata() // 获取压缩后的元数据
const mimeType = compressToWebP ? 'image/webp' : 'image/jpeg'
const compressedBase64 = `data:${mimeType};base64,${compressedImageBuffer.toString('base64')}`
return {
base64: compressedBase64,
width: metadata.width,
height: metadata.height
}
} catch (error) {
console.error('Error compressing image:', error)
throw error
}
}
提交大模型
这个很简单，遵循各家多模态大模型的接口规范即可，我这里就不详细描述了。
其实不用选择很厉害的大模型，我日常用 gpt-4o-mini （便宜）或者 gemini-1.5-pro （免费），国内目前很多多模态大模型效果也很好且也在做推广活动，大家也可以试试。
const axios = require('axios');
const FormData = require('form-data'); // 用于处理表单数据，包括文件上传
async function imageRecognition(imagePath) {
const OPENAI_API_KEY = process.env.OPENAI_API_KEY; // 从环境变量中获取 OpenAI API 密钥
const OPENAI_API_BASE = "https://api.openai.com/v1/chat/completions"; // OpenAI API 地址
if (!OPENAI_API_KEY) {
throw new Error("OpenAI API key not found. Please set the OPENAI_API_KEY environment variable.");
}
try {
const formData = new FormData();
formData.append('model', 'gpt-4o-mini'); // 指定多模态模型
formData.append('max_tokens', 50); // 设置最大回复 token 数，根据需要调整
const messages = [
{
role: 'user',
content: [
{ type: 'text', text: '描述一下这张图片的内容。' }, // 请求模型描述图片
{
type: 'image_url',
image_url: {
url: `data:image/jpeg;base64,${Buffer.from(require('fs').readFileSync(imagePath)).toString('base64')}`, // 将图片转换为 base64 编码
},
},
],
},
];
formData.append('messages', JSON.stringify(messages));
const response = await axios.post(OPENAI_API_BASE, formData, {
headers: {
...formData.getHeaders(), // 获取 FormData 的 headers
Authorization: `Bearer ${OPENAI_API_KEY}`, // 设置 Authorization header
},
});
console.log(JSON.stringify(response.data, null, 2)); // 打印完整的响应数据
// 提取描述文本
const description = response.data.choices[0].message.content;
return description;
} catch (error) {
console.error('OpenAI API request failed:', error);
if (error.response) {
console.error('Response status:', error.response.status);
console.error('Response data:', error.response.data);
}
throw error;
}
}
// 使用示例：
const imagePath = 'path/to/your/image.jpg'; // 替换为你的图片路径
imageRecognition(imagePath)
.then(description => {
console.log('图片描述:', description);
})
.catch(error => {
// 处理错误
});
提示词
我一般用如下提示词，供大家参考
请根据用户提供的图片进行 OCR 识别，尽可能的还原用户提供的内容，包括标题、文字、表格、公式等。如果您在原始内容中发现任何不清楚的格式，请自行判断添加适当的格式以提高可读性和结构。如果表格跨越多页，请将内容合并为一个连贯的表格。不要在转录中包含分页符或页码信息。
也可以追加一些特点的提示词
如果页面中有流程图和图表，尽可能使用 mermaid 进行还原
或者指定翻译成中文
产品实现
根据以上的技术研究，开发了一个产品，日常用它转换文档效果很满意，有兴趣的朋友可以下载使用：Local Agents | 本地智能体集合
指定截取 17-18 页的图片
我使用的是 gpt-4o-mini ，效果已经非常好了，除了默认提示词，我追加了如下提示词进行补充
如果页面中有流程图和图表，尽可能使用 mermaid 进行还原，同时请翻译成中文
使用 mermaid 的流程图虽然无法完全还原，但是至少意思是清楚的。
| 
