写了一个语义化本地图片搜索工具

zcbenz · 2024-9-15 19:51:25 · 57 次点击
原理很简单,用 CLIP 模型计算图片的 embedding ,然后和搜索语句的 embedding 进行比较。因为用的是 MLX 来推理模型,所以只有 M 芯片的 mac 能用 GPU 加速,其他平台会很慢。代码全部由 Node.js 实现,embedding 计算用的是自己写的 node-mlx ,没有用第三方的推理引擎和数据库。

本来是处于学习目的写的程序,但实用性非常强,过来分享一下。

https://github.com/frost-beta/sisi
举报· 57 次点击
登录 注册 站外分享
4 条回复  
GeekGao 小成 2024-9-15 19:57:16
good. 我没有 M 芯片,所以不知道性能数据。求教一下,如果是数万张 1080x768 以上尺寸的 PNG ,性能如何?
hoodjannn 小成 2024-9-16 00:50:10
看起来很不错!明天试试
sunwen4567 小成 2024-9-16 10:28:04
感觉可以参考一下[immich]( https://immich.app/)项目?一个自部署的相册服务,也提供语义化的图片搜索功能
andforce 小成 2024-9-16 13:22:07
v 友之前有个手机项目,Quaryable
返回顶部