大佬们，来寻求个方案，对比查询怎么才能最快

有这样一个需求，首先是有 100 万个 md5 值(不重复，提前录入)

然后每隔 10 秒会产生 300 个新的 md5 值

现在的要求是拿这 300 个去与 100 万个对比，查询出这 300 个里面哪些是包含在那 100 万个里面的，需要极致的速度，越快完成越好。

之前同事用 redis 集合处理，据说好像是 30-40 毫秒(我不确定这个时间是否准确)，依旧说还没达到要求，还能不能再极限一点

对了，还有个要求，就是那 100 万个 md5 值，不能丢，需要持久化保存，系统重启之后依旧要在。

求大佬们指点一下思路，主要是速度要快，快，快。

先提前感谢各位大佬的思路。

md5 是 16 个字节，100 万也才 16,000,000 字节，约合 16M 内存。

redis 已经很快了，再快怕只有手搓一个 hash 查找表了。

md5 -> 二进制 -> redis 位图

速度 30-40 毫秒的话, 我觉得很有可能是用 for 循环查了 300 次 redis, 或者是连 redis 的网络不行.  想个办法写成一句查询, 一次性返回 300 个结果.

如果新 md5 大概率不在这 100 万个里面, 可以外面套一层 bloomfilter, 减少查询量.

直接预加载到机器内存中，消耗时间 0 毫秒

redis pipeline 了解一下

查询的时候和布隆过滤器组合使用，过滤下应该可以快不少

那就加载到本机然后前缀树匹配不行吗，我试了下 6800h 单线程匹配也就 1 毫秒

布隆不行么？

我觉得 mysql 都够用了，索引+ in 语句