无 GPU 服务器部署小模型框架求推荐（需兼容 Kafka 数据流）

领导要求将大模型部署到无 GPU 的机房服务器，模型规模为个位数 B （如 7B ），后续会处理输出过来的信息。 领导明确不要 Ollama ，用啥部署呢？求推荐