此框架是对batch的分布式推理加速吗?如果有多个用户请求,是调用不同的gpu吗?另外支持多机多卡的分布式吗
此框架是对batch的分布式推理加速吗?如果有多个用户请求,是调用不同的gpu吗?另外支持多机多卡的分布式吗