通过增大批处理（batch size）可以提升吞吐量，但会牺牲单次请求的响应速度，两者存在此消彼长的关系