训练和推理不要排进同一个队列

抢占式训练任务会把在线推理的延迟尾部拉长。

训练可以等、可以重跑；推理请求不能等下一轮调度。混在一个队列里，波峰时推理会先超时。