一个能长期跑的推理服务,至少要有:

  • request_id
  • 统一错误码
  • 超时与限流