围绕 CPU 和 GPU 的目标任务差别,有研究认为,有非常多的 AI 计算需求,并不需要 “实时性”。从后台批处理(Batch Processing)、中度延迟(Mid Latency)、低延迟(Low Latency)接近实时(Near Real time)、实时(Real time),计算任务可以分为很多种。
通过 GPU 和 CPU 的组合,可以提升 GPU 任务执行的经济性。