我理解agent AI 时代 serial computing 变得更多更重要，而不是全部都是parallel computing. 所以single thread is more important than multi thread
而且 假如是small size 的parallel computing workload，在cpu上直接跑，比起调用gpu的延时来说更快。 现在的CPU 也在不断加强自己的并行计算能力，所以以后会有越来越多的推理直接跑在cpu上
我理解agent AI 时代 serial computing 变得更多更重要，而不是全部都是parallel computing. 所以single thread is more important than multi thread
而且 假如是small size 的parallel computing workload，在cpu上直接跑，比起调用gpu的延时来说更快。 现在的CPU 也在不断加强自己的并行计算能力，所以以后会有越来越多的推理直接跑在cpu上