是否支持batch推理?

[longrunling]

您好！请问您的工作是否支持batch推理？

[Hzzone]

可以的。提特征这一步，然后提proposal这一步都可以batch，分类这一步你要把所有Prompt和我做数据的时候一样打包。你可以把notebook塞到gpt，应该也能写出来。