Skip to content

有关论文Table.1中LLaVA-PruMerge的评估细节 #12

@wh-xu1

Description

@wh-xu1

您好!非常感谢您分享的优秀工作

在阅读论文时,我对Table 1中关于 baseline 方法 LLaVA-PruMerge 的评估有一些疑问,想向您请教:

LLaVA-PruMerge 依赖于 visual encoder 的 CLS token,但我注意到 LLaVA-OV 的 SigLIP 似乎并未提供 CLS token。请问您是通过平均所有 token 来替代 CLS token 吗?

LLaVA-PruMerge 在不同样本上的剪枝率有所差异,那么最终的 “Retained Ratio (Final)” 为 55% 是如何得到的呢?是每个样本都固定丢弃 45% 的 token 吗?

若我在理解上有偏差,还请您不吝指正。再次感谢您及团队的精彩工作与慷慨分享!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions