近期，大语言模型（LLM）已迈出重要一步，从单一的自然语言处理领域拓展至文本、音频、视频等多模态任务，其中一项关键任务即为视频时序定位（Video Grounding，VG）。
视频时序定位任务简介
VG任务旨在基于给定查询（一句描述），准确定位目标视频段的起始和结束时间，其核心挑战在于时间边界定位的精度。
清华大学研发“LLM4VG”基准
清华大学的研究团队推出了“LLM4VG”基准，旨在专门评估LLM在VG任务中的性能表现。
两种主要策略的对比
基准考虑了两种主要策略。第一种策略是直接在文本视频数据集（VidLLM）上训练的视频LLM，而第二种策略则结合传统的LLM与预训练的视觉模型。
VidLLM策略
在这一策略中，VidLLM直接处理视频内容和VG任务指令，通过对文本-视频的训练输出进行预测。
LLM与视觉模型结合的策略
这一策略更为复杂，涉及LLM和视觉描述模型。通过生成与VG任务指令集成的视频内容的文本描述，使用经过精心设计的提示。
性能对比与启示
观察结果显示，尽管VidLLM直接在视频内容上进行训练，但在实现令人满意的VG性能方面仍存在显著差距。这强调了在训练中纳入更多与时间相关的视频任务以提高性能的必要性。
相较之下，第二种策略表现更佳，为未来的研究指明了一个有希望的方向。然而，该策略仍受到视觉模型的限制和提示词设计的约束，提示词的精心设计和视觉模型的进一步优化将对提升LLM在VG任务中的性能产生显著影响。
综上所述，该研究对LLM在VG任务中的性能应用进行了开创性的评估，强调了在模型训练和提示设计中需要更复杂的方法。这为未来在多模态任务中进一步提升LLM性能提供了有益的启示。
