GitHub-IDEA Research/MotionLLM:[Arxiv-2024]MotionLLM：从人类动作和视频中理解人类行为

MotionLLM通过整合视频和动作数据，在人类行为理解颜色取得了重大突破。这项研究由清华大学和中国香港大学深圳分校等知名机构的研究人员撰写，与传统模型不同，传统模型通常只关注视频或动作中的一种。该研究引入了一个新颖的框架，捕捉了人类运动的微妙动态及其语义含义。MoVid数据集和MoVid-Bench的发布，以及它们详细的注释，为进一步研究提供了宝贵资源。这项研究的实际应用广泛，它增强了人工智能从多媒体输入中解释人类行为的能力。对于任何对人工智能、视频分析和人体动作捕捉交叉领域感兴趣的人来说，MotionLLM提供了一种引人入胜且具有潜在变革性的探索方法。- MotionLLM是一个用于理解人类行为的框架，结合了视频和运动序列的模态。 - MotionLLM采用统一的视频-运动训练策略，利用现有的粗糙视频-文本数据和细粒度运动-文本数据来获取丰富的时空洞察。 - 提供了MoVid数据集和MoVid-Bench用于更好地评估视频和运动的人类行为理解。 - MotionLLM在字幕、时空理解和推理能力方面表现出优越性能。