Yang's research group wiki

Week 1： 第一次会议中分享了实现VQA的经典模型，从基本的ViT到改进版的ViLT，以及利用VQA实现工程安全评估的一个案例。 1.会议中就工程安全这一关键词进行了探讨，即如何围绕“安全”这一非定性词汇进行问题的构造。安全既可以具体到工人行为或物体运动的分析，也可以抽象到对现象背后的Score与Reasoning。可以从这个角度出发来构造数据标签、选择对应的模型。 2.会议中提到数据与模型之间的耦合问题。在调整模型时就需要探讨完成这样的课题需要什么数据，以及自己期望的contribution是什么。本项目期望的安全评估，指在不过度依赖人工设计上，利用语言的大模型来回答抽象的问题，甚至做到对问题进行归因。而本项目的挑战则是，“安全”对应着许多不同的行为，大到尺度为几百米的塔吊、小到工人手中的精密操作，需要人工引入先验知识从而花费大量的标注，也需要将大模型调试到能泛化到这个任务的尝试。

Week 2： 第二次会议中，我主要调研了VideoQA如何

- Week 1 (July 10 - July 17)