Yang's research group wiki

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
=====Video Question Answering for Construction Safety=====

====Research Objective====

====Meeting Notes====
Week 1：
Time: 2023/7/21
第一次会议中分享了实现VQA的经典模型，从基本的ViT到改进版的ViLT，以及利用VQA实现工程安全评估的一个案例。
1.会议中就工程安全这一关键词进行了探讨，即如何围绕“安全”这一非定性词汇进行问题的构造。安全既可以具体到工人行为或物体运动的分析，也可以抽象到对现象背后的Score与Reasoning。可以从这个角度出发来构造数据标签、选择对应的模型。
2.会议中提到数据与模型之间的耦合问题。__在调整模型时就需要探讨完成这样的课题需要什么数据，以及自己期望的contribution是什么。本项目期望的安全评估，指在不过度依赖人工设计上，利用语言的大模型来回答抽象的问题，甚至做到对问题进行归因。__而本项目的挑战则是，“安全”对应着许多不同的行为，大到尺度为几百米的塔吊、小到工人手中的精密操作，需要人工引入先验知识从而花费大量的标注，也需要将大模型调试到能泛化到这个任务的尝试。
PPT: {{ :intern:0720.pptx |}}

Week 2：
Time: 2023/7/27
【事假】

Week 3：
Time: 2023/8/3
第二次会议中，主要报告了实现VideoQA的调研，从CNN与光流法的“two-stream model”，到3D神经网络,再到目前最主流的Transformer，科学家如何改进模型在空间与时间尺度的信息学习。并结合两篇在模型上给予自己启发的文章进行分析，探讨将其应用到项目中的可能性。其中一篇的ALBEF模型将TEXT Transformer进行拆分，前半部分用作BERT TEXT Encoding，后半部分用作多模态的学习，并在多模态学习前添加了新的loss函数，使其学习更为有效；另一篇的AIM调试则旨在将图像的完备Transformer应用到视频中,他们复制了Image Transformer，分别用来学习时间与空间信息，取得了较好的fine-tuning效果。
1.会议中老师提出，在会议介绍时，__可以先提出big picture，让大家明白自己的工作是基于什么问题展开__。
2.会议后老师提醒，并不能只根据几篇对自己有启发的论文，把它们的创新点拼合起来提出一个新模型就算是解决了问题，__需要以问题为背景（question based），尤其是项目中的safety evaluation进行工作的开展，需要把这个问题重新梳理组织，定义到数据标签或实验设计上，成为更加简单、具体且可操作的问题。__
PPT: {{ :intern:0802.pptx |}}

Week 4:
Time: 2023/8/10
本次会议中，主要报告了对safety in construction site进行的工作，以更好地对接VideoQA模型部分。
Markdown Note: {{ :intern:group_meeting_on_august_10th.pdf |}}
PPT：{{ :intern:0810.pptx |}}

Week5:
Time: 2023/8/18
本次会议报告了对VideoQA模型复现的进展，并接续上次会议中提到的VQA for better reasoning的topic进行的论文调研。
Markdown Note：{{ :intern:meeting_on_august_18th.pdf |}}
PPT：{{ :intern:0818.pptx |}}