Week 1： Time: 2023/7/21 第一次会议中分享了实现VQA的经典模型，从基本的ViT到改进版的ViLT，以及利用VQA实现工程安全评估的一个案例。 1.会议中就工程安全这一关键词进行了探讨，即如何围绕“安全”这一非定性词汇进行问题的构造。安全既可以具体到工人行为或物体运动的分析，也可以抽象到对现象背后的Score与Reasoning。可以从这个角度出发来构造数据标签、选择对应的模型。 2.会议中提到数据与模型之间的耦合问题。在调整模型时就需要探讨完成这样的课题需要什么数据，以及自己期望的contribution是什么。本项目期望的安全评估，指在不过度依赖人工设计上，利用语言的大模型来回答抽象的问题，甚至做到对问题进行归因。而本项目的挑战则是，“安全”对应着许多不同的行为，大到尺度为几百米的塔吊、小到工人手中的精密操作，需要人工引入先验知识从而花费大量的标注，也需要将大模型调试到能泛化到这个任务的尝试。 PPT: 0720.pptx

Week 2： Time: 2023/7/27 【事假】

Week 3： Time: 2023/8/3 第二次会议中，主要报告了实现VideoQA的调研，从CNN与光流法的“two-stream model”，到3D神经网络,再到目前最主流的Transformer，科学家如何改进模型在空间与时间尺度的信息学习。并结合两篇在模型上给予自己启发的文章进行分析，探讨将其应用到项目中的可能性。其中一篇的ALBEF模型将TEXT Transformer进行拆分，前半部分用作BERT TEXT Encoding，后半部分用作多模态的学习，并在多模态学习前添加了新的loss函数，使其学习更为有效；另一篇的AIM调试则旨在将图像的完备Transformer应用到视频中,他们复制了Image Transformer，分别用来学习时间与空间信息，取得了较好的fine-tuning效果。 1.会议中老师提出，在会议介绍时，可以先提出big picture，让大家明白自己的工作是基于什么问题展开。 2.会议后老师提醒，并不能只根据几篇对自己有启发的论文，把它们的创新点拼合起来提出一个新模型就算是解决了问题，需要以问题为背景（question based），尤其是项目中的safety evaluation进行工作的开展，需要把这个问题重新梳理组织，定义到数据标签或实验设计上，成为更加简单、具体且可操作的问题。 PPT: 0802.pptx

Week 4: Time: 2023/8/10 本次会议中，主要报告了对safety in construction site进行的工作，以更好地对接VideoQA模型部分。 Markdown Note: group_meeting_on_august_10th.pdf PPT：0810.pptx

Week5: Time: 2023/8/18 本次会议报告了对VideoQA模型复现的进展，并接续上次会议中提到的VQA for better reasoning的topic进行的论文调研。 Markdown Note：meeting_on_august_18th.pdf PPT：0818.pptx