本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
- 视频 QA 大模型代码级精读交付:Q-Former 凝练视觉 token、时间定位 token 生成与相似度阈值选帧、训练软标签设计全链路(上轮「停留在图上」批评后闭环)
- 分层验证:三个数据集短事件(<3s、3-8s 档)命中率普遍偏低;失败拆解——A 类视频短于采样粒度无帧可采、B 类预测区间过宽(大量样本达 GT 两倍以上宽度,覆盖 GT 但带入背景帧拉低 IOU)
- 归因假设两条:推理阈值(最高分×0.6)欠合理;训练软标签对短事件不利(区间内外权重接近)
- 短事件命中率低的双归因(数据/模型)未分轨;汇报表达——把已知信息当大家都知道,新接触者跟不上
- 数据先行:统计该权重训练集 GT 区间分布,排除数据不均衡再看模型
- 阈值与相似度连续选帧方式的改进点梳理(候选创新点)
朱老师评价与指导要点
按时间序 · 远程组会指导记录
- 06:经典架构细节要把握住——『现在很多工作都是在这上面缝缝补补』
- 06~07:连续追问视野 cover → 逼出『删重叠视角』关键发现;要求先验证基本思路、再包装成架构创新
- 07:主线点破——虚拟相机增益来源 = 原采样遗漏信息,从 trick 升维为方法论创新
- 09:显式依赖改进与 anchor/DETR 共享 reference 同构——可试但优先级别放高、效果大概率有限;定位污染描述需消融
- 09:建议『往大模型上走』+ 尽快向何老师报算力需求
关键节点
绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-03 ~ 05视频描述起步
动态阈值/动态窗口方向合理但实现太简单 → 扩展到时序;GT 辅助 query(位置 + 文本特征编码)P/R +0.05;并行生成定位与描述调研。
2026-06视频描述论文定稿投 IAAI论文
10 页双栏定稿(本科期间完成);经典架构精读 3 篇拆到 query 初始化/decoder 输出/权重共享级别。
2026-06 下★ 转线 3D 感知
接手组内流转的高斯/9V 数据集线;9 相机配置分析发现前置 5 台重叠较多。
2026-07删重叠视角 + 虚拟相机两连有效有效
删 2 个重叠深度相机后 MVP 不降反升(省计算量);前 3 视角拼接投影 > 单视角投影;高斯特征注入 > 直接合成、略好于 baseline(NDS +1 点多)。
2026-07主线升维指导
导师点破:增益来源 = 原采样过程遗漏信息——从 trick 升维为可发表的问题定义,把前处理移到特征层、嵌进架构内部。
2026-09★ 再并行 VLM 大模型线
按导师「往大模型上走」建议复现 VLM 视频定位问答(两次定位互相监督 + 偏好优化,3.8B LoRA);自有改进——定位→描述显式依赖(统一 reference + 门控注入),初步描述指标升。0919 汇报:baseline 更新为 2025 年高指标论文,微调已在 4 卡上训练(第二部分收尾)——此前显存瓶颈已打通。
2026-09-27在投论文两个 4 分被拒 → 改投二区;VLM DPO 排查证伪
审稿意见一致「创新有限/重新组合」(两模块分别参照两篇论文、缺与 base 直接对比)——按朱老师方案:补与两个 base 的对比实验(P0)+「局限→改进」论述,改后优先投二区(窗口:11 月 CVPR / 明年 1 月 ICMR,选审稿周期快的刊);VLM 复现推进到 DPO 阶段:DPO 反向优化(论文 65 vs 实测 47、SFT 单独 50),排查训练配置(梯度累积步数与官方不一致)+ 每 1000 步存 checkpoint 测收敛。
2026-10-11VLM 复现排除卡数因素仍偏差;与袁康结对投 1 月会议;平台开票方案调研
VLM 复现个别指标与论文偏差:对齐参数与训练规模后重训,结果无区别——排除卡数因素(导师判断 4/8 卡只是能跑不能跑之别、不影响数值),根因未定位,拟换平台同配置对照或找朱老师商量;上篇论文(被拒改投线)已补实验、待发朱老师看;与袁康结对瞄准 1 月截止会议投稿;此前调研过外部算力平台的开票方案(按充值金额/按账单两种)。
2026-10-17被批"理解停留在图上",转向代码级补课指导
朱老师:改 base 前把细节搞清楚,idea 怎么生成/加什么结构/怎么输出;SFT 先行绕过 GRPO
结果盘点
绿 = 确认有效 · 红 = 证伪排除(同样有价值)
✓ 确认有效
- 高斯分支特征:NDS +1 点多
- 拼接投影 > 单视角;特征注入 > 直接合成
- 删重叠深度相机:不降反升
- 显式依赖改进:描述指标升(初步,待消融)
历史轨迹
10 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-11-01回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做- 视频 QA 大模型代码级精读交付:Q-Former 凝练视觉 token、时间定位 token 生成与相似度阈值选帧、训练软标签设计全链路(上轮「停留在图上」批评后闭环)
- 分层验证:三个数据集短事件(<3s、3-8s 档)命中率普遍偏低;失败拆解——A 类视频短于采样粒度无帧可采、B 类预测区间过宽(大量样本达 GT 两倍以上宽度,覆盖 GT 但带入背景帧拉低 IOU)
- 归因假设两条:推理阈值(最高分×0.6)欠合理;训练软标签对短事件不利(区间内外权重接近)
卡点- 短事件命中率低的双归因(数据/模型)未分轨;汇报表达——把已知信息当大家都知道,新接触者跟不上
计划- 数据先行:统计该权重训练集 GT 区间分布,排除数据不均衡再看模型
- 阈值与相似度连续选帧方式的改进点梳理(候选创新点)
2026-10-17回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做- 投稿规划:下半年赶得上的会仅 2 个,按"一鱼两吃"策略 PR 先投、二次投稿扩展 >30%
- VLM 复现改道:放弃 GRPO 后训练、直接在原论文 SFT 上推进(领域内 GRPO 非必要),算力支撑确认中
- 目标论文(视频 QA/定位大模型)被朱老师批评"理解停留在图上"——event token 生成链路等细节未从代码级看过
卡点- VLM 复现个别指标偏差根因未定位——同配置换平台对照是下一步
- 研一课业重(16 节/周)与双线并行
计划- 目标论文代码级细节补课(event token/两路特征/base 对比)
- SFT 先行复现计划推进+算力确认
- 一鱼两吃投稿规划落地
2026-10-11回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做- VLM 复现:对齐参数与训练规模重训后个别指标仍比论文差——排除卡数因素,根因定位中
- 上篇被拒论文已修改+补实验,待发朱老师看
- 与袁康结对瞄准 1 月截止会议投稿;关注 PR 多模态专刊
- 外部算力平台调研对接中(开票两方案:按充值金额/按账单)
卡点- VLM 复现个别指标偏差根因未定位——同配置换平台对照是下一步
- 研一课业重(16 节/周)与双线并行
计划- VLM 复现偏差根因定位(换平台同配置对照/与朱老师商量)
- 修改稿发朱老师看
- 与袁康对齐 1 月会议投稿;确认外部平台最划算一款+开票方案
2026-09-28回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做- 在投论文被拒(两个 4 分)——补 base 对比后改投二区(P0)
- VLM 复现:SFT 达 50,DPO 反向优化排查中(4×A100)
- 官方结果通知(10 月底)与本次结果对账中
卡点- 被拒主因=与 base 差异阐述不足——须补直接对比实验与论述(P0)
- DPO 反向优化:显存受限改了训练配置,与官方未对齐
- 研一课业重(16 节/周)与双线并行
计划- 补两个 base 的对比实验 + 论述,改投二区
- DPO 配置对齐 + 每 1000 步 checkpoint 测收敛
- 向何老师报具体卡数(云平台+导师算力两条路)
2026-09-27组会在投论文两个 4 分被拒 → 改投二区;VLM DPO 反向优化排查
在做- 在投论文两个审稿人各 4 分被拒(意见高度一致:「方法创新有限/重新组合」——两模块分别参照两篇论文、新颖性被评「查询初始化时间分区+内存检索重用」、缺与 base 直接对比与差异阐述)
- VLM 复现:4 卡 A100 SFT+DPO 两阶段——DPO 反向优化(论文指标 65 vs 实测 47,SFT 单独 50 反而更高)
- 排查到 gradient accumulation step 比官方小(梯度传播更少)、官方配置显存跑不起来;表二表三接近论文
卡点- DPO 反向优化根因未定(loss 震荡下行)
- 官方结果通知(10 月底)与本次被拒结果对账中
计划- P0=补与两个 base 的对比实验+正文论述(base 局限→我的改进),改后优先投二区(选审稿快的)
- 对齐训练配置、每 1000 步存 checkpoint 跑 test 看收敛
- 向何老师报卡数(云平台+导师算力两条路并行)
2026-09-19组会VLM 线正式汇报:4 卡在跑,算力瓶颈打通
在做- 定位转型:密集描述传统方法改成视觉大模型
- 2025 高指标论文作 baseline:训练两部分、第二部分剩十几小时、4 卡在跑
- 已找下一步实验问题点(含创新性想法)
2026-09-12组会VLM 视频定位问答复现 + 自有改进 + 会后深谈 55 分钟
在做- 复现 VLM 视频定位问答论文:视频+问题→定位证据时间区间→自回归生成答案→再定位,两次定位互相监督+DPO 式偏好优化(GT 文本/时间扰动构造负样本)
- 数据解压 600-700G;3.8B LoRA 微调;原论文 4×H100 训一天、本地 3 卡推理
- 自有改进(借鉴 PDVC 共享 query+双 head):统一 reference+区间内帧特征加权求和经门控注入 caption query(定位→描述显式依赖)——描述指标升、定位略降
- 会后与朱老师深度讨论约 55 分钟竞赛策略
卡点- 算力瓶颈:微调显存不够(需 4×H100≈6-8 张 4090 量级)
计划- 尽快向何老师报算力需求(重硬件清单轻诉苦)
- 消融补「去 head 只加 evidence」组;定位污染描述需消融
2026-07档案虚拟相机验证有效;高斯特征注入更好
在做- 虚拟相机验证有效:前 3 视角按经验切分拼接后投影到新视角 > 单视角投影;彩色图补回被删视角「变得非常好」
- 高斯特征注入(不生成彩图、特征直接注入)比直接合成好、比 baseline 略好
- 新数据集(9 相机)跑 1/5 数据;删两个重叠深度相机后 MVP 几乎无变化甚至略升(计划八路改七路)
计划- 把前处理移到特征层、嵌进 BEVDepth/LSS 架构内部(从 trick 变方法论创新)
- Sparse4D vs BEV/dense 对比验证普适性;类别×距离段细分 AP
2026-06档案首篇论文定稿投出;接手虚拟相机线
在做- 论文 10 页双栏基本定稿(补实验、改图);经典架构精读 3 篇(可变形 attention 事件 query/语音预训练/外部知识库检索)
- mask vs 插值缩放实验(3 升 1 降)——领域内少有人做、潜在创新点
- 论文投出(代码开源策略:不全开源、部分开源核心模块或伪代码、防拒稿后被抄袭)
- 接手虚拟相机线:高斯图像合成作分支特征——标准集 NDS 高于 base(+1 点多)但 mAP 降
计划- 指标做公式级差异分析
- 9 相机配置分析(7 环视+2 长焦前视、前置 5 台重叠较多)
2026-03档案视频描述起步期:动态阈值 + GT 辅助 query
在做- 动态窗口/视频描述:动态阈值方向合理但实现太简单
- GT 辅助 query(位置+文本特征编码)轻微提升(P/R +0.05)
计划- 扩展到时序;动态阈值+特征平滑合为一个创新点;同步写论文
白彤研究生 · 研一视频描述起步 → 3D 感知(虚拟相机主线)→ 再并行 VLM 大模型线
论文改投二区(P0)VLM SFT 复现 50 分NDS +1 点多删 2 视角不掉点
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。