起步 5 个月:首个有效结果(Deletion +0.5 点)+ 反直觉发现二次坐实(随机补检索文本最优);当前主攻新谜题——定位 F1 全升而描述指标全降的强一致性根因;定方向、启动首篇仍是第一优先。
- 归因新进展:固定生成事件数后每个事件的时间匹配精确率也上升——定位提升有双重来源
- 字幕修正新模块:用模型已预测区间特征再检索 top-1、多档参考权重融合进生成——CM2 测试集字幕描述性能上升(规模小待全量确认)
- 朱老师方法论三件套:公平对比选各自最优阈值+综合指标、增益分布直方图、原理+架构两层归因
- 归因「还没有定位得很清」——导师要求尽快收敛成确定性结论(把描述指标也提上来)
- 汇报范式连续两次被批(没头没脑、无背景帽子)——材料须自己消化重写
- 方向未定、首篇论文未启动——紧迫感持续升级
- 字幕修正模块全量测试集评测
- 最优阈值公平对比+增益直方图
- top20/top10 检索特征分布对比定位提升原因
朱老师评价与指导要点
按时间序 · 远程组会指导记录
- 04:三篇 2015-2017 经典太早——找近两年顶会、经典引用量过千作筛选线、不依赖 AI 推荐列表、先发散再收敛
- 05:精读方法定制——≤3 篇拆到代码级 + 反复问答迭代(问→答不上回去看→下次再讲)
- 06:判高斯合成有审稿公平性硬伤(生成-推理自洽偏差)——工作线换轨,转向基准性工作(长期价值更高)
- 09:量化『检索质量→下游性能』映射,按相似度分层统计找阈值效应——若存在即是重要发现
关键节点
绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-04起步与调研矫正指导
首汇报读的是 2015-2017 老经典 → 矫正为找近两年顶会、经典引用量过千作筛选线、先发散再收敛。
2026-05精读方法定制指导
≤3 篇经典拆到代码级 + 反复问答迭代(老师问→答不上回去看→下次再讲)。
2026-05Deletion 增强 +0.5 点有效
历史帧 box 投当前帧做点云增强——首个有效结果;同步确立「新分支 mini 跑通 + loss 正常才能合并」纪律。
2026-06高斯合成遇审稿公平性关卡证伪
生成-推理自洽偏差(审稿风险)+ 合成视角质量差 → 及时转向,该线后流转白彤。
2026-09检索加权两实验 = 饱和区
①相似度/排名加权:下游无变化;②关键帧检索:检索质量小升、下游仍无变化;负向对照成立(打乱检索文本明显变差)——「检索质量有影响」前提成立,改进落在饱和区。
2026-09动态检索反直觉发现
四组对比:baseline / 前 2% / 前 2%+随机低相似 / 前 2%+按排名低相似——「随机 > 按排名」,其中一组反超 baseline;归因中(疑训练随机性),若坐实即是转机素材。
2026-09-27反直觉结论二次坐实 + 新谜题有效
「随机补检索文本 > 按排名补」跨周复现成立;阈值筛选实验发现新反常:定位 F1 全升(recall↑)而描述指标全降、一致性极强——朱老师给根因分析全路径(假阳性影响→检索特征进哪个模块→从结果往前推→代码级排查);另找到思想相近的三元组(主谓宾)规则筛选论文待精读。
2026-10-11动态检索一致性归因两路推进:定位↑时间匹配有功、描述↓分歧词传导可部分修复
定位上升的归因修正:不止事件数变多,控制变量(保留 baseline 字幕、只换新检索的匹配时间)证实时间匹配确有提升;描述下降定位到「新增词收益抵不上原有词消失的损失」,从第一个分歧词起强制换回 baseline 生成词再生成后文可部分修复——归因未完全闭环。导师连续第二次批评汇报范式(须先讲背景帽子),并要求尽快收敛出确定性结论、材料嚼碎勿直接用 AI 生成稿。
2026-10-17字幕修正新模块初步有效(字幕描述性能上升)有效
预测区间检索+权重融合修正字幕;CM2 测试集初步验证,全量评测待做
结果盘点
绿 = 确认有效 · 红 = 证伪排除(同样有价值)
✓ 确认有效
- Deletion 增强:+0.5 点(首个有效结果)
- 负向对照设计成立(验证「检索质量有影响」前提)
✕ 证伪排除
- 高斯合成审稿公平性风险(已转向)
- 检索加权落在饱和区(下游无变化)
历史轨迹
8 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-10-17回写起步 5 个月:首个有效结果(Deletion +0.5 点)+ 反直觉发现二次坐实(随机补检索文本最优);当前主攻新谜题——定位 F1 全升而描述指标全降的强一致性根因;定方向、启动首篇仍是第一优先。
在做- 归因新进展:固定生成事件数后每个事件的时间匹配精确率也上升——定位提升有双重来源
- 字幕修正新模块:用模型已预测区间特征再检索 top-1、多档参考权重融合进生成——CM2 测试集字幕描述性能上升(规模小待全量确认)
- 朱老师方法论三件套:公平对比选各自最优阈值+综合指标、增益分布直方图、原理+架构两层归因
卡点- 归因「还没有定位得很清」——导师要求尽快收敛成确定性结论(把描述指标也提上来)
- 汇报范式连续两次被批(没头没脑、无背景帽子)——材料须自己消化重写
- 方向未定、首篇论文未启动——紧迫感持续升级
计划- 字幕修正模块全量测试集评测
- 最优阈值公平对比+增益直方图
- top20/top10 检索特征分布对比定位提升原因
2026-10-11回写起步 5 个月:首个有效结果(Deletion +0.5 点)+ 反直觉发现二次坐实(随机补检索文本最优);当前主攻新谜题——定位 F1 全升而描述指标全降的强一致性根因;定方向、启动首篇仍是第一优先。
在做- 动态检索一致性归因:定位↑=输出时间更匹配(控制变量证实);描述↓=分歧词替换传导、强制回退可部分修复
- 修复字幕筛选规则尝试中(当前收益不高)——归因尚未完全闭环
卡点- 归因「还没有定位得很清」——导师要求尽快收敛成确定性结论(把描述指标也提上来)
- 汇报范式连续两次被批(没头没脑、无背景帽子)——材料须自己消化重写
- 方向未定、首篇论文未启动——紧迫感持续升级
计划- 描述指标下降的归因闭环 + 「修复」做成确定性结论
- 改进修复字幕的筛选规则
- 汇报材料去 AI 化重写(先背景帽子再工作)
2026-09-28回写起步 5 个月:首个有效结果(Deletion +0.5 点)+ 反直觉发现二次坐实(随机补检索文本最优);当前主攻新谜题——定位 F1 全升而描述指标全降的强一致性根因;定方向、启动首篇仍是第一优先。
在做- 反直觉结论二次坐实(随机补最优)
- F1↑/CIDEr↓ 一致性反常根因分析中(分析路径已给)
卡点- 方向未定、首篇论文未启动——第一优先(0919 紧迫感仍在)
- 新反常未归因——分析全路径已给,执行即可
- 实验结果汇报习惯待建(0927 被提醒「重要结果要上墙」)
计划- F1↑/CIDEr↓ 根因分析(含代码级排查)
- 实验结果整理成汇报材料
- 三元组规则筛选论文精读
- 定方向、启动首篇论文
2026-09-27组会反直觉结论二次坐实 + F1↑/CIDEr↓ 新谜题
在做- 找「相似度超阈值去掉低相似文本→性能不降」的稳定阈值——未找到
- 固定 top 90 改 95/98 分位阈值筛选(一条不超默认 top1)——本质=分位选择只是增减筛选数量
- 0919 反直觉结论二次复现坐实:随机补 10/20/40 条 > 按排序补 > 重复高阈值文本
卡点- 新谜题:F1 全升(recall↑)而描述指标(CIDEr 等)全降——「一致性太强、反常」
- 自述「不知道下一步该做什么」
计划- 根因分析路径:假阳性影响/检索特征进了哪个模块哪一步/从结果往前推/查代码低级失误
- 下次汇报重要结果要粘上来(十几分钟的事)
- 三元组(主谓宾)规则筛选论文待精读
2026-09-19组会动态检索实验:随机补低相似反直觉优于按排名加
在做- 检索数量不固定的四组对比:baseline / 只保留相似度前 2% / 前 2%+随机低相似文本 / 前 2%+按排名低相似文本
- 反直觉结果:随机加低相似整体优于按排名加,其中一组反超 baseline(归因未定,疑训练随机性未复现确认)
- 领域现状梳理:现有方法均固定检索数量;RL 动态选择先例不如静态
卡点- 反直觉归因未定
- 被何老师单独点名:「没有一篇论文是可以被浪费的,他们就你没有」——尽快定方向
计划- 汇报范式改进:「最上层应用是什么?检索是干嘛的?来龙去脉加小帽子先讲完」
- 找先行工作当靶子(写论文参考其结构、结果要比赢)
2026-09-12组会CM2 上两个改进实验均落在饱和区
在做- 在 CM2(检索增强视频描述)基础上两个改进:①等权排序→按相似度/排名加权(下游无变化)②anchor 内平均池化→选信息强的关键帧(文本-图像相似度最高)检索(检索文本质量小幅提升、下游仍无变化)
- 负向对照(打乱检索文本明显变差)成立→「检索质量有影响」成立
计划- 量化「检索质量→下游性能」映射:按相似度分层统计各层下游表现、找阈值效应(低于阈值明显差、高于阈值饱和——若存在即重要发现)
- 变阈值过滤(定位 query 得分分布统计→分类→差异化阈值);先调研有无先例
2026-06档案高斯视角合成期:质量差 + 审稿自洽偏差被判不过
在做- 接虚拟相机线:重训高斯权重后扰动集 mAP 高于固定流势但低于原论文(NDS 略高);7V 略好于 6B
- 训练一轮 3 天(两卡)
卡点- 合成视角质量差(视野窄/边缘扭曲/白底);裁剪致分辨率降 3/4
- 朱老师判「审稿绝对不过」:高斯生成-推理自洽偏差(原论文实验本身有问题)
- 虚拟相机内参变换实验始终未做
计划- 9V 数据集重叠核查最高优先级(卸共用部分+高斯补视角+真实视角推理=新基准,基准性工作长期价值)
- 前视 100°→30° 内参变换低成本先做
2026-05档案Deletion 增强 +0.5 点;论文精读期
在做- Deletion 增强(历史帧 box 投当前帧做点云增强)+0.5 点;三个代码分支(模块线)已合并
- 视频描述论文精读:三层语义(全局动作/物体/三层词)+三辅助任务(跨模态匹配/句法指导预测词性/反向重构帧特征);画结构图说明视觉-文本关联
卡点- 首次汇报的三篇经典太早(2015-2017)被批——找近两年顶会
计划- 学习方式矫正:≤3 篇经典拆到代码级+反复问答迭代
- 前景背景分离优先(改称「吸收式 delete」);新分支必须 mini 跑通、loss 正常下降才能合并
胡佳欣研究生 · 研一视频描述(检索增强)
+0.5 点首个有效反直觉二次坐实新谜题根因中
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。