10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
- E7 收官两大待办交付:①指标拆碎——K1→K10 增益全部来自「看得更准」而非「看得更小」,K4 vs K10 各面积带/类别无可分辨差异;②中间结果论证——采样半径外扩 ×2.2、增量 6 点≈原 4 点特征重采、top4 注意力质量 0.956 + 采样点对照图集
- PDVC 官方基线复现收官:TSP 8.45 / TSN 8.02 对齐官方——视频描述线开工
- 六方向调研(E2DVC/MTA 重点初读):E2DVC 的伪事件先验与 E7 扎堆发现直接衔接
- 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
- 结课 presentation + 讲课制度准备 + 11 月开题多线叠加,时间紧
- PDVC 中间结果 dump 分析(把 DETR 线的中间结果论证方法落到视频描述线)
- 六方向 × 近三年顶会论文量趋势统计 + 与朱老师单独讨论定向
- 继续 PDVC 线:伪代码级收尾 + E2DVC/MTA 细读
朱老师评价与指导要点
按时间序 · 远程组会指导记录
- 04:入门五连指导——经典实验不用跑那么多(DETR 系吃透即可)、路线图画了要按图走、先发散再收敛、领域知识『刻在脑子里』、节奏要快
- 05:复现标准 = 与论文指标差 1-2 点内;训练后查 loss/梯度/热力图匹配度
- 06:先可视化核指标——bbox 投回测试集,贴合 = 指标算错、不贴合 = 模型问题
- 06:现场 30 分钟教学——剥洋葱三层次 + BEV 特征构建四步推导;不能走大模型捷径
- 07:『核查完成 ≠ 问题解决』;精读两着力点 = LSS 取 BEV 特征 + CenterPoint head;暂停读新论文、基础到 80% 优先
关键节点
绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2025-11 ~ 2026-02入门期
DL 基础从零起步(梯度下降/归一化 → CNN/YOLO/卷积/特征图);VLA/具身智能调研;方向敲定 3D 目标检测。
2026-04四大模型一周跑通有效
PointPillars / BEVFormer / TPVFormer / SwinBERT(nuScenes mini + Docker + 断点续训 + SwanLab 全套基建);自研 AI 文献调研工具同步上线(关键词订阅 → 每日推送)。
2026-05全量实验攻坚
BEVDet/BEVDepth/Sparse4D 全量并发(4 卡 DDP),OOM/显存/CPU 工程问题集中爆发;确立复现标准 = 与论文指标差 1-2 点内。
2026-06两模型 full 达标 + mini 诊断闭环有效
BEVDet 全量 mAP=0.2979(与论文 0.297 一致)、BEVDepth 全量 0.3446 / NDS=0.4750;mini 小数据集三轮独立复现 mAP≈0.003 → 诊断为纯欠拟合,不再以 mini 作为改进基准。
2026-06 末BEVFormer 复现差距与基础考核
BEVFormer 全量复现 mAP 0.2851、距论文指标约 3 个点(差距原因的排查已暂停、记录已存档,需要时可随时重启);现场考核暴露结构理解欠缺 → 转入剥洋葱三层次学习法 + BEV 特征构建四步推导。
2026-07超算训练崩溃根因定位有效
定位到超算上 mmcv 库编译时未覆盖 A100 显卡架构、部分计算静默失效(此前连续 4 版训练失败的真因)→ 换官方预编译版本重训恢复正常;LSS + CenterPoint 检测头精读推进。
2026-09学习规范确立 + 定向视频描述
确立学习规范:AI 先讲解 → 带问题分三遍读原文 → 读后复述检验(费曼式);同步制定基础补课计划;筛出 2024-2026 顶会 42 篇按分支细分。
2026-09按 9·19 组会意见执行指导
导师建议放下自设的投稿期限,本人裁定保留作自我加压(同时落实每日投入记录);暂停工具开发;人肉精读论文、细分方向自己定;10·18 设检查点,届时按实际进度决定是否冲投稿(时间已预留缓冲)。
2026-09-27朱老师技术会收尾汇报:综述代替 intro + 代码级入场券指导
现场接住朱老师对一对多论文「为什么有效」的追问(LoRA-DETR 预研);Deformable DETR 稀疏采样答问被点名肯定(「这个回答很好」);批评「基础未到代码级=投入或方法问题」;核心指令:4-5 篇流派论文到代码级才开始改进、写综述代替 introduction、先与同组三人讨论 base 再过方向、读论文同步小实验;审稿周期数据库当场贡献(群共享)。
2026-10-11采样点消融交付初步结论:4→5/10 点增益小;作业系统获批开干
朱老师 0927 待办交付:20% 固定子集 DDP 消融、其余配置对齐原论文只改采样点数——12ep 初步结论「4→5 甚至 10 个采样点增益很小」,50ep 未跑全、交 AI 闲时双调度器续跑;现场被考采样机制(基准点+学习偏移、学习式优于固定规律)答问过关;伪代码级理解仍卡(连续第二周,下周逐行调试);《大模型前沿技术》结课 presentation 定下周(取 2024-2026 DVC 前沿一篇);何老师点头共享服务器作业调度系统开干(最小可用交付)。
2026-10-17采样点消融收官:50ep 抹平效应坐实;全量实验落位超算
Deformable DETR 采样点数 K∈{1,4,5,6,10} 消融收官:20% 子集 12ep 五组+50ep 三组——K10 的 12ep +0.7 优势在 50ep 完全抹平(28.9=28.9),K1 落后拉大至 -2.2,坐实「K10 领先只是早期收敛速度、天花板由数据/特征决定」;结课 presentation 已交付;全量 COCO 三组 50ep 落位超算连跑(预计 10-20/21 完赛)。同日朱老师线上会压轴考问(为什么优势消失/中间结果论证),点名两大能力(拆分指标+中间结果论证)写入下周计划。
2026-10-27全量 COCO 采样点消融收官:「K 不敏感」升级全量口径
超算 V100 全量 118287 图×50ep 三组完赛:K1=41.7 / K4=42.0 / K10=42.3(相邻差 0.3,单 seed 阈值内)——20% 子集上 K1 的 −2.2 缺口在全量缩至 −0.3,裁决「数据墙 vs 点数冗余」之争:点数冗余读法加固,Deformable DETR 的稀疏采样(每头 4 点甚至 1 点)在足量数据下信息已够用。三组曲线已上 SwanLab,80 类 classwise 重评完成。
2026-11E7 收官+两大分析能力交付+PDVC 复现对齐有效
全量 COCO 三组消融收官(41.7/42.0/42.3,K 不敏感全量成立);导师点名的指标拆碎与中间结果论证两能力以全量实验+对照图集交付;PDVC 基线复现对齐官方指标,视频描述线开工。
结果盘点
绿 = 确认有效 · 红 = 证伪排除(同样有价值)
✓ 确认有效
- BEVDet full 0.2979(匹配论文)
- BEVDepth full 0.3446 / NDS 0.4750
- mini 数据集欠拟合诊断完成(三轮复现互证)
- 超算 mmcv 库问题根因定位(连续失败真因)
- 实验管理范式(YAML + SwanLab + Docker)已成组内公共资产
✕ 证伪排除
- 第 15-18 版四轮排查:排除半精度训练、替换算子等假设(真因是超算库问题)
- 「预训练权重未加载」假设(核查后排除)
历史轨迹
12 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-11-01回写10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
在做- E7 收官两大待办交付:①指标拆碎——K1→K10 增益全部来自「看得更准」而非「看得更小」,K4 vs K10 各面积带/类别无可分辨差异;②中间结果论证——采样半径外扩 ×2.2、增量 6 点≈原 4 点特征重采、top4 注意力质量 0.956 + 采样点对照图集
- PDVC 官方基线复现收官:TSP 8.45 / TSN 8.02 对齐官方——视频描述线开工
- 六方向调研(E2DVC/MTA 重点初读):E2DVC 的伪事件先验与 E7 扎堆发现直接衔接
卡点- 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
- 结课 presentation + 讲课制度准备 + 11 月开题多线叠加,时间紧
计划- PDVC 中间结果 dump 分析(把 DETR 线的中间结果论证方法落到视频描述线)
- 六方向 × 近三年顶会论文量趋势统计 + 与朱老师单独讨论定向
- 继续 PDVC 线:伪代码级收尾 + E2DVC/MTA 细读
2026-10-17回写10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
在做- E7 全量 COCO 50ep 三组收官(10-27):K4=42.0/K10=42.3/K1=41.7,相邻差 0.3<0.5 阈值——「K 不敏感」全量口径成立,20% 上 K1 的 2.2 缺口缩至 0.3(数据墙被否、点数冗余加固);距论文 44.5 差 2.5
- 朱老师 1017 点名两大能力落地:指标拆碎(分类别/分距离段)+ 中间结果论证(K4/K10 采样位置与增量点特征对比)
- 伪代码精读前三块多遍、复述关未过(朱老师:看一次不行看两次,直到掌握)
- 串行学习阶段二收官(10-17),阶段三(选题+迁移实验)10-18 启动
卡点- 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
- 结课 presentation + 讲课制度准备 + 11 月开题多线叠加,时间紧
计划- 中间结果论证实验(朱老师点名分析能力:K4/K10 采样位置分布+增量点特征相似度);E7 classwise/面积带拆碎补齐
- 伪代码过关(白纸复述 §四 MSDeformAttn/§五 query 全旅程)
- 两篇综述精读(VTG TPAMI2025 → VC LLM TOMM2026)
- 阶段三:三候选技术评估+选题(ACM MM 2027-04 主锚)
2026-10-11回写10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
在做- E6 采样点消融收官(50ep 三组:上端抹平/下端拉大);E7 全量 COCO 三组超算在跑(10-20/21 完赛收割)
- 朱老师 1017 点名两大能力落地:指标拆碎(分类别/分距离段)+ 中间结果论证(K4/K10 采样位置与增量点特征对比)
- 伪代码精读前三块多遍、复述关未过(朱老师:看一次不行看两次,直到掌握)
- 串行学习阶段二收官(10-17),阶段三(选题+迁移实验)10-18 启动
卡点- 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
- 结课 presentation + 讲课制度准备 + 11 月开题多线叠加,时间紧
计划- E7 全量完赛收割+中间结果论证实验(朱老师点名分析能力)
- 伪代码过关(白纸复述 §四 MSDeformAttn/§五 query 全旅程)
- 两篇综述精读(VTG TPAMI2025 → VC LLM TOMM2026)
- 阶段三:三候选技术评估+选题(ACM MM 2027-04 主锚)
2026-10-11回写10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
在做- 采样点消融(朱老师 0927 待办):20% 子集 12ep 初步结论——4→5/10 采样点增益小;50ep 由调度器闲时续跑
- 伪代码级理解仍是短板(连续第二周)——逐行/断点调试硬排第一优先
- 《大模型前沿技术》结课 presentation(下周,取 2024-2026 DVC 前沿论文一篇)
- 共享服务器作业调度系统获批开干(最小可用,勿过度迭代)
卡点- 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
- 结课 presentation + 讲课制度准备 + 11 月开题多线叠加,时间紧
计划- 50ep 消融续跑巡检(异常才人工介入)
- T5② matcher 逐行/断点调试(第一优先)
- 结课 presentation(下周)
- 作业系统最小可用交付
2026-09-28回写10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
在做- 阶段二(9/22-10/17)视频描述经典精读:DETR/Deformable DETR 落盘、PDVC 在读
- 方向讨论(两候选)——按朱老师要求先摸 base、与同组讨论后再定
- 审稿周期数据库整理共享中(期刊出版频率/影响因子/审稿周期)
卡点- 朱老师批评:基础未到代码级(伪代码级自评 10-20%)=投入或方法问题
- 细分方向未定(两候选待 base 储备后裁决)
- 首篇窗口要靠「3D 复现功底 × 视频描述」交叉找差异化
计划- 核心 4-5 篇 DVC 流派论文读到代码级(query 初始化/张量维度交互)
- 写视频描述方向综述(代替 introduction)
- 与同组三位同学讨论 base 后再与朱老师过方向
- 读论文同步小实验(采样点数/head 数)+ 审稿周期表分享
2026-09-27组会朱老师技术会收尾汇报:综述代替 intro + 代码级入场券
在做- 收尾汇报:LoRA-DETR 预研(朱老师追问「为什么有效」——论文没解释 LoRA 为什么让原 head 变好)+ 状态 + 方向讨论
- 阶段二(9/22-10/17)视频描述经典精读:DETR/Deformable DETR 精读落盘、PDVC 在读(自评 10-20% 伪代码级)
卡点- 朱老师批评「投入或方法有问题」(与何老师 0919 保每日投入要求同向)
计划- 写综述代替 intro(综述=对领域的理解、可上 TPAMI 级,且直接服务首篇论文 related work 底稿)
- 4-5 篇核心到代码级再动手改进(10/18 阶段三启动日:技术评估+选题——代码级标准就是入场券)
- 方向两候选——按朱老师要求先摸 base、与同组讨论后再定
2026-09-12组会+档案学习规范确立:费曼式教学 + 读论文四法
在做- 费曼式教学辅导规范确立(先给答案再纠错/遗忘曲线假设/代码出处交代/可跳转链接)
- 读论文四法定版:AI 先讲(人话直觉+框架图)→带 3 个预设问题三遍分层读(图摘要结论→方法主线→公式细节)→复述→纠偏
- 博一规划 v2 重排(按博一实际阅读速度排期,日载论文 2-3h/天、每周留 30% buffer)
计划- 细粒度指标方案(三人共同任务)纳入阶段二学习清单
- 算力顺风车:SwinBERT 迁移实验资源报名
2026-08仓库档案mmcv 编译坑真凶定位,v19 重训恢复健康
在做- mmcv-full 源码编译 TORCH_CUDA_ARCH_LIST 设窄(只设 sm_70)在 A100 上所有 CUDA op 静默退化为零、不崩溃——v15-v18 loss_cls=0 真凶定位
- v19 换官方预编译 wheel(自带全架构)重训:iter50 loss_cls=1.5668 恢复健康
2026-07组会+档案转型期:遗留回执 + LSS/CenterPoint 精读
在做- 0628 遗留回执:①backbone 预训练已加载✓ ②拷贝与原项目一致✓——但 3 点 gap 仍在(「核查完成≠问题解决」)
- LSS+CenterPoint head 精读(自评 60-70%→暂停读新论文、基础到 80%)
- 汇总 3-06 月朱老师全部建议;语音转文字接入 AI 工具链获认可
卡点- 手头四项目并行压力大
- 对模型底层机制理解模糊(搜不到辅助损失模块)
计划- LSS 取 BEV 特征 + CenterPoint head(特征图怎么变成框)两着力点精读
- 剥洋葱三层次(黑盒→四模块→逐块打开);BEV 特征构建四步推导;先空间后时序
2026-06组会+仓库档案超算复现期:v19 full mAP 0.2851;BEVDet/BEVDepth 达标
在做- BEVFormer v19 full 完成:mAP 0.2851(较论文 0.34-0.37 低约 3 点)
- BEVDet full mAP=0.2979(匹配论文 0.297)、BEVDepth full mAP=0.3446/NDS=0.4750——复现达标
- mini 三轮独立复现 mAP≈0.003 → 诊断纯欠拟合、弃用 mini 为改进基准
- Docker 化后交丰企(无卡)转 A100 四卡
卡点- mini 飘框严重(预测框漂浮、数量过多、颜色/坐标轴混淆)
- 全量 1.3T 数据受文件系统/Lustre 制约
- 现场考核 backbone/特征图/dataset 项答问不完整
计划- 先可视化核指标(bbox 投测试集:贴合=指标算错,不贴合=模型问题)
- git compare 定位 config 差异;score 阈值在哪必须知道
2026-05档案全量实验期:工程问题集中爆发
在做- 全量四实验并发(BEVDet/BEVDepth/Sparse4D 等,4 卡 DDP 预计 7-8 天,进度 49%)
- 数据融合(动态/静态 check、PKL、20 帧切片)
卡点- OOM 显存 CPU 拉满;BEVFormer 评估 34 天异常(他人 32×A800 3 小时级)
- Sparse4D DDP 差于单卡;多卡 DDP 跑不通(LR×GPU 数不适用、mmcv 版本嫌疑);磁盘满
计划- 复现标准=指标差 1-2 个点内;对照官方 DDP 代码、版本对齐
- 训练后查 loss/梯度/热力图匹配度
2026-04档案实验起步期:一周跑通四大模型 + 自研工具亮相
在做- 一周内跑通 PointPillars / BEVFormer / TPVFormer / SwinBERT(nuScenes mini + Docker + 断点续训 + SwanLab 集成:mmcv Hook / Logger 适配器 / YAML launcher)
- 自研 AI 文献调研工具;与志峰深谈获得工作流模板(W&B/YAML/断点续训/缝合策略)
计划- 不用跑那么多经典实验(DETR 系吃透即可)、先发散再收敛、得快一点(参考白彤节奏)
李威博士生 · 博一(工程博士)视频描述(主攻,DVC 投稿主线)
BEVDet 复现 0.2979(与论文一致)BEVDepth 复现 0.344642 篇论文筛选完成
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。