张欣宇 · 视频描述(CM2 底座 / 流式调研)→ 3D 感知线并行(plugin + 高斯特征注入) · ky.toimc.cn

研究生 · 研一 · 数据周期 2025-11 ~ 2026-11 · 更新至 2026-11-01
数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。

当前状态

截至 2026-11-01
  • 虚拟相机论文修改中;广角设计=前向三原图合成 110 度虚拟视角
  • 方法快速迁移到多个稀疏模型效果均不佳(与 AI 通代码归因采样方式差异中)

问题与卡点

现在卡在哪
  • 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
  • plugin 要跑好几个模型验证,算力排队拖慢节奏
  • 细粒度评价指标方案(三人共同任务)暂无回执

下一步

行动项
  • 两天内出论文初稿发导师
  • 先把现有两个有效结果写扎实;迁移无效的归因分析往后放

朱老师评价与指导要点

按时间序 · 远程组会指导记录

关键节点

绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-04
数据工程起步指导
数据集多维度分析(HTML 报告)→ 要求通用化成小工具,新项目拿到数据即可快速分析。
2026-06
3D 感知方向布置指导
虚拟相机/高斯建模调研(多视角数据集);高斯不生成图片再喂模型、直接给内参生成特征隐式传递视角信息。
2026-07
CM2 复现攻坚有效
复现检索增强视频描述方法:定位出论文与代码参数不一致(50 vs 300、编解码实际 6 层)+ 缺关键概念词表文件——补齐后效果显著提升。
2026-07
流式密集描述调研指导
主流仍离线、2024 才出首篇流式(空白区);大模型结合为新趋势(7B 级微调需 4-8 卡);被要求别散改、先复现基线 + 数据集统计。
2026-09
3D 线汇报:plugin + 特征注入
「只增训练不增推理」的 plugin/adapter 方案做多模型迁移验证(算力受限跑得慢);高斯合成 + 高斯新视角做特征注入(未完);可视化方案打磨中——导师定位「讲清为什么有效」。
2026-10-17
虚拟相机方法论文初稿完成论文
新视角教师模型:前视明显提升/推理零成本;迁移 SparseDrive、SPA3D、BEV;朱老师指导按讲故事结构重组

结果盘点

绿 = 确认有效 · 红 = 证伪排除(同样有价值)

✓ 确认有效

  • CM2 复现问题定位(参数不一致 + 缺件)
  • 数据集分析工具化(组内可复用)

✕ 证伪排除

  • —

历史轨迹

7 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-11-01回写数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。
在做
  • 虚拟相机论文修改中;广角设计=前向三原图合成 110 度虚拟视角
  • 方法快速迁移到多个稀疏模型效果均不佳(与 AI 通代码归因采样方式差异中)
卡点
  • 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
  • plugin 要跑好几个模型验证,算力排队拖慢节奏
  • 细粒度评价指标方案(三人共同任务)暂无回执
计划
  • 两天内出论文初稿发导师
  • 先把现有两个有效结果写扎实;迁移无效的归因分析往后放
2026-10-17回写数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。
在做
  • 虚拟相机(合成新视角)方法论文初稿已写完:新视角作教师(教师几何)——前视提升明显、后视无提升;推理不增加计算量
  • 多基线迁移:SparseDrive/SPA3D 已迁移,BEV 短程已试(掉一个多点)、SPA4D 全量待补
  • 朱老师批评"结论太浅":只复述实验结果没有价值——按讲故事结构重组(实验发现放 introduction→由假设导出教师模块)
卡点
  • 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
  • plugin 要跑好几个模型验证,算力排队拖慢节奏
  • 细粒度评价指标方案(三人共同任务)暂无回执
计划
  • 论文初稿发朱老师看
  • 教师几何收益的原理层面归因(中间结果验证)
  • introduction 讲故事重组+SPA4D 全量补跑
2026-09-28回写数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。
在做
  • plugin/adapter 多模型迁移验证(算力排队受限)
  • 高斯合成 + 新视角特征注入(未完)
  • 可视化方案打磨(讲清「为什么有效」)
卡点
  • 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
  • plugin 要跑好几个模型验证,算力排队拖慢节奏
  • 细粒度评价指标方案(三人共同任务)暂无回执
计划
  • 特征注入实验做完
  • plugin 多模型迁移验证出结论
  • 下次组会正式汇报(完整版主线表述)
2026-09-19组会3D 线汇报:plugin「只增训练不增推理」+ 高斯特征注入
在做
  • plugin/adapter 式「只增训练不增推理」方案(训练时网络不变、类 adapter),验证多模型迁移性(卡跑太慢、要搞好几个模型,未完)
  • 高斯合成+高斯新视角做特征注入(未完)
  • 可视化「效果有点差」在找方案
卡点
  • 算力排队拖慢节奏
  • 可视化定位=讲清「为什么有效」待解(何老师:「做了几个感觉非常明显的不用改」)
计划
  • 特征注入实验做完;plugin 多模型验证出结论;下次组会正式汇报(完整版主线表述)
2026-07档案流式密集描述调研(空白区)+ CM2 复现攻坚
在做
  • 流式密集视频描述方向调研:主流仍是离线、2024 才出第一篇流式(后续跟进极少,研究空白);新趋势与大模型结合(7B 级,冻结/微调两派,微调需 4-8 卡)
  • 复现 query 代码效果极差排查:定位出论文与代码参数不一致(论文 50 vs 代码 300、编解码实际 6 层)+ 缺关键概念/词表文件——补齐后效果显著提升
  • ACCV 冲刺:两个 loss(定位/描述分支)+一个结构改进(共享+专用分支),仅 M 指标提升较大
卡点
  • 上次论文被评「为追速度找零散点、不成线」;意向二选一未定
  • 训练集动词名词提取方式没看懂需手补
计划
  • 复现 2024 流式基线;找问题别再散改(对比主流方法发现短板→集中系统改进,定一条主线+一个概念词)
  • 数据集先统计(事件/类别/时长+可视化);与袁康、佳欣讨论分工
2026-06档案3D 感知线布置:高斯直接生成特征 + 跨模型泛化
在做
  • 虚拟相机可视化链路代码已加但一直没跑出结果;高斯建模调研(激光还原点云论文)
  • 9V 多视角数据集(2022 开源,7 环视+2 前视,约 1000 个 3D 场景)想做扣视角研究
卡点
  • 可视化没跑出结果、自己也没看过效果
计划
  • 传感器外参变化下的跨模型泛化(朱老师新方向建议:一套权重迁移不同传感器配置;竞争小、工业价值极高)
  • 高斯不生成图片再喂模型(易被质疑)→ 给内参让高斯直接生成特征、隐式传递视角信息
2026-04档案数据工程起步:数据集多维分析
在做
  • nuScenes 数据集多维度分析(HTML 报告,AI 辅助生成)
卡点
  • 仅限单一数据集不可复用
计划
  • 做成通用小工具(新项目拿到数据集即可快速分析)
张欣宇研究生 · 研一
视频描述(CM2 底座 / 流式调研)→ 3D 感知线并行(plugin + 高斯特征注入)
CM2 复现攻坚plugin 多模型验证特征注入推进中
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。