Neurocomputing · Manuscript under review

几何先声明
渲染后可验证的合成数据集

面向低慢小(LSS)空中目标的合成数据生成框架。双 Agent 对抗 + 闭环反馈:每个样本的目标位置、尺度与标注框在渲染之前就已确定,渲染之后可被独立验证。

37,852
张实拍背景 · 九类场景
302
对像素对齐 RGB–伪红外样本
1.226px
质心位置误差 Epos
14.58s
单对样本生成耗时
CDFF 综合架构图:左侧 Generator Agent(M1–M6 生成端),右侧 Validator Agent(V1–V9 九项检查),中间为闭环反馈与图例
CDFF 双 Agent 架构:生成端 M1–M6 从背景图自身推导空间条件,验证端 V1–V9 逐级审查,失败码回流驱动增量微调。

为什么需要它

两个障碍,一个解法

低慢小目标在 200–500 m 距离上只占 15×15 到 30×30 像素,雷达截面小、声学与热特征弱,真实数据极难采集。用扩散模型批量生成训练数据看似直接,实际卡在两件事上。

01

无法无人值守地控制几何

布局条件模型需要逐样本手工准备条件图;提示词条件给不出可信的坐标与尺度。生成器不知道目标该落在哪、该多大,标注框也就无从谈起。

02

无法判断哪些样本该留下

BRISQUE、ImageReward 一类感知指标在成图上计算,与检测器需要的几何一致性解耦:一张图可以很逼真,却违反透视或尺度。

→

CDFF 把它们当成同一个问题

把一张普通背景照片转成几何已声明、且事后可验证的样本。几何来自背景图本身——单目相对深度与规则化可供性图——不需要人工布局。

低慢小目标三大挑战示意:像素尺度极小、背景复杂、可见光与红外模态缺口
图 1 低慢小目标的三个约束:像素占比极小、场景背景复杂、可见光–红外模态间存在缺口。

几何先声明

目标的位置、尺度与标注框在渲染之前由声明距离与解析式给出,渲染后只是去核对它有没有兑现。

零手工布局

插入位置由单目相对深度与可供性图自动推导,批量生成不需要逐张准备条件图。

闭环反馈

验证端输出结构化失败码并路由回源模块,微调通路确实接上了;但四轮 60 点始终没填满缓冲区容量(适配器 50 / ControlNet 30 / 解析器 20),实测起作用的是采样预算在 40 个层间的重分配。

像素对齐 RGB–IR

伪红外由同一张成图逐像素转换而来,因此两种模态的标注框天然共享同一坐标。

目标 LoRA 可替换

框架不绑定某一类目标:换成任意 SD 1.5 架构的 kohya 格式 LoRA,改一行路径即可。

纯 CPU 可跑通

预处理、验证链与全部复现脚本不依赖 GPU;只有生成与训练需要显卡。

架构

生成端 · 验证端 · 闭环

六个生成模块把背景照片变成成对样本,九个验证模块对它逐级审查;审查不通过的样本给出可路由的失败码,而不是一个笼统的分数。

  1. M1

    语义解析

    自然语言任务描述 → 结构化 schema,给出目标类型、距离档位与场景约束。

  2. M2

    背景检索

    按场景类、时段、天气四层降级匹配,从九类背景池中取图并记录匹配级别。

  3. M3

    深度与可供性

    单目相对深度 + 规则化可供性图,给出可插入的深度平面与候选落位。

  4. M4

    marker 注入

    把几何声明(中心点与尺寸)写成视觉标记注入背景,作为后续重绘的锚。

  5. M5

    LoRA 目标合成

    目标 LoRA 只合并进 UNet,在标记区域合成目标;随后 ControlNet 条件重绘完成融合。

  6. M6

    RGB → 伪红外

    按同一几何逐像素转换为白热伪红外,得到共享坐标的 RGB–IR 对。

标记注入四列示意:背景、深度/可供性、几何标记、合成结果
图 2 标记注入的四步中间产物:背景 → 深度与可供性 → 几何标记 → 合成结果。
像素对齐的 RGB、伪红外与标注框三元组
图 3 RGB、伪红外与标注框三元组。伪红外由同一成图逐像素转换,因此两者共享完全相同的框坐标。

结构化失败码

S6_BLUR · S7_SCALE_MISMATCH · S8_POSITION_JUMP …

组件路由

按失败码把样本送回导致它的那个模块

FailureBuffer

失败样本按码累积;容量 50 / 30 / 20,四轮 60 点极少达到

增量微调

设计上只微调相关组件;实测产出率提升来自按层通过率重排采样预算

闭环四轮 × 60 点:三种策略
策略每点尝试配额完成单接受样本
A1 开环1138 / 240(57.5%)30.9 s
A2 预算重分配≤ 3172 / 240(71.7%)74.7 s
A3 +课程加难≤ 3172 / 240(71.7%)84.9 s

A1 每点只允许一次尝试,故其单点接受率等于配额完成率(0.567–0.583)。层权重每轮乘上「该层平滑通过率 ÷ 全局通过率」,平滑式为 (passes + 2) / (attempts + 4),再以均匀份额的 30% 为下限并归一化;A2 的层权重跨度由 1.00 扩到 6.15 倍。BRISQUE 与 IoU 四轮持平——闭环改变的是哪些层填满配额,不是单张样本渲染得多好;71% 的拒绝携带生成器无法修复的检测响应。

数据集

规模 · 构成 · 标注格式

基准为 300 对可见光–伪红外样本,覆盖九类场景、五个时段、五类天气;300 组条件互不重复。条件熵:水平坐标 3.305 bits、垂直坐标 3.296 bits(十等宽分箱),目标尺度取八个离散档位,熵 3.000 bits——即该基数下的可达上限。

数据集规格
项目值说明
评测样本302 对主基准 300 对 + 重绘臂与直贴臂共用的 1 条难例 ×2
背景池37,852 张实拍背景,九类场景,仓库不含,需自行准备
场景类9airfield · coastal · desert · forest · industrial · mountain · pure_sky · rural · urban
时段 / 天气5 / 5时段 dawn→night;天气 clear / overcast / rainy / foggy / dusty / backlight
模态RGB + 伪红外像素对齐,标注框共享同一坐标
画布1280 × 853主基准画布中位分辨率,中位对角 1538.18 px
目标像素尺度13 – 96 px声明档位 20 – 96 px,实测框边长 13 – 96 px、中位 37 px;按声明距离解析式给出(60 m → 60 px)
标注bbox + 元数据JSON 记录条件、真实框、深度与失败码
背景池九类场景 3×3 拼贴:机场、海岸、荒漠、森林、工业区、山地、纯天空、乡村、城市
图 4 九类背景池的 3×3 抽样:机场、海岸、荒漠、森林、工业区、山地、纯天空、乡村、城市。

样本构成

  • 每对样本由一张实拍背景、一次 LoRA 合成与一次 ControlNet 重绘构成
  • 目标距离三档:near / mid / far,对应不同像素尺度与透视约束
  • 条件元组(场景类 × 时段 × 天气 × 距离)在 300 对中互不重复
  • 验证链的每个判定都落盘,可追溯到具体阈值与失败码
  • 预处理脚本纯 CPU:背景池规范化与 LoRA 数据集打包各一条命令

目录与格式

samples/
├── b000_rgb.png        # 可见光成图
├── b000_ir.png         # 伪红外(同坐标)
├── b000_meta.json      # 条件 + gt_bbox + 深度 + 验证记录
└── _batch_results.json # 批次汇总

结果

几何兑现程度

300 对主基准上的对齐与质量指标。位置误差已接近半像素量化界——这不是精度上限的证据,而是渲染分辨率决定的下限。

Epos

1.226 ± 0.448 px

质心位置误差 · 亚像素率 29.3%

Escale

0.028 ± 0.021

相对尺度误差 · ≤3% 占 61.3%

IoU

0.706 ± 0.126

包围盒 IoU · ≥0.5 占 94.0%

BRISQUE

20.55

无参考质量 · 通过率 88.3%

对齐精度四子图:位置误差、尺度误差、IoU 与 BRISQUE 的分布
图 5 300 对主基准上的四项指标分布:位置误差、相对尺度误差、包围盒 IoU、BRISQUE。
对齐与质量(300 对主基准)
指标值范围 / 通过率
Epos1.226 ± 0.448 px[0.228, 5.708] px
Escale0.028 ± 0.021[0.010, 0.208]
IoU0.706 ± 0.126[0.377, 0.959]
IoU ≥ 0.594.0%282 / 300
亚像素率(Epos < 1 px)29.3%88 / 300
BRISQUE20.55中位 14.64,σ 20.66
质量通过率(≤ 45)88.3%265 / 300
超出半像素量化界98.0%294 / 300,位置精度受渲染分辨率约束
均方位移 / 中位画布对角0.080%最差单样本 0.253%
消融 E1 定性对比:硬贴与标记注入两臂,按 near/mid/far 三档给出 GT 框
图 6 消融 E1 定性对比:硬贴与标记注入两臂,按 near / mid / far 三档给出真实框。

消融 E1:一个 null result

150 配对 ×2 臂。几何与全局质量两臂不可区分——位置误差 1.241 vs 1.241 px、IoU 0.706 vs 0.706、BRISQUE 20.67 vs 20.64、质量通过率同为 88.7%。分离只出现在边界融合上:局部对比比 LCR 上注入臂显著更低(1.338 vs 1.655,Wilcoxon p = 4.9e-05),而环带亮度跳变 RLJ(0.243 vs 0.247,p = 0.95)与边界梯度超额 BGE(2.153 vs 2.253,−4.4%,p = 0.96)都未被检出。

结论是 null result,不是「注入更差」。早期版本里的 trade-off 论述已废弃。

指标注入硬贴p
LCR ↓1.3381.6554.9e-05
RLJ ↓0.2430.2470.95
BGE ↓2.1532.2530.96

消融 E2:条件维度

100 配对目标重生成五臂:双条件、仅深度、仅分割,以及把分割权重降到 0.60 / 0.40。对齐在五臂间完全相同(IoU 0.706、位置误差 1.252 px),因为坐标与尺度在生成模型上游就已固定,条件只决定选中区域怎么重绘。分离只出现在边界融合上,且方向与「双条件更好」的预期相反:双条件的 BGE 2.286 显著差于仅深度 2.114(p = 1.1e-05),好于仅分割 2.316(p = 0.006,未校正);LCR 上 1.302 对 1.268(p = 0.76)与 1.258(p = 0.027)。

权重扫描排除了「两条分支共用同一尺度导致过约束」这一解释:深度固定 0.85,分割由 0.85 降到 0.60、0.40,BGE 只从 2.286 走到 2.276、2.249(p = 0.525、0.149),LCR 停在 1.305、1.300(p = 0.879、0.918)。分割权重只解释 0.172 差距中的 0.037。

消融 E3:目标适配器的贡献

100 配对目标在「适配器合并 / 关闭」两臂间重生成,落位不受影响:位置误差 1.252 vs 1.249 px(p = 0.53)、相对尺度误差不可区分(p = 0.34)。框 IoU 由 0.706 升到 0.744(p = 9.0e-04,rank-biserial r = 0.33),移动的是适配器渲染出的轮廓而不是落位——参考框在上游由标记注入固定。BGE 2.286 vs 2.331(p = 0.209,未检出),BRISQUE 20.55 vs 20.54、通过率同为 89.0%。这正是设计分工:落位来自标记注入与解析式,外观来自适配器。

多重比较

§4.5 共报告 16 项配对检验,双侧、未校正。若按 Bonferroni 取 0.05 / 16 = 3.1e-03,只有三项仍然成立:重绘对 LCR 的边界效应(p = 4.9e-05)、双条件对仅深度(p = 1.1e-05)、适配器对框 IoU 的位移(p = 9.0e-04)。其余检验按探索性结果读,不作为结论依据。

证据边界

实验刻画的是生成过程——目标是否落在要求的位置与尺度、缺陷样本是否被拦下——而不是产品效用。没有检测器在 CDFF 输出上训练并在真实影像上评估,因此本工作不支持“检测精度提升”的主张。V9 使用 COCO 预训练的 YOLOv8x,其类别表不含无人机,只作下游显著性代理。人工标注一致性尚未测量,也没有在生成池上计算 FID 一类分布指标,故下游检测收益仍属未测。

验证链

V1–V9:把「看起来行」换成可追责的判定

在 302 张成图上,单看 BRISQUE 阈值会接受 267 张(88.4%),而 V6→V7→V9 链接受 161 张(53.3%),两者一致 158 张,Jaccard 0.585。被阈值放行、又被链拒掉的 109 张里,108 张带不可检测码、1 张未过可见光质量级;反方向另有 3 张,源于 V6 经 OpenCV 以 BGR 读图、而统计走 PIL 的 RGB 读路径。因此 40.8% 衡量的是检测器在几十像素目标上的显著性,不是成图肉眼可见的缺陷。

九个验证阶段
阶段作用检查数失败码
V1JSON 结构6A1_*
V2Transformer 解析6A2_*
V3ControlNet 条件4A3_*
V4LoRA 采样3A4_*
V5红外通道3A5_*
V6感知质量3S6_*
V7一致性(尺寸 / 光照 / IR 框 / 跨模态)4S7_*
V8轨迹物理4S8_*
V9检测代理3S9_*

三态,不是两态

V7 的每个维度只有 PASS / FAIL / SKIP 三种状态,而 SKIP 不是通过:没有可用输入的维度记为 SKIP 并排除在判定之外;一个维度都没评估的样本判 SKIP 而不是接受。

跨模态 IoU 的诚实读法

RGB 与伪红外的框 IoU 恒等于 1.000,因为两者按构造来自同一坐标。它验证的是管线自洽,不是一项独立测量。

无权重可自检

三态约定由 validator/v7_consistency/test_s7_tristate.py 钉死,不需要任何模型权重即可运行。

获取

三条路径

代码以 MIT 发布;权重、底模与图片各自另有许可,不随仓库分发。若需要评测集或已训练的适配器,请通过仓库 Issue 联系作者。

A

跑通框架

克隆仓库、装依赖、把资产指到本地目录,即可开始生成。几十张背景图就能跑通全流程。

git clone https://github.com/TAAS2024/low-slow-small-targets-dataset
cd low-slow-small-targets-dataset
pip install -r requirements.txt
python notebooks/smoke_run.py
阅读 README
B

复现 300 对基准

评测与消融脚本都在 experiments/ 下,只读 out_* 的 JSON;重画图表是秒级的。

cd experiments/bcd
python3 make_paper_figs.py
python3 audit_tables_v20.py
查看复现脚本
C

评测集与权重

背景池来自第三方实拍图库,不随项目再分发;目标 LoRA 与合并权重继承底模许可。按需申请,请说明机构与用途。

  • 仅限学术研究与教学
  • 不得二次分发或转售
  • 衍生权重继续受 CreativeML OpenRAIL-M 约束
通过 Issue 联系

许可

源码是 MIT,但整个项目不是 MIT。下表说明每个组成部分的真实条款。

组成许可随仓库分发
本项目原创源码MIT是
Stable Diffusion v1.5 底模CreativeML OpenRAIL-M否
ControlNet depth / segOpenRAIL否
LoRA 适配器与合并权重CreativeML OpenRAIL-M(继承)否
MiDaS · CLIPMIT否
Ultralytics YOLOv8(可选,V9)AGPL-3.0否,默认不安装
背景池 / 无人机原图 / 评测集图片各自原始来源条款否

LoRA 适配器是底模的衍生作品,因此它本身以及由它合并出的任何 checkpoint 都继续受 CreativeML OpenRAIL-M 约束,包括其 Attachment A 的使用限制;分发时必须一并附上该许可。逐项条款见仓库中的 THIRD_PARTY_LICENSES.md 与 NOTICE。

引用

如果本框架或基准对你的研究有帮助

论文

@article{li_cdff,
  title  = {A Spatially Controlled Closed-Loop Framework for Synthetic
            Low-Slow-Small Target Dataset Generation},
  author = {Li, Qingming and Zhang, Yanxin and Zhu, Zhongpan and He, Bin},
  note   = {Manuscript under review, Neurocomputing}
}

代码与框架

@misc{cdff2026,
  title        = {CDFF: Closed-Loop Dataset Fabrication Framework for
                  Low-Slow-Small Aerial Targets},
  author       = {Li, Qingming and Zhang, Yanxin and Zhu, Zhongpan and He, Bin},
  year         = {2026},
  howpublished = {\url{https://github.com/TAAS2024/low-slow-small-targets-dataset}},
  note         = {Source code licensed MIT; model weights inherit
                  CreativeML OpenRAIL-M}
}