Paper Review: Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets

<h1 id="paper-review-fair-asr-re-evaluating-black-box-jailbreaks-under-shared-target-call-budgets">Paper Review: Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets</h1>

<h2 id="论文类型-评测型方法型">论文类型: 评测型+方法型</h2>

<p>本文提出 Fair-ASR 评测协议，以目标模型调用次数（target calls）作为黑盒越狱攻击的共享预算轴，替代难以估计的 FLOPs 标量，并据此重新评测 11 个代表性攻击。协议之外，论文基于评测发现提出 ReCode 组合攻击，将单遍脱敏改写与两种零攻击者调用的低成本变换结合。评测协议是主要贡献，ReCode 是从评测效率缺口出发的附带方法贡献。</p>

<h2 id="公理审查结果">公理审查结果</h2>

<h3 id="公理一对象公理">公理一：对象公理</h3>
<ul>
  <li>判定: ✅</li>
  <li>分数: 9</li>
  <li>依据: 研究对象真实、定义清晰、范围明确。ASR 依赖攻击预算这一现象有多条前置证据支撑（BoN 的采样扩展、SABER 的风险估计、SoK 指出 ASR 单独不足），论文将其形式化为可操作对象：以目标调用数 B 为共享预算，定义 ASR@B、ASR–预算曲线、ATC、HS、以及攻击者调用与目标调用双维 Pareto 前沿。范围界定完整：11 个攻击（3 类）、5 个目标模型（Llama-3.1-8B/70B、gpt-oss-20b/120b、GPT-4o）、2 个数据集（HarmBench 200 条、JailbreakBench 100 条），ReCode 额外覆盖 GPT-5、Gemini-3.1-Pro、Claude-Sonnet-4.6 三个闭源模型。目标调用作为通用、可观测、有操作约束的对比轴的理由（3.1 节）论证充分。</li>
  <li>Wiki 证据: axs 检索确认预算/公平评测问题域活跃：2605.09070（”Single-Configuration ASR Is Not Enough”）、”Risk under Pressure”（2606.11409，FLOPs 计算感知评测）、BoN（NeurIPS 38）、SoK（IEEE S&amp;P 2026）均为此方向前置。_paper_reviews/ 中无本篇历史评审，本主题在 digest 中为首评。</li>
</ul>

<h3 id="公理二识别公理">公理二：识别公理</h3>
<ul>
  <li>判定: ✅</li>
  <li>分数: 8</li>
  <li>依据: 基线覆盖完整且对比公平。11 个基线涵盖三类机制：手写模板（CodeAttack/DeepInception/CipherChat）、随机重复采样（BoN）、LLM 驱动（PAIR/TAP/ReNeLLM/AutoDAN/GPTFuzzer/AutoDAN-Turbo/Rainbow Teaming），包含了 CodeAttack 与 BoN 这类极简基线。全部攻击经 OpenRT 统一执行接口集成，统一早停与调用记账，两个攻击者模型（Qwen2.5-7B、Mistral-7B）做鲁棒性对照（表 B.1-B.3，2×2 设计），固定模板攻击按 ASR@K 报告以避免重复确定性查询。主要瑕疵在于 ReCode 评测（表 2）改用 GPT-4o+X-Teaming 判题（仅计 5 分），与主重评测的 LlamaGuard4 判定基准不一致，削弱了跨表可比性。</li>
  <li>Wiki 证据: axs 检索确认各基线实现均来自 OpenRT（AI45Lab/OpenRT）与官方仓库，表 A.1/A.2 给出全部超参；gh 验证 xsddys/Fair-ASR 仓库 README 声明基于 OpenRT 构建。</li>
</ul>

<h3 id="公理三独立性公理">公理三：独立性公理</h3>
<ul>
  <li>判定: ⚠️</li>
  <li>分数: 7</li>
  <li>依据: 评测与训练信号大体独立：数据集为标准公开 held-out 基准（HarmBench 200 条行为、JailbreakBench 100 条请求），判题模型与目标模型分离（LlamaGuard4、GPT-4o+StrongREJECT/X-Teaming），攻击均未在评测数据上训练。2,000 次请求级 bootstrap（附录 B.4）给出 ASR–预算曲线的逐点 95% 置信区间，说明预算依赖结论非少数样本驱动。独立性受损之处：主协议评测（LlamaGuard4）与 ReCode 评测（GPT-4o+X-Teaming）使用不同判题模型，而 85% ASR on GPT-5 这一头条结果恰来自后者；bootstrap 只覆盖有限请求集，未捕获随机攻击重跑、目标采样与判题分歧的不确定性（论文已自述）。</li>
  <li>Wiki 证据: HarmBench（arXiv:2402.04249）与 JailbreakBench（NeurIPS 38）均为社区标准公开基准；LlamaGuard4 为独立安全分类模型；axs 检索未见两判题模型在同一越狱评测中混用的前置先例。</li>
</ul>

<h3 id="公理四压缩公理">公理四：压缩公理</h3>
<ul>
  <li>判定: ✅</li>
  <li>分数: 8</li>
  <li>依据: 协议层面并非压缩类贡献，但其核心发现支撑”简单方法足够”的压缩主张。表 1 显示零攻击者调用的 CodeAttack（8 个模板）平均 ASR@K 达 90.7%，超过除 ReNeLLM 外全部 LLM 驱动攻击；BoN 平均 ASR 81.3%、ATC 42.5，同样无需攻击者调用。ReCode 相对 ReNeLLM 是明确简化：去掉 prompt 级 harmfulness gate 与重试循环，单遍流水线每次尝试恰好 1 攻击者调用+1 目标调用，平均 ASR@20 反从 57.0% 提升到 81.0%、AAC 从 18.69 降到 7.00。复杂度与共享预算有效性之间不存在单调关系（AutoDAN-Turbo 在 gpt-oss 上明显退化）得到量化证据。</li>
  <li>Wiki 证据: BoN（NeurIPS 38）与 CodeAttack（ACL 2024 Findings）均为低复杂度攻击基准；表 B.4 显示 ReNeLLM 全程第一、其余排名随预算大幅变动，佐证简单方法在紧预算下的竞争力。</li>
</ul>

<h3 id="公理五效用公理">公理五：效用公理</h3>
<ul>
  <li>判定: ✅</li>
  <li>分数: 8</li>
  <li>依据: 效用真实且量化充分。协议产出三类可行动结论：排名随预算翻转（表 B.4：PAIR 从 B=1 的第 8 升至 B=5 的第 3 再跌回 B=100 的第 6）、简单原语在共享预算下保持竞争力、无任何 LLM 驱动方法在目标与攻击者调用双维上同时高效（表 B.5/B.6 的 Pareto 前沿随阈值 ρ 变化）。ReCode 改进量化具体：B=20 下平均 ASR 81.0%、AAC 7.00，对比 ReNeLLM 57.0%/18.69 与 TAP 39.2%/49.56；GPT-5 上从 ReNeLLM 的 31% 提升到 85%、AAC 从 26.02 降到 7.19；HS 平均 0.662 为三闭源模型最高。局限自述清楚：目标调用轴未覆盖 token 用量、API 定价与人工模板开发成本。</li>
  <li>Wiki 证据: axs 检索显示 FLOPs 计算感知评测（2606.11409）存在但无法获取闭源模型推理 FLOPs，论文以可观测目标调用替代的理由在评测社区成立；gh 验证代码仓库 README 复述了三类贡献与 ReCode 效率数据。</li>
</ul>

<h3 id="公理六新颖性公理">公理六：新颖性公理</h3>
<ul>
  <li>判定: ⚠️</li>
  <li>分数: 7</li>
  <li>依据: 协议轴有实质新颖性，但方法部分为组合式增量。以目标调用为共享预算并单独追踪攻击者调用，是对 FLOPs 标量评测（2606.11409）的明确替代，对闭源黑盒场景有操作性优势；”排名随预算翻转”的系统性实证（表 B.4 全预算排序）是新的量化证据。”ASR 依赖预算、简单方法有竞争力”的宏观结论与 BoN、SABER、2605.09070 一脉相承，前置重叠明显。ReCode 为既有组件组合（脱敏改写+BoN 式字符扰动+CodeAttack 式代码嵌套），其 gate-free 单遍设计是相对 ReNeLLM 的工程简化，方法级创新有限。</li>
  <li>Wiki 证据: axs 检索确认 2605.09070（2026-05，”Single-Configuration ASR Is Not Enough”）、BoN、SABER（2601.22636）已占据”ASR 预算依赖”的部分主张；未检索到以目标调用为共享黑盒预算轴的直接前置。</li>
</ul>

<h3 id="公理七可复现公理">公理七：可复现公理</h3>
<ul>
  <li>判定: ✅</li>
  <li>分数: 8</li>
  <li>依据: 代码已公开且仓库实存：github.com/xsddys/Fair-ASR（2026-08-17 创建、2026-08-21 更新、4 stars，基于 OpenRT），含 main.py、configs、seed、run 脚本、requirements.txt 与完整 README。附录 A.3 给出全部基线超参，附录 E 给出 ReCode 全部改写与嵌套模板，附录 C.1 给出实现细节，可支撑复现。客观限制：GPT-4o/GPT-5/Claude/Gemini 为闭源 API，涉及闭源目标的数值需持 API 访问权方可复现；判题（LlamaGuard4、GPT-4o）与攻击者（Qwen2.5-7B、Mistral-7B）权重均开放可用；未发布评测输出缓存。</li>
  <li>Wiki 证据: gh 验证仓库存在且最近更新（4 stars，附属 description 与论文一致）；axs 检索确认 HarmBench、JailbreakBench、BoN、TAP 均有公开实现或官方仓库可供集成。</li>
</ul>

<h2 id="总评">总评</h2>

<p>优点方面：Fair-ASR 给出了一个操作性强、可观测的公平评测轴，用目标调用数替代难以估计的 FLOPs，其 2×2（数据集×攻击者模型）鲁棒性设计、2,000 次 bootstrap 置信区间、以及全预算排序表（表 B.4）使”排名随预算翻转”这一核心发现具备扎实的统计支撑。11 个基线的统一执行接口与完整超参披露体现了评测类工作的严谨度。ReCode 的 gate-free 单遍设计在消除重试循环的同时提升 ASR 并大幅降低攻击者调用，消融实验（表 2、表 3、附录 C.3）覆盖了组件贡献与模型特异敏感性（Claude 对代码嵌套的负效应），并诚实标注为假设而非因果结论。</p>

<p>主要问题在于：其一，主协议评测（LlamaGuard4）与 ReCode 评测（GPT-4o+X-Teaming）使用不同的判题模型，85% ASR on GPT-5 这一头条数字与 Fair-ASR 重评测结果不处同一判定基准，削弱了”公平”标签的跨表一致性；其二，目标调用作为唯一主预算轴是对现实成本（token 用量、API 定价、人工模板开发）的简化，论文自述但未量化其影响；其三，ReCode 在 Claude-Sonnet-4.6 上弱于自身消融变体（去掉嵌套反而 46%→57%），说明组合泛化性有限，而三个闭源目标里恰好有 40% 的失败样本量（46% ASR）低于多数基线。</p>

<h2 id="日报摘要">日报摘要</h2>
<ul>
  <li><strong>Strength:</strong> Fair-ASR 以共享目标调用预算重评测 11 个黑盒越狱攻击，发现排名随预算大幅翻转（如 PAIR 从 B=1 第 8 升至 B=5 第 3），ReCode 在 B=20 下于 GPT-5 达到 85% ASR 且仅用 7.19 次攻击者调用。</li>
  <li><strong>Weakness:</strong> ReCode 头条结果与主重评测使用不同判题模型（GPT-4o+X-Teaming vs LlamaGuard4），跨表判定基准不一致，且目标调用轴未量化 token 用量与 API 定价等现实成本。</li>
</ul>

<h2 id="打分">打分</h2>
<p>| 公理 | 判定 | 分数 | 权重 | 加权 |
|—|—|—|—|—|
| 一 对象公理 | ✅ | 9 | 1.0 | 9.0 |
| 二 识别公理 | ✅ | 8 | 1.5 | 12.0 |
| 三 独立性公理 | ⚠️ | 7 | 1.0 | 7.0 |
| 四 压缩公理 | ✅ | 8 | 1.0 | 8.0 |
| 五 效用公理 | ✅ | 8 | 2.0 | 16.0 |
| 六 新颖性公理 | ⚠️ | 7 | 2.0 | 14.0 |
| 七 可复现公理 | ✅ | 8 | 1.0 | 8.0 |
<strong>加权总分: 7.79/10</strong>
<strong>最终建议: Weak Accept</strong></p>