我已经完成了全文阅读并建立了所有事实锚点。现在输出完整的评审意见。
Paper Review: Rāg Classification of Tagore Songs using Symbolic Music Notation and Novel Weighted Distance Measures
论文类型: 数据型 + 方法型(混合)
论文同时声称两个贡献:(1) 从 Swarabitan 构建了 1000 首_tag-labelled_符号数据集;(2) 提出了_rāg-aware_加权欧氏距离度量用于 k-NN 分类。主要贡献偏数据型,方法部分为辅助。
公理审查结果
公理一:对象公理
公理二:识别公理
公理三:独立性公理
公理四:压缩公理
公理五:效用公理
- 判定: ❌
- 分数: 3
-
依据: 效果评估存在严重不足:
- 绝对性能低:最优结果 85.11% 准确率,但这是在仅 3 类分类任务上取得的。对比_rāg_识别 SOTA:DeepSRGM 在 10-rāg 任务上达 97%,40-rāg 任务上达 88.1%;Automated Raga ID System (2024) 达 92.4%。论文的 3 类 85% 远低于这些多类 SOTA。
- 相对提升有限:从 ordinary Euclidean (78.72%) 到 weighted Euclidean (85.11%),提升约 6.4 个百分点。但 baseline 极弱——ordinary Euclidean k-NN 在 3 类问题上 78.72% 本身就很低。一个 SVM 或 Random Forest baseline 可能直接超过 85%。
- 评估范围严重不足:仅 3/239rāg,186/1000 首作品。论文构建了 1000 首数据集但只评估了 18.6%。长尾_rāg_(<20 样本)完全未被评估。
- 指标单一:仅报告 accuracy,无 precision、recall、F1-score、confusion matrix。在类别不平衡的情况下(Bhairavi 100 首 vs Bihag 49 首 vs Khamaj 37 首),accuracy 不是充分指标。
- 无统计显著性检验:仅一次 75:25 split,无交叉验证、无置信区间、无显著性检验。
- 权重比例对比不充分:仅测试 90:10 和 80:20 两个比例,未探索更细粒度的比例或数据驱动的权重学习。
- Wiki 证据: free-search 确认_rāg_识别 SOTA 远超本文水平。DeepSRGM (97%/88.1%), Singh & Arora 2024 (可解释深度学习), Raga Net 2025 (CNN+LSTM)。论文引用了 [9-12] 中的_rāg_识别工作但未进行任何实验比较。paper-wiki 中无相关 SOTA 记录。
公理六:新颖性公理
- 判定: ❌
- 分数: 3
-
依据:
- 核心方法非新:Weighted Euclidean distance for k-NN 是 1990s 的成熟技术。论文的”创新”仅在于用_rāg_的_Āroh/Avroh_音符集确定权重——这是领域知识的直接应用,不是方法创新。论文标题中的”Novel Weighted Distance Measures”属于命名膨胀。
- 数据集有部分新意但增量有限:构建 Rabindra Sangeet 的符号数据集是有价值的,但:(a) 同一作者此前已发表 SANGEET (arXiv:2306.04148, 2023),一个 XML-based Hindustani Sangeet 数据集;(b) OpenReview 上有独立的 “A Notation Dataset for Indian Raga Music” (Korade & Pochampally);(c) 数据集未公开(无 URL、无 DOI、无代码仓库)。
- 无新机制或问题重构:论文未提出新的_rāg_识别框架、新的特征表示、新的评测范式。它只是将标准 k-NN + 标准加权欧氏距离应用于一个新数据集。
- 组件无 synergy 分析:Octave aggregation 和 weighted distance 是两个独立组件,论文未分析它们的交互效应或证明两者结合的必要性。
- 与作者前作关系不明:SANGEET (2023) 已构建 Hindustani Sangeet 数据集,本文的 1000 首数据集与其关系未清楚说明。是否为同一数据集的子集?是否复用了 SANGEET 的标注流程?
- Wiki 证据: free-search 找到 SANGEET (arXiv:2306.04148) 为同一作者前作。feature weighting for k-NN 的 prior work 可追溯至 1990s (Dietrich 1997, Paredes & Acha 2006)。paper-wiki 无相关记录。
公理七:可复现公理
- 判定: ⚠️
- 分数: 4
-
依据:
- 无代码开源:论文未提供代码仓库、评测脚本或可执行 pipeline。
- 数据集未公开:1000 首符号数据集未提供下载链接或 DOI。数据来源(Swarabitan)是公开出版物,但手动转录过程不可复现——”notes of each selected composition were manually stored in a CSV file”。
- 关键参数已说明:权重比例(90:10, 80:20)、k 值(3-7)、train-test split (75:25)、rāg-specific weight vectors (Table 8) 均有给出,部分可手动复现。
- 随机种子未提供:1000 首作品”randomly selected”但未说明随机种子。
- 无闭源依赖:方法不依赖任何闭源 API 或模型。
- 部分可复现但成本高:理论上可从 Swarabitan 重新构建数据集,但需要手动转录 60 卷书籍中的符号乐谱,工作量巨大。
- Wiki 证据: 无直接相关记录。
总评
- 科学价值: 低 — 方法和发现均未超越已有工作。核心方法(k-NN + feature weighting)是 1990s 技术,领域知识驱动的权重设计是合理但非创新的工程选择。
- 方法价值: 低 — “Novel Weighted Distance Measures” 实为标准加权欧氏距离 + 领域知识权重,命名膨胀严重。未提供新机制解释或问题重构。
- 社区价值: 低-中 — Rabindra Sangeet 符号数据集的构建有一定文化保存价值,但数据集未公开,且作者前作 SANGEET 已部分覆盖此贡献。
打分
| Axiom |
判定 |
分数 |
权重 |
加权分 |
| 一 对象公理 |
⚠️ |
6 |
1.0 |
6.0 |
| 二 识别公理 |
⚠️ |
5 |
1.5 |
7.5 |
| 三 独立性公理 |
⚠️ |
6 |
1.0 |
6.0 |
| 四 压缩公理 |
⚠️ |
5 |
1.0 |
5.0 |
| 五 效用公理 |
❌ |
3 |
2.0 |
6.0 |
| 六 新颖性公理 |
❌ |
3 |
2.0 |
6.0 |
| 七 可复现公理 |
⚠️ |
4 |
1.0 |
4.0 |
加权总分: 4.26/10(加权分之和 40.5 / 权重之和 9.5)
最终建议: Weak Reject
核心拒稿理由
- 方法非新:加权欧氏距离用于 k-NN 分类是 1990s 的成熟技术,领域知识驱动的权重设计不构成方法创新。标题中的”Novel”属于命名膨胀。
- 评估严重不足:仅 3/239 个_rāg_、186/1000 首作品被评估,无现代 ML baseline 比较(SVM、RF、DNN),无统计显著性检验,仅报告 accuracy。绝对性能(3 类 85%)远低于_rāg_识别 SOTA(10 类 97%)。
- 数据集未公开:声称数据集构建是”重要贡献”,但未提供代码、数据集或可复现 pipeline。
- 与作者前作关系不明:同一作者 2023 年已发表 SANGEET 数据集,本文数据集与前作的关系未清楚说明。
可改进方向
- 将评估扩展到至少 10-20 个_rāg_,包含长尾_rāg_的 few-shot 设置
- 添加 SVM、Random Forest、简单 NN baseline
- 公开数据集和代码
- 与 SANGEET (2023) 明确区分或整合
- 探索数据驱动的权重学习(如论文 Future Work 所述)
- 添加 F1、confusion matrix、交叉验证
- 诚实降级标题中的”Novel”表述”