关于BCIC2020-3微调遇到的问题

[linzy666]

请问，复现了代码。预训练的loss从ep1的0.062到ep40的0.0013。说明模型收敛了，但在下游任务BCIC-2020的微调中，acc 0.34133、kappa 0.17667、f1 0.34072。以下是我的log，请问我应该怎么修改才能得到正确的结果

finetune_run.log

[0X0F7A]

我对BCIC2020-3复现成功了，不能用仓库提供的checkpoint，其可能在该任务上已经过拟合了。我使用的是按照论文提供的参数从头训练的第3个epoch的backbone进行的微调。

[EEG-ECG]

我也是遇到一样的问题，在BCIC2020-3的数据集复现不了acc也是在0.36左右，使用与不使用huggingface上面的权重参数都是一样的结果，如果重新预训练不会影响其他数据集的结果么

[panting112100-ship-it]

您好，我也在复现 BCIC2020-3。请问您复现成功时，测试集标签是如何获得的？

我从官方 OSF 下载的数据中，answer_sheet_track3.xlsx 似乎只是提交模板，Predicted Lable 列为空；Test-set 中的 epo_test/y 读取为 [0, 0]，不是 50 个 trial 的真实 1–5 类标签。

请问您当时是：

1. 使用 Validation-set 作为测试集评估；
2. 获得了官方真实的 Track3_Answer Sheet_Test.xlsx；
3. 还是使用了其他数据划分方式？

另外，您提到使用从头预训练第 3 个 epoch 的 backbone，请问 BCIC2020-3 的最终结果也是基于这个 backbone 和哪个测试集标签计算的？

非常感谢！