Skip to content

关于评测相关问题 #5

@27182812

Description

@27182812

作者您好,我想要用您的工作评测我对模型的改进。
我在尝试复现的过程中,遇到了一些问题。比如self_awareness.json这个数据集,论文中是区分SA Style和SA Know.的,dataset.py里似乎没有区分,那我该怎么计算这两个子类的分数呢?另外代码里是一个问题一个答案的,我需要自己进行统计吗?想问问作者当时进行实验时有相应的计算总分的代码吗?我怕我有操作错误的地方,导致在这个Benchmark上评估结果不准确。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions