论文文章
Reefknot: AComprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models
一句话概括
问题-关于关系幻觉的基准数据集缺少细致评估,所以现在重新基于图像的数据集构建了新的问题(判断关系是否成立\多项选择题\看开放式问答)
流程
(a) Scene Graph Data:场景图数据提取
(b) Triplet Filtering:三元组信息过滤(冗余关系,错误关系,噪声描述)
(c) Semantic Triplet Extraction:语义三元组提取
(d) Relation Categorization:关系分类(表面的位置关系类\复杂的认知关系类)
(e) Relation-relevant Question Construction:关系问题构建形成
(f) Multi-Turn Manual Checking:最后人工检查这个关系问题构建的效果