文章主要内容和创新点
主要内容
本文提出了一种基于大语言模型(LLM)的框架LRCTI,用于网络威胁情报(CTI)的多步证据检索与可信度验证。传统CTI可信度验证方法存在局限性(如静态分类、依赖手工特征、透明度低等),而LRCTI通过三个核心模块解决这些问题:
- 文本摘要模块:将复杂的CTI报告提炼为简洁、可验证的威胁声明;
- 自适应多步证据检索模块:在特定CTI语料库中迭代识别和优化支持信息,通过LLM反馈指导检索;
- 基于提示的自然语言推理(NLI)模块:评估每个声明的可信度,同时生成可解释的决策依据。
实验在CTI-200和PolitiFact两个基准数据集上进行,LRCTI的F1-Macro和F1-Micro得分分别达到90.9%和93.6%,较现有方法提升超过5%,验证了其在准确性、可解释性和可扩展性上的优势。
创新点
- 提出LRCTI框架,首次将LLM驱动的多步推理应用于CTI可信度验证,整合多步检索与推理,实现可扩展、可解释的验证;
- 设计多步证据检索模块,通过自适应迭代策略动态关联相关证据,减少人工干预,提升验证结果的可靠性和可解释性;
- 开发基于提示的自然语言推理模块,利用LLM引导的提示模板生成结构化可信度决策和人类可读的解释,增强透明度和用户信任;
- 在两个基准数据集上的实验验证了LRCTI的性能优势,其准确率和可解释性显著