计算机科学>计算机视觉与模式识别
标题: 基于Prompt Engineering的LLM欺骗检测
摘要: 在新闻中滥用带有冲突图片标题的真实照片就是对媒体的非受控(OOC)滥用的一个例子。 为了检测OOC媒体,个人必须确定声明的准确性,并评估三元组(~\textit{即}、图像和两个字幕)是否与同一事件有关。 本文提出了一种新的可学习方法,用于检测ICME“23检测假币大挑战”中的OOC介质。 该方法基于COSMOS结构,用于评估图像和字幕之间以及两个字幕之间的一致性。 我们通过合并大型语言模型(LLM)GPT3.5作为特征提取器来增强基线算法。 具体来说,我们提出了一种创新的特征提取方法,利用即时工程开发了一个具有GPT3.5模型的健壮可靠的特征提取器。 该方法捕获了两个标题之间的相关性,并将此模块有效地集成到COSMOS基线模型中,从而可以更深入地理解标题之间的关系。 通过合并此模块,我们展示了显著改进欺诈-伪造检测性能的潜力。 所提出的方法对自然语言处理、图像字幕和文本到图像合成等各种应用具有很好的应用前景。 Docker可在 此https URL acmmmcheapfakes公司。