数据资源：大模型漏洞检测数据集PRIMEVUL📖标题：Vulnerability Detection with Code Language Models: How Far Are We?🌐来源：arXiv, 2403.18624 👉文章简介现有漏洞数据集存在显著缺陷，包括数据质量差、标签准确度低和高重复率，导致模型在实际漏洞检测场景中表现不可靠。本文提出新的数据标注技术，实现了与人工相当的标签准确度，并以此构建了数据集PrimeVul，发现目前模型的漏洞性能被明显高估。 👉主要贡献🔸对现有数据集进行深入分析，发现数据质量差、标签准确性低、数据重复发生率高等重大缺陷🔸开发了一个新的漏洞数据集PRIMEVUL，具有高质量、标签准确和不重复的特点🔸引入了新的评估指南，包括漏洞检测评分(VD-S)和成对评估方法🔸使用PRIMEVUL评估了一系列代码LM，发现性能明显低于实际部署的要求