大多数 AI 模型是为通用任务设计的（例如语言生成或图像识别），而不是面向网络安全高度专业化、对抗性的需求。这使得它们在未经重大调整的情况下，难以胜任威胁检测和防御任务。

网络安全具有天然的对抗性，攻击者的战术不断演变，而有效的人工智能依赖于大规模、多样化且标注良好的数据集。现实世界的网络安全事件发生频率不高且非常敏感，往往未公开且难以准确标注，这严重影响了模型性能。

大多数企业安全基础设施复杂且基于传统架构，这使得人工智能解决方案难以在不干扰工作流程、增加操作风险和要求重大组织变革的情况下顺利集成。

Foundation-sec-8b 基于 Llama 3.1-8B 架构，并通过在精心准备的网络安全语料库上进行持续预训练得到了增强。这种方法被证明能够有效注入领域特定知识，并在专业任务上提升模型性能。

由于网络安全相关内容在互联网中占比较小，且现有数据集（如 Hugging Face 的 FineWeb）定义的“质量”标准并不适用于该领域，Cisco Foundation AI 团队采用双管齐下策略自建数据集：一方面部署带相关性过滤器的广谱网络爬虫，另一方面开发定制爬虫，专门抓取高质量网络安全内容及难以访问的网站。

团队从爬虫抓取到超 4TiB 的原始数据，并通过可扩展的 Pipeline 将其精炼为不足 25GiB 的高质量文本，仅保留与安全任务高度相关的信息。

训练前进一步清洗和格式化数据，去除个人身份信息，并对关键安全数据进行上采样。最终生成的 51 亿 Token 被分为 99% 的训练集和 1% 的测试集。

在上述数据上，采用持续预训练方式对 Llama 3.1-8B 模型进行训练，使用 DeepSpeed 进行多节点集群优化，并结合 AdamW 优化器和余弦退火学习率策略，提高效率与模型表现。

包含 MCQA 和 RCM 任务，评估模型在威胁情报知识方面的能力。MCQA 问题来自 NIST、Diamond 模型、GDPR、STIX/TAXII 标准以及 MITRE ATT&CK 和 CAPEC 等框架。RCM 任务评估模型将 CVE 记录和 Bug 报告映射到 CWE 条目的能力。

使用 500 个样本的版本，问题来自 NIST 标准、研究论文、书籍等，并经过人工验证。

使用其中的 600 个样本，问题包含知识保留和逻辑推理，其中大部分由人类专家创建，更具挑战性。

为了检查持续预训练是否导致“灾难性遗忘”（即损害模型的通用能力），Foundation-sec-8b 还在全面的 MMLU（Measuring Massive Multitask Language Understanding）基准上进行了评估。

SOC 面临持续不断、需进行分类、丰富和情境化处理的警报流，而 Foundation-sec 目前正通过试点自动化该工作流程关键环节以实现 SOC 加速，经有效微调或提示后，其可将多源警报总结为人类可读的案例记录、生成事件时间线并识别相关实体，以及起草分析师风格的报告以支持事件解决和交接，这些能力既缩短了分类处理时间，也使分析师能以更高准确性处理更多警报。

Foundation-sec 超越被动工作流程，致力于主动威胁防御，通过从威胁情报报告中提取攻击策略、技术和步骤（TTP），依据上下文影响与可利用性对漏洞排序，基于资产和配置数据生成攻击路径假设，以及撰写含漏洞详情和修复方案的渗透测试报告，来模拟攻击者行为；尤其是针对 MITRE ATT&CK 框架，对其进行微调以从非结构化威胁报告中提取攻击技术，在内部评估中，Foundation-sec 在该分类任务上的表现比同等规模的非安全调优模型 Llama 3.1-8B 高出超 10%，充分展现了安全领域预训练的重要价值。

安全工程和平台团队常面临在快速演进的开发环境中执行安全标准的挑战，而 Foundation-sec 通过提供安全开发指南、验证配置及支持合规工作来简化和增强相关工作流程，有效应用时可帮助团队在开发和部署中解读并应用安全策略、按最佳实践验证配置文件与基础设施设置、评估提交证据是否满足合规控制要求，以及分析安全策略中的不一致问题和过时控制措施。

可以对模型进行微调，以反映组织特定的安全态势、语言和检测策略。Foundation-sec-8b 可以集成到现有工具中或用于构建全新的工作流程。