语义分析3.0&新版雷池重磅发布,开启“AI+数据驱动”WAF新纪元
1月7日,长亭科技语义分析3.0暨雷池30巡回发布会首站在北京举行。
发布会上展示了长亭语义分析技术的最新成果、雷池(SafeLine)全新升级30版本以及WAF的最佳实践,体现了长亭在网络安全与人工智能技术融合应用的全新突破。此外,IDC中国高级研究经理赵卫京以全球网络安全技术热点与趋势为主题进行了分享,为发布会提供了国际化视角。
一、语义分析3.0发布
l 语义分析本身具备代际性的优势
作为长亭科技流量检测类产品的核心技术,语义分析相对于传统的基于规则、正则表达式的Web攻击检测技术而言,本身就具备代际上的优势。
长亭科技CTO 刘金钊
在传统的 Web攻击检测里,规则式的、正则表达式的检测方法,只是在尝试捕获攻击中的文本内容上的特点,但这些特点并不能反映攻击的本质,是间接特征。而语义分析技术就像 DNA 技术一样,准确地捕捉到“攻击”的本质属性:一段符合语法规则同时包含恶意语义的代码片段。这也是语义分析能够再次将检测效果提升一个级别的根本原因。
l 从1.0到2.0:融合大模型
从2016年长亭交付第一个语义分析引擎的商业化版本,至今总计进行了接近万次的引擎迭代,总共实现了18种针对不同攻击手段的检测引擎。
2023 年,伴随AI大模型的兴起,长亭创新地将语义分析技术与问津(ChaitinAI)安全大模型相结合,迎来了语义分析技术的一次重大飞跃——语义分析2.0。这一版本中,语义分析引擎负责提取攻击中的关键语义信息,为大模型理解Web攻击的本质和意图提供了清晰的指引。此次融合,进一步提升了语义分析对复杂网络攻击的检测能力和解释能力。
l 揭秘3.0:“AI+数据”驱动新纪元
隐藏在语义分析引擎高准确率、高性能后面的,是复杂的技术原理,每次改进都需要谨慎权衡,迭代的难度和复杂性不断加大。如何进一步提升语义分析引擎的性能?
经过反复验证,长亭再一次从技术路线选择中找到了革新的路径,其核心原理是深度融合语义分析技术与机器学习技术,语义分析3.0由此诞生。
在新的引擎架构中,语义分析不再直接输出检测结果,而是专注于提取请求中的攻击特征,包括词法、语法和语义层面的特征。这些强安全特征相对稳定,减少了对引擎的维护需求。随后,提取到的特征被送入多个AI模型进行判定。基于这些强特征,无需复杂庞大的深度神经网络模型,即能实现较高的判定准确率。这样的设计既保留了语义分析和机器学习两者的优点,同时又减少了各自的不足。
这种架构下的新引擎具有显著优势:
- 性能卓越:继承了语义分析的速度优势,综合性能达到当前语义分析1.0引擎的90%以上,且实际引擎耗时占比小,对整体性能影响不明显。
- 可解释性强:强语法特征和语义特征结合可解释模型,能以自然语言输出对攻击的解释,提升了安全防护的透明度。
- 维护简便:减少了语义分析部分的维护频率,通过优化训练数据分布与质量持续提升性能,降低了维护门槛和成本。
l 破局数据挑战:影子模式 + 群体标注
有了优秀的引擎架构,距离多方位极致提升性能就只剩下一个问题需要解决:高质量的安全数据集。
在安全行业,获取高质量数据一直是个难题。与电商等行业不同,用户访问网站的行为本身不提供安全标签,安全数据标签只能由安全专家从日志中标注,导致有效标记数量少。而AI模型性能依赖数据质量,这给安全行业应用AI技术带来巨大挑战。
为解决数据问题,语义分析3.0借鉴自动驾驶技术,采用影子模式和群体标注。
影子模式下,在现有检测引擎外增加影子引擎,当影子引擎与主引擎判定结果不同时,保存相关样本用于优化引擎。
群体标注则利用大量部署设备处理的业务数据,当模型对特定攻击载荷性能不佳时,从海量数据中找到相似数据进行优化,提升对特殊攻击向量的检测能力。
以上方法构建了数据驱动的引擎迭代流程:获取数据后进行手工标注与扩充,优化样本分布;用高质量数据训练新模型并部署;运行中持续观察差异,再次扩充数据和训练,循环往复,不断提升检测准确性。
数据驱动的迭代“引擎”最终让语义分析3.0将检测性能提升至又一个新的巅峰:
- 准确率再提升:在验证数据集上,语义分析3.0成功将检测准确率从99.9%提升至99.99%,误报和漏报比例大幅降低。
- 应急响应更迅速:以往处理引擎误报和漏报可能需要3至7天,而现在通过数据驱动的方法,理想情况下可缩短至2至8小时。只需分析样本数据、识别错误载荷、扩增样本并训练模型,就能快速得到新引擎,极大提高了应急响应速度。
- 模型微调更精准:作为AI引擎,可针对特定业务场景进行精细化调优。通过模型微调,能提高对特定业务的适应性,减少漏报和误报,同时可存储关键特征数据,便于管理且保护敏感信息。
- 未知威胁识别更强:语义分析3.0进一步提升了对未知威胁(0-day)的识别能力。继承了语义分析识别未知攻击的优势,并借助 AI 模型更强大的学习和泛化能力,更有效地应对新出现的网络安全威胁。
二、雷池WAF重磅升级
在本次大会上,除了革新的语义分析3.0技术,长亭科技还发布了全方位重大升级的雷池(SafeLine)下一代Web应用防火墙30版本。本次升级聚焦“创新、智能、融合”三大特色,主要体现在以下三个方面:
- 安全核心引擎智能升级
- 模式融合与架构升级
- WAAP方案融合升级
长亭科技首席安全产品专家 郭世超
l 安全核心引擎智能升级
首先,得益于语义分析技术3.0的跃迁,新版的雷池30在性能、检测效果、用户业务贴合度、应急响应速度、0day防护、运营体验六大方面都有了跨越式的提升。
同时,雷池30的另一项新技术突破——流式语义分析技术,攻克了多年困扰行业的“大包绕过”难题。这项技术的核心突破在于实现了数据分片流式接收技术、深度解码栈快照技术、语义分析引擎可重入技术等多项创新,将协议解析、解码和模式匹配改造为“边接收、边检测、边转发”的流式检测模式。不仅有效解决了“大包绕过”问题,还在不牺牲检测效果的前提下大幅降低了检测延迟,为用户提供更优质的业务体验。
此外,针对当下流行的大模型应答返回采用的 HTTP SSE (Server-Sent Events) 机制,雷池30应用响应流式检测和语义缓存技术,能够在不影响大模型应答效果的同时,拦截或屏蔽敏感/违规信息,进一步拓宽了雷池30在新兴技术领域的安全防护能力。
l 模式融合与架构升级
1、数据面引擎升级:XDP 赋能超强性能
雷池30在数据平面引擎上全面落地XDP技术,构建了基于eBPF的网络层协议栈。
(知识点小Tips:XDP全称eXpress Data Path,即快速数据路径,是Linux内核提供的高性能、可编程的网络数据包处理框架。XDP会直接接管网卡的RX方向数据包,通过在内核运行eBPF指令快速地处理报文并无缝对接内核协议栈)
首先,XDP在技术层面具备高性能的技术优势,提供高性能数据包处理效率,核心吞吐量高达每秒2400 万包(Mpps),同时内核态的属性,能够减少数据拷贝次数、降低系统调用开销、无需专用CPU,从而整体提升系统整体效率
其次,XDP的内核态方案,不受制于上游厂商和社区提供支持,雷池30在安全自主可控上又前进一大步。相比之下,基于DPDK的kernal-bypass 方案,其用户态驱动(PMD)对底层硬件进行适配之后,才能正常工作或达到预期性能。这部分通常依赖上游硬件厂商和DPDK 社区的技术支持。
2、模式升级:摆脱硬件束缚,融合多样场景
模式的升级使雷池30摆脱硬件依赖,实现软硬件一体架构,既满足软硬形态需求,同时上云无比友好,更符合云原生概念。
雷池30模式进行了调整优化:
- 透明桥和透明代理合并为统一透明模式,普通站点无需配置自动防护,降低维护成本;
- 拆分出一个独立的路由模式,极大增强了在路由场景的能力;
- 所有模式都可以同时支持软/硬件形态;
- 支持在页面上便捷热切换模式,且提供一种 “专家模式形态”, 在一台 WAF上同时使用四种模式;
- 复杂网络模式同样支持虚拟机安装,满足超融合、云内特殊流量接入场景,扩展了WAF的使用方式,为用户提供了更灵活、多样化的选择。
3、底盘升级:统一管理,无缝适配
雷池自诞生起就基于Docker容器技术,在云原生环境下天然具有竞争力,但雷池20版本在不同部署场景下存在架构设计差异,导致用户体验不一致。雷池30引入领域驱动设计(DDD)思想并参考K8s的Operator 模式,对控制面核心配置域进行全方位升级。
这一升级实现了跨场景的一致性体验,无论单机、云架构,还是硬件集群与软件集群混合使用,用户操作与管理都能无缝衔接,灵活适配各种复杂业务场景,同时维护性与扩展性得到显著提升。在不增加额外成本的前提下,能够更好地满足复杂业务需求,确保在大规模、复杂场景下的可用性和可靠性,为用户提供了更稳定、高效的网络安全管理解决方案。
l WAAP方案升级:一体化防护,筑牢安全网
任意单一的安全防护功能孤岛已无法满足当前复杂、动态的业务安全需求,雷池30的WAAP有别于WAF、Bot防护、API安全、CC防护等功能的简单组合,而是通过模块融合,实现了各个安全模块的无缝协同,形成了一个高效、智能的安全防护体系。
长亭科技副总裁 周辛酉
例如,在API安全方面,雷池30通过语义分析引擎和API安全实现了正向循环。一方面,引擎的深度解码和语义分析能力有助于提取更全面的请求信息,提高API敏感数据识别、用户身份识别和风险检测的准确性;同时,API识别结果又能增强语义引擎的解码性能,通过Schema 校验和API基线,实现对异常流量的精准防护并降低误报率。API安全还能提升其他模块的智能化水平,利用机器学习分析API调用模式并建模,根据学习结果智能动态调整Bot防护和CC防护的阈值策略,实时应对新型攻击。
此外,雷池30的WAAP方案除支持单机外,在软硬件集群/云场景中也能灵活落地,为用户提供灵活的方案能力选择。
三、全球网络安全技术热点与趋势
发布会上,IDC中国高级研究经理赵卫京还带来了《全球网络安全技术热点与趋势》的主题分享。他指出,在全球安全市场发展存在诸多不确定性的当下,人工智能将加速网络安全技术的创新与实践。到2030年,AI将会累积带来近20万亿美元的经济收入。其中,GenAI也将推动网络安全产业加速发展,更多的企业将更愿意使用GenAI应用到组织中的安全应用中,并在安全工具嵌入GenAI作为安全助手提升安全效率。在安全运营、应用安全、数据安全、风险/暴露面管理、安全合规等安全领域中,GenAI均有很多应用方向和空间。
赵卫京表示,在应用安全方向,更多的企业愿意广泛采用Web应用防护方案,WAF作为基础方案是客户的首选。同时,主要包括WAF、API安全、DDoS缓解、Bot管理等能力的WAAP解决方案也引起了很多客户的兴趣。
IDC中国高级研究经理 赵卫京
长亭科技自成立以来,在业界有公认的两大标签。一是在实战攻防领域表现卓越,二是作为一家以技术驱动的智能安全公司备受瞩目。此次语义分析3.0的发布是长亭拥抱AI时代的新一代检测技术、在智能安全的方向上继续推动行业变革的又一里程碑。未来,长亭将秉持“知攻善防、智能安全”的理念,持续推动从应用层、到网络架构层、再到内核协议栈的各个层面的全栈安全创新。