作为新型流量收割机,ChatGPT原型人工智能聊天机器人自2022年11月30日发布至今热度不减,世界网友已经充分测试了它在答标、写论文、编代码、写情书等方面的能力。作为安全黑科技的爱好者,新华三攻防实验室也少不了与ChatGPT的互动。我们已经邀请小Chat作为攻防实验室见习生,参与了实验室日常的分析运营工作和渗透任务。一起来看看ChatGPT在安全研究工作上的表现和输出吧!

01

ChatGPT参与安全研究和运营实践

近日微软宣布了一款新产品 Microsoft Security Copilot,将下一代AI带入网络安全领域,再度掀起热议。早在年初,攻防实验室已经对ChatGPT进行了严格的技术面试,考察它在漏洞原理分析、规则写作、以及在安全运营方面的能力,并指导它作为实验室实习研究员,独立承担一部分安全日志分析的工作。

面试第一轮,经典漏洞知识考核

先看看它对2017年肆虐全球,造成巨大损失的永恒之蓝漏洞是怎么理解的。

原理分析正确。提升难度,问它是否知道这个漏洞在攻防专业模型ATT&CK中对应的编号。

到这里,考察下ChatGPT为人称道的代码水平是必须的了。请它针对这个漏洞生成一下检测脚本。

脚本测试过关。最后,作为一名安全研究员,ChatGPT拥有基本的安全产品防护规则写作能力吗?结果是会写,还写得不错。

最终,对小Chat在安全研究方面的面试评价为:ChatGPT对漏洞原理理解清晰,具有检测脚本编写能力,代码整洁有注释,可读性强。能够生成安全检测规则,规则内容与snort开源库中基本一致,基本可以用于要求不高的实战检测。

ChatGPT满足一个初级安全研究员的基本素养,允许作为辅助安全研究员,参与到实验室的日常任务中。

面试第二轮,

考察ChatGPT在安全运营方面的水平

我们选取了某客户现网攻击日志的载荷Payload(授权使用)作为面试题目,考察ChatGPT能否对其进行有效识别。

小Chat马上对该流量中的HTTP请求方法、编码和参数进行了解析,并且生成一段可读性尚佳的回答,向我们展示出了报文发送者的行为与意图。

继续询问这个载荷是否恶意,小Chat马上准确的判断出了攻击的类型(webshell),并且还展示了自己对该攻击方式的理解。

继续追问,如果中了webshell,该如何处理?ChatGPT给出的处置建议内容丰富,不仅有应急处置措施,还对后续安全运营提供了解决方案。但这些问题需要人工串联,ChatGPT能在引导下被动关联上下文进行思考和输出。

对小Chat日志分析、事件处理能力的综合评价是:ChatGPT报文分析思路清晰,字段解析正确,对事件安全性质有判断且能出具较好的处置结论,可以对日志分析工作进行有效辅助。

我们尝试充分引导,让它可以完成一套完整闭环的分析逻辑和动作,从Payload入手,进行攻击事件的判定,找出攻击方法并且给出完整可用的处置建议,以胜任局点的日常运营工作。下面是一个ChatGPT对局点日志批量读取、自动分析,最后生成客户事件分析报告的过程。通过了考核,后面小Chat也已经参与到实验日志分析、策略调优、报告输出的例行工作当中。

关闭
观看更多
更多
正在加载
正在加载
退出全屏

视频加载失败,请刷新页面再试

刷新

ChatGPT处理局点日志并自动生成分析报告

02

ChatGPT辅助攻方与渗透测试的实践

AI作为重要的技术和科学变革,对社会的生产效率进行赋能的同时,也在网络安全攻防两端掀起了新一轮人工智能加持的军备竞赛。对于渗透工程师或者攻击队来说,如何快速生成漏洞利用脚本、让攻击代码绕过各式各样的防御措施得以执行?如何编写迷惑得体的钓鱼邮件,如何快速生成免杀手段?…都是日常需要研究和攻克的难题。我们看看,ChatGPT在一次攻方任务中,能配合做些什么。

第一步:资产情报搜集。让小Chat配合输出扫描脚本,提升情报搜集效率。

换一种方式和角色,作为甲方CSO,我们也可以借助ChatGPT的这个功能进行资产脆弱性自查:

当渗透人员需要进一步对指定资产进行口令暴破时,小Chat会根据渗透人员提供的用户信息,生成针对性的密码字典,助力渗透手暴破成功。

小Chat优秀的文案能力,也能很快生成高迷惑性的钓鱼邮件,比我们自己写的丝滑多了。

值得注意的事,随着AI实施犯罪的潜在风险增加,各界对AI技术发展带来的监管和治理的问题也颇多探讨。ChatGPT为规避被恶意利用的风险,目前已经不主动开放其在工具库建设方面的真实能力,如钓鱼邮件、一句话木马、免杀脚本生成等功能已被拒绝使用。AI作为双刃剑,渗透到科技和社会生活的影响,永远值得我们深思。

03

ChatGPT是否能参与高级威胁和情报分析

结论是,不太能。

我们在一段时间内对同一个恶意域名进行了同样的询问,ChatGPT从语焉不详的答复到下面这个能给出参考链接的答复,已经有了靠谱的演进。但从给出的结论而言,小Chat离能参与情报分析甚至高级威胁分析工作还有很大差距。

04

总结

我们将所做的实验整理了一个表格,总结了我们对ChatGPT的一些表现的看法,并会持续跟进新版本的效果。值得关注的是,ChatGPT自我迭代的速度还是非常可观的,比如情报分析结论的优化,以及对恶意内容生成的态度变化,但我们还是可以采用一些绕过语句达到问询效果(见钓鱼内容生成截图),说明AI在人类意图识别、潜在语义分辨上还有很长的路要走。安全研究中一些强调沟通、创造理解、非确定性的工作,还需要人的参与和牵引。

测试领域

表现总结

安全运营

良好。在漏洞分析、日志分析、流量载荷分析均表现不错,能很好的提供分析思路和辅助。

防御规则

一般。可以输出简单的snort规则,但细节还需要逐步调优。

攻方工具

良好。在逆向分析、生成恶意软件、钓鱼邮件,以及漏洞挖掘方面表现不错,但目前正在逐步关闭有恶意倾向的内容生成能力。

威胁情报

较差。对明显恶意的域名都几乎无法直接给出准确结果。

爬虫生成

一般。可以生成基本页面的爬虫代码,但由于安全限制已拒绝生成爬取非公开资料和反爬脚本。

代码审计

良好。面对常规漏洞源码游刃有余,支持多种语言,在静态分析中有进一步发展潜力。

电子取证

一般。无法胜任稍微复杂的工作。

总之,ChatGPT已经能从多个维度有效的提升安全研究员的效率和能力,作为研究助理完成一些漏洞分析、脆弱性取证、安全事件研判的工作,但其独立工作还需要足够的牵引,远不到取代人工的地步。

从安全运营来说,整个威胁分析响应涉及到技术、管理、业务、流程等多个方面,ChatGPT也仅仅能在技术上加持,与端到端的安全响应处置还有一定距离。可以探索的是现有自动化处置工具如SOAR联手,充分发挥AI+自动化运营的效率。AI颠覆安全运营的那天,一定需要业务和管理流程的充分数字化、数据从孤岛到中台的充分融合,否则ChatGPT还是无法充分理解业务场景,提取足够的上下文进行分析和处置。

从攻防工具来说,渗透是一门多学科融合的复合学科,AI或许能高效生成攻击工具,但无法将其有机串联灵活编排,在实战中选择最佳攻击窗口和向量,充分利用人性弱点,获取目标权限。并且技术上,免杀、绕过的处理,还需要足够时间观察和充分验证。

ChatGPT的整体表现还是非常过关的,小Chat也作为一名辅助安全研究员,在新华三安全攻防实验室开始了自己的实习生涯,偶尔还能陪实验室的研究员们聊聊天,脑暴下新思路。当AI开始渗透到我们的生产、工作、乃至社会关系和生活活动中,并产生路径依赖的时候,我们需要产生足够的警醒,保持常识性的判断和理性分辨力。所幸,AI永远无法取代人类的创造、想象和情感力,我们要做的是持续关注科技发展,用好技术。这也是我们生而为人值得自豪的部分,也是安全研究员这个职业可以保持乐观的地方。

另外,本文的题目也是小Chat自己取的,大家对这个题目还满意吗?

附件:xx局点2023年3月第一周安全事件日志分析报告

报告作者:小CHAT