开元体育·(中国)官方网站GPT-4惨遭黑客利用！勒索软件20分钟加密100GB

　　开元体育·(中国)官方网站GPT-4惨遭黑客利用！勒索软件20分钟加密100GB数据竟被ta阻止了不久前，外媒报道，OpenAI和微软发现，黑客已经在不断地使用ChatGPT等大模型来完善和改进他们现有的网络攻击。

　　「Thallium」和「Curium」利用LLM研究公开报告的漏洞和目标组织，生成网络钓鱼邮件和代码。

　　「Emerald Sleet」组织利用GPT-4识别亚太地区防御问题专家和组织，探查公开漏洞，完成脚本任务，起草网络钓鱼邮件。

　　当然，OpenAI在检测出这些黑客账号之后就把他们都停了，但是在OpenAI关停相关账户之前，他们已经利用GPT-4进行了海量的攻击行为开元体育·(中国)官方网站。

　　另一方面，有黑客甚至已经在网上开始公开兜售使用GPT大模型和黑客数据专门训练出来的WormGPT和FraudGPT了！

　　200刀一个月，任何人都可以用这个FraudGPT来生成钓鱼邮件，破解工具代码，大幅提升黑客的攻击效率。

　　按照这个黑帽版ChatGPT的宣传，普通人用自然语言就能输出各种钓鱼邮件和钓鱼短信，诱骗受害者将自己银行帐户交给攻击者。

　　不仅如此，FraudGPT还可以用来编写恶意代码，创建无法检测的恶意软件，查找不需要验证持卡人身份的银行识别号码，查找网站和系统的漏洞、薄弱点。

　　显然，安全行业面对黑客在AI加持之下的全面升维攻击，如果还使用传统的方法来应对，就像是用冷兵器去对抗「核武器」。

　　360安全大模型智能化解读后发现，在两台名为v-wangshen/PC和luohao/PC的计算机上，短时间内发生了大量可疑的文档重命名操作。

　　千钧一发之际，360安全大模型赋能下的本地安全大脑立即推荐了一套AI智能化勒索告警处置预案。

　　最后通过智能化调查处置，发现目前仅有「win 10 P2021219」「win 10 PC」两个办公域资产受到影响。

　　在这个典型案例中，企业安全人员在大模型的加持下，迅速处理LOCKBIT勒索攻击，为企业挽回了不可估量的损失。

　　而背后360安全大模型，是国内首个将大模型应用于网络安全实战的成果，实现了对网络安全的全链路升级改造。

　　最近，360将去年发布的360安全大模型迭代到了3.0版本，为整个安全行业如何全面拥抱大模型技术打了个样。

　　而且这些数据并不那么容易训练，需要清洗语料，特别是要调整结构开元体育·(中国)官方网站、修改推理环节等比较底层的技术才能真正体现出这些专业数据的价值。

　　而360在安全行业多年的深耕，无疑是最有可能把数据问题解决好的企业，从而奠定了360安全大模型的能力基础。

　　有了数据带来的基础优势，如何把AI能力分解在安全行业业务场景之中，能否在安全行业用好大模型的另一个关键问题。

　　360提出的「小切口，大纵深」，希望从安全行业难点的小场景做切入，做深做透，深度融合安全能力。

　　比如对于「自动化安全运营」这个大目标，拆成数十个小任务，有些任务可能以前的工具能完成，有些任务引入大模型之后就能自动化完成。

　　例如像开头案例中那样，安全大模型对恶意邮件进行自动检测，自动分析行为日志等多项自动化流程，让安全人员及时处理攻击，并且自动分析攻击链条，完成安全漏洞和弱点的排查。

　　比如MITRE的ATT&CK。360有远远超过它的技战术，能把将近20年积累起来的最顶尖的领域知识运用到行业大模型中。

　　二是必须将获得的知识和数据进行深度融合，不是搜罗一些私有数据后简单地微调一下，或者放到现在的数据库里做RAG，就能实现深度融合。

　　因为这样的做法本质上只是多了私有知识的通用大模型，走的还是通用大模型简单应用的路，体现不出对于客户更深的专业价值。

　　真正将大模型的能力在安全领域落地，360安全大模型3.0核心变化最主要体现在「类脑分区协同（CoE）」的独特构架上。

　　360安全大模型3.0打造的类脑能力体系，能够调动各功能中枢协同工作，共同支撑安全大模型实现专家级安全能力。

　　360借鉴大脑的功能分区结构，搭建了类脑分区协同的CoE框架，作为360安全大模型的核心框架。

　　比如训练本脑HQL这样的结构化语句，可能就和漏洞相关的训练有所冲突，一边学好了另一边的能力会下降。

　　而另一方面，CoE名字虽然借鉴「混合专家模型」：MoE，但是在实际的运转过程中又有自己独特的特点。

　　与MoE在工作时会同时激活几个专家模型不同，CoE重点在于它的推理程序会在按阶段激活不同的专家，也就是按当时工作进展来激活不同的专家。

　　比如恶意邮件的研判，推理程序会首先推到研判专家的分区，研判专家会得出一个结果，推理程序再把它交由语言专家分区，最后再交给最终给用户的研判分析结果。

　　比如Quake语言中枢可以帮助安全大模型理解Quake查询规则、资产信息、提取信息摘要等等，还可以把用户的自然语言按照要求转化成结构化的查询语句。

　　它的要是应用在恶意文件的判别，恶意邮件的判别，EDR的告警判别，攻击流量判别以及代码漏洞判别等任务场景中。

　　大模型就像人类的「快思考」一样，通常会直接根据以前学习到的知识，快速得出一个结果，很容易产生「幻觉」。

　　智能体框架具备了任务编排、指令调度、记忆存储能力，可以调用安全知识、工具，充分发挥RAG、TAG的能力。

　　这就相当于模仿了人类「慢思考」的过程，对安全大模型的结果进行纠错和能力增强，实现更强大的专家能力。

　　工具增强（TAG）是以安全智能体为基础，通过调动各种安全工具为安全模型提供了解外部世界的能力。

　　特别是安全行业当中各种安全工具和产品，和大模型是能相辅相成的，不仅是能接受大模型的一些帮助，反过来它的数据能提升模型的效果。

　　TAG不单单是为大模型提供了外挂知识库，而是为大模型提供了手和脚，能够完成任务，还能像手和脚的触感一样在完成任务的过程中获取更多的数据，增强大脑的能力。

　　借用智能体框架再把大模型工作过程拉长，充分利用RAG、TAG的各种能力，可以给它提供纠错机制。

　　比如，在用户提问之前，安全大模型就可以先用工具，先用检索为它提供和任务相关的知识，在它回答问题之后，系统也可以用知识图谱对结果进行校验。

　　智能体框架会生成猎杀任务，调度编排给安全大模型，在关键步骤通过TAG工具增强来增强大模型的能力。

　　安全大模型通过攻击链以及过程中固定证据这些行为训练，判定攻击类型，判定APT组织，最后形成APT画像。

　　大模型背后的逻辑是概率token的预测，并非真正的理解，因此，LLM往往会产生「幻觉」输出不合规、暴力有毒的内容。

　　一种可能的方法是，对大模型进行深入了解，这也是OpenAI、Anthropic等大模型公司都在攻克的难点。

　　比如，去年OpenAI超级对齐团队发布了一篇关于用「GPT-2监督GPT-4」的论文，来解决人类面对比自己更聪明的AI时所面临的风险。

　　因为对于那些不做LLM的企业来说，无法在大模型内部深入耦合原生安全机制，很难从根本上解决原生的大模型安全问题。

　　比如，南洋理工提出的「越狱」新方法MasterKey让GPT-4、Bard等大模型集体失控，越狱成功率从平均7.3%直接暴涨至21.5%。

　　还有谷歌DeepMind提出的新方法只要不到20美元，可以从ChatGPT或PaLM-2等黑盒语言模型中窃取模型信息。

　　再往长远看，终极AGI到来那天，大模型控制人类愈加危险。这也是为什么图灵巨头Hinton等人一直呼吁加强大模型安全的问题，防止终极末日的来临。

　　大模型的安全问题若想得以解决，就需要攻克四大安全主题上的核心问题——可靠性、可信、向善、可控。

　　要知道，LLM安全体系架构是「双轮驱动」的，第一个轮子是传统的网络数据安全，第二个轮子是以内容为核心的原生安全。

　　因此，解决大模型可靠性，需要双轮。而非业界侧重的仅仅保护网络与数据安全，构建安全的运营环境。

　　正是基于这种以「内容」为主的防御思路，360提出了「安全原生」的基本原则，通过「以模制模」的策略，即以小模型技术保障大模型的安全。

　　与此同时，360也提出了大模型的体系框架——AISF，大模型内部嵌入对内容的管控，对行为的管控，对知识的增强这三套措施。

　　前段时间，赛迪顾问发布的《中国安全大模型技术与应用研究报告（2023）》中，「360安全大模型」凭借突出的技术能力和业务布局开元体育·(中国)官方网站，位居图表首位，综合实力领先行业。

　　一来，360也是国内最早迈入大模型领域的互联网企业之一，自主研发的千亿参数「360智脑大模型」，成为行业模型的基础底座。

　　再者，自创立至今，360在AI安全应用和安全数据方面，已经拥有近20年经验积累，为训练安全大模型提供了丰富的「养料」。

　　具体来说，360是在国内最早实现AI在网络安全领域应用化的公司，从诞生起便自带「安全」基因。

　　2010年，360自主研发了世界首个采用AI技术的反病毒引擎360 QVM，具备「自学习自进化」的能力。它在国际评测机构AV-TEST全球杀软评测中夺冠，也创造了亚洲杀软的历史纪录。

　　随后相继在14、17年发布了下一代QVM，以及QAPT人工智能高级威胁检测引擎，不断加深技术积累完成迭代，

　　与此同时，作为领先的科技公司，360也是国内为数不多的长期深耕AI的厂商，在AI领域不断持续投入。

　　2015年，AI研究院成立。2018年，360团队开启了多模态CV领域的研究，并取得了许多技术成果。

　　去年，千亿级参数规模的「360智脑」大模型发布，具备了生成创作、多轮对话、逻辑推理等十大核心能力。

　　此外，作为全球首个大模型安全风险评估首创者，360也承接了「安全大脑」——国家级人工智能开放平台项目，能够为安全大模型的赋能。

　　去年8月，360「安全大模型1.0」首次诞生之后，侧重的是智控系统，一经发布就有了300+个API接入。

　　因此，360团队继续深耕安全大模型本身的能力，从模型结构、推理等逐渐深入，也就是我们现在看到的3.0版本。

　　在公有云场景下，打造安全云服务，充分利用AI提升运营效率；在私有化场景下，深度优化安全大脑+安全大模型+探针的能力落地。

　　提供更多的用户体验，以往安全运营人员需要鼠标在菜单页面繁琐操作，而现在只需要语音问答，大模型即可完成。

　　360首席科学家兼360数字安全集团CTO潘剑锋表示，360安全大模型还会进一步迭代升级，而下一步规划主要分为两个部分，一是扩充场景，二是不断深耕模型。

　　其次，模型能力高低与「基座模型」有着直接的关系，360也将不断深耕安全大模型，同时向通用模型的一些通用能力发力。