三位哈佛00后联手创业，7个月拿下亿元估值

前有三位90后兴办的Cohere估值冲向360亿美元，后有95后郭文景兴办的Pika拿到55亿美元估值。很显然，硅谷里的AI创业潮正在影响所有人，00后Leonard Tang也是被威胁进去的万分之一。

Leonard Tang是AI安全创企 Haize Labs 的创始人兼CEO，也是本年哈佛大学本科毕业生。

他兴办的Haize Labs经过一段视频展现了AI大模型安全防地的“软弱”。只需短短几行提示，就能绕过大模型的安全约束，然后让AI大模型生成很多的色情文字、血腥图片等，乃至能够主动进犯其他网络。

现在，Haize Labs首要经过其打造的首款AI产品——主动化套件Haizing。该套件首要经过进犯AI大模型进行压力测验，以发现AI大模型的安全漏洞。据外媒winbuzzer报导，明星AI创企Anthropic、Scale AI均是其客户。

Haize Labs树立于2023年12月，在树立不到7个月的时刻里，Haize Labs就收到至少四份出资意向书，出名基金Coatue也参加其间。知情人士泄漏，Haize Labs现已取得了General Catalyst领投的最新出资，估值到达1亿美元。

在短短1-2轮融资中就取得高额估值，这般融资速度和规划业界都罕见。一方面能够看出，出资者对Haize Labs信心十足，另一方面也显现了AI安全赛道的潜力。

世界调研组织CB Insight陈述显现，机器学习安全商场（MLSec）正快速增长。2023年AI安全创企投融资总额高达2.13亿美元，远超于2022年的7000万美元。

据硅兔赛跑不完全统计，2024年，北美现已呈现了至少5家AI安全独角兽，至少39家AI安全创企取得新融资，累计融资达8亿美元。

“现在AI大模型安全范畴仍是空白的创业蓝海商场。”一位出资人士说。

跟着AI进犯、AI大模型越狱事情不断产生，人们对AI失控的危险忧虑日益添加。Haize Labs以AI越狱为切入口，以AI大模型安全为抓手，投身入局。

一、三位哈佛应届生，瞄准AI“越狱”

“每个人都对大模型越狱行为视若无睹。”

Leonard Tang在承受媒体采访时说到，这也成为了他和两位朋友Richard Liu、Steve Li一同兴办Haize Labs关键。

据VentureBeat报导，Leonard Tang现在暂停了斯坦福大学博士课程的第一年学业，专心于Haize的开展。Richard Liu、Steve Li则统筹学业，成为了伯克利人工智能研讨实验室的本科研讨员。

Haize Labs的创始人、CEO Leonard Tang告知VentureBeat，Haize Labs其实是自己本科阶段有关对抗性进犯和大模型稳健性研讨的商业化作用。大学期间，他主修了数学和计算机科学两大专业课程。

AI直译，图源官网

Leonard Tang第一次对LLM（大言语模型）模型越狱产生爱好大约是在两年前，其时他测验经过对图画分类器进行对抗性进犯，绕过Twitter的NSFW（Not Safe For Work）过滤器，该东西专门过滤一些不适宜在作业场合查看的内容。

随后，他发现AI浪潮中好像每个人都对大模型越狱行为视若无睹，所以遭到启示着手专心AI可靠性和安全性的研讨。

本年4月，他在Github上宣布了一篇有关《怎么轻松越狱Llama3》的论文。论文指出，Llama 3这类大言语模型缺少自我检讨的才干，一旦被诱导，大模型也不知道自己输出的文字是什么意思。

从其哈佛网站的个人主页来看，Leonard Tang在大学期间的阅历五光十色。除了学业上对LLM模型广泛研讨，他还具有在多家AI大厂实习的经历，比如说在英伟达MagLev的ML根底工程实习生，参加到主动驾驶轿车研讨。再比如说，作为亚马逊SDE实习生，从事大数据供应链物流作业。

别的两位联合创始人Richard Liu和Steve Li同样是AI范畴的研讨员。Steve Li是哈佛大学计算机科学专业的大四学生，首要专心人工智能安全、语音处理、操作体系和机器学习体系的研讨。他曾在Roblox的用户安全团队实习，参加到陈述功用和 ML分类管道的作业中。

AI直译，图源官网

背靠哈佛，冲向硅谷。他们还取得了一些参谋和天使出资者的支撑，树立自己的人脉圈。这其间包含卡内基梅隆大学和哈佛大学的教授、Okta、HuggingFace、Weights and Biases、Replit 的创始人，以及谷歌、Netflix、Stripe、Anduril 等公司的人工智能和安全高管。Graham Neubig等参谋为Haize Labs 供给 LLM 评价方面的专业知识

业界的AI越狱大神@Pliny the Prompter也是Hazie的朋友和协作方。@Pliny the Prompter以能够敏捷攻破Llama 3.1、GPT-4o的安全防地而出名，他曾表明只需求30分钟左右的时刻，就能破解世界上最强壮的人工智能模型。

能够看出，Haize Labs现已在AI大模型安全范畴树立了必定开端影响力，而且有了自己的联系网络，推进相关协作。

二、传统查看机制不适用AI大模型

最开端，Haize Labs测验了当下许多出名的生成式AI程序、像是AI视频Pika、ChatGPT、图画生成器DALL-E等等。他们发现许多出名东西都会产生暴力或色情内容，乃至会辅导用户生产生化武器，并答应主动进行网络进犯。

这是由于传统查看如根据人工查看、关键词过滤等办法去查验大模型输出内容不精确。

由于AI大模型一般根据深度学习和很多数据练习，其决议计划进程或许不透明，这种“黑箱”特性使得传统查看难以操控潜在的危险。

一起，AI大模型能够不断学习和习惯新的数据，其输出或许跟着时刻和输入的改变而改变。传统查看机制往往静态和滞后，难以跟上AI大模型的动态改变。

此外，AI大模型能够处理和剖析很多数据，生成内容的速度、新的表达方法和内容，都有或许会远超于传统查看机制的预期。

这也导致了无论是OpenAI查看东西Moderation API、谷歌的过滤模型Perspective API，仍是Meta的维护模型Llama Guard，功能体现作用都很差。

AI直译，图源官网

Hazie对各大AI模型进行越狱测验时，发现Anthropic旗下Claude模型的安全性体现较好，而像Vicuna和Mistral这类没有清晰履行安全微调的模型很简单进行越狱操作。

面临越狱合法性的质疑，Haize Labs表明他们更期望主动出击，才干供给防护性解决方案，防备此类事情产生。

三、拿下Anthropic、Scale AI 订单，Haize商业化进程敏捷

俗话道，不打不相识。

有意思的是，不少曾被进犯过的组织、模型公司并没有申述Haize，反而还成为了协作伙伴。

现在，Haize Labs的客户有AI爱好者、政府的隶属组织、模型供货商等。

Haize Labs和AI大模型创企Anthropic达到了3万美元试点协作、与AI创企AI21签约了五位数的协议，而且还与AI模型渠道Hugging Face、英国人工智能安全研讨所（AISI）和 AI工程联盟MLCommons达到协作。

不仅如此，Haize Labs与Scale AI签署了50万美元意向书，方针是对医疗保健和金融范畴的LLM进行特定范畴的压力测验，每次更新时都会从头评价模型以坚持稳健性。

Haize Labs打造的Haizing套件是一套查找和优化算法，结合了含糊测验和红队测验技能，能够较为全面的查看AI体系。该产品首要在开发阶段诱导大模型呈现错觉，进行压力测验，然后更好提示开发者安全漏洞的问题。

“只要经过严厉、可扩展且主动地测验您的模型以了解其所有极点状况和缺点，客户才干开端修正这些缺点。”Leonard Tang说。

Haizing Suite晋级了多种算法，运用强化学习等技能检测有害内容输入。它使用各种测验场景来发现潜在的问题点，而且经过反向界说不良行为为举动辅导。

该套件具有免费版和商业版，其间免费版需求请求，商业版则是Hazie的首要盈余来历。Haizing套件商业版，将为根底模型服务商和应用程序层的客户供给CI/CD haizing和运行时防护解决方案。

AI大模型的巨子们也留意到AI大模型越狱安全性问题，并先后提示人们留意。

OpenAI也曾约请各范畴专家经过对抗性方法协助进步模型的安全性和可靠性，也便是招募“红队队员”

微软具体介绍了一种名为“Skeleton Key”的越狱技能，用户经过诱导的方法，绕过大模型的安全机制并让模型以为，自己输出的内容是在“合法规模”之内。

Anthropic则发现跟着窗口长度的不断添加，大模型的“越狱”现象开端死灰复燃。“现在是时分尽力减小大模型越狱的潜在危险了，不然它们或许形成严重危害。”Anthropic在公告中说道。

在大模型快速开展的今日，安全一向成为人们绕不开的论题。

现阶段，AI激进派与AI保守派各不相谋，以自己的绳尺猜测着AI大模型安全的危险值。前不久，马斯克的AI大模型 Grok 2.0正在以无所约束地生成AI内容，应战着用户的灵敏神经。AI激进派以为假如对AI越狱行为进行全面封闭，或许会阻止AI大模型的灵活性和呼应才干。

Haize则是经过主动化各种不同类型的进犯，测验各个AI大模型的安全漏洞，试图为AI大模型树立更安定的防地。

但一起，咱们也能看到各大AI大模型厂商现已开端对AI越狱行为进一步防卫。若是Haize的生长仅局限于AI越狱方向，事务方向好像较为单一，也难以支撑后续开展。

本文来自微信大众号：硅兔赛跑，作者：Xuushan，修改：Evan