字节跳动上热搜!大模型遭实习生攻击,损失超千万美元?
其它,,10/19/2024 11:25:16
“字节跳动大模型训练被实习生攻击,涉事者已被辞退”的消息冲上多个平台热搜。
10月18日,多个微信群流传一则消息:“某头部大厂的大模型训练被实习生入侵,注入了破坏代码,导致其训练成果不可靠,可能需要重新训练。据称遭到入侵的代码注入了8000多张卡,带来的损失可能超过千万美元。”
对此,证券时报·e公司记者联系字节跳动方面,截至发稿并未获得回应。但接近字节人士对e公司记者透露,确有实习生破坏AI模型训练,但损失金额和处理方式被夸大。
面临安全管理问题
据界面新闻报道,从知情人士处获悉,该头部大厂为字节跳动。此事发生在今年6月,起因是某高校的博士在字节跳动商业化技术团队实习,因对团队资源分配不满,使用攻击代码破坏团队的模型训练任务。
传闻显示,该田姓实习生利用了HF(huggingface)的漏洞,在公司的共享模型里写入破坏代码,导致模型的训练效果忽高忽低,无法产生预期的训练效果,而且AML团队无法核查原因。但传闻曝出之后,该实习生还在某微信群里辟谣称,自己发完论文后就从字节跳动离职,这个当口有另一个人钻漏洞改模型代码,把锅扣到自己头上。
据媒体从知情人士处了解到,字节跳动内部已经调查明确此事为田姓实习生所为。目前,该实习生已被辞退,字节跳动同时把此事同步给行业联盟和该实习生所在的学校。但这名实习生被辞退后到处“辟谣”甩锅,称是其他人所为。
另有报道称,一位技术安全专家向媒体表示,HF漏洞的产生通常与单一性集中训练有关,此次事件暴露出字节跳动在技术训练中的安全管理问题。公司既未实施权限隔离,也未做好共用代码的审计工作。在正常情况下,每次大的代码变动都应进行审计,并记录操作痕迹,以确保无法单独篡改代码。
该技术安全专家指出,目前行业通用的做法是实施三级隔离导向性部署,每一级仅包含镜像,并在每次操作前进行扫描。调用需按次计算,并必须提供密钥。每一级完成后,才能进入下一级,同时上一级将自动删除,以实现分级训练。
实际上,e公司记者注意到,大模型在安全性方面的问题已经受到业内高度关注。今年8月,中国信通院发文称,近年来,以大模型为核心的人工智能技术飞速发展,成为数字经济增长新动能。然而,作为新质生产力的大模型在安全性方面仍存在较多缺陷,这为其大规模落地应用带来了不确定性。近期,中国信通院发布的大模型安全基准AI Safety Benchmark的测试结果显示,大模型(尤其是开源大模型)在恶意诱导手段下的攻击成功率均较原始输入有明显提升。因此,对大模型进行安全对齐防护刻不容缓。
加码大模型应用
今年以来,作为头部互联网大厂,字节跳动正在加码大模型建设和应用。5月15日,字节跳动豆包大模型在火山引擎原动力大会上发布。火山引擎是字节跳动旗下云服务平台,火山引擎总裁谭待现场介绍,豆包大模型正成为国内使用量最大、应用场景最丰富的大模型之一,目前日均处理1200亿Tokens文本,生成3000万张图片。豆包主力模型在企业市场的定价只有0.0008元/千Tokens,0.8厘就能处理1500多个汉字,比行业便宜99.3%。
此后,各大厂的大模型开启大幅降价,价格战愈演愈烈。
今年8月,字节跳动火山引擎宣布推出对话式AI实时交互解决方案,搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,提供智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。
近期,字节跳动还宣告进军AI视频生成。9月24日,字节跳动旗下火山引擎发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型,面向企业市场开启邀测。据火山引擎介绍,全新设计的扩散模型训练方法攻克了多镜头切换的一致性难题。据火山引擎披露,截至9月,豆包语言模型的日均tokens使用量超过1.3万亿,相比5月首次发布时猛增十倍。
10月15日,在2024火山引擎视频云技术大会上,火山引擎正式发布大模型训练视频预处理方案,该方案能够有效解决视频大模型训练的成本、质量和性能等方面的技术挑战,并已应用于豆包·视频生成模型中。
责编:彭勃
校对:赵燕