字节跳动商业化团队模型训练被“投毒”

其它,豆包,代码,大模型,10/19/2024 13:00:32


近日,有消息称字节跳动发生大模型训练被实习生“投毒”事件。

据悉,该事件发生在字节跳动商业化团队,因实习生田某某对团队资源分配不满,利用HF(huggingface)的漏洞,通过共享模型注入破坏代码,导致团队模型训练成果受损。消息称此次遭到入侵的代码已注入8000多张卡,损失或达千万美元。

字节跳动知情人士向记者透露称,近期公司确实发生过破坏模型训练一事,但传闻存在夸张和虚构的部分,该事件实际发生在今年6月底,田某某是在商业化技术团队实习,因为对团队资源分配不满,使用攻击代码破坏团队的模型训练任务,千万美元损失的数字也有所夸大。

另外,该人士称,受代码入侵影响的业务不是豆包大模型,而是商业化技术团队的模型训练任务,影响了广告部门的部分技术工作,实习生通过共享模型进行入侵的部分也不属于集团大模型。

此次事件暴露出字节跳动技术训练中存在的安全管理问题,包括权限隔离、共用代码的审计等。一位行业人士对记者表示,进行权限隔离与审计利于保护公司核心数据与知识产权,防止数据泄漏,提高数据与系统的安全性。比如实时监控权限使用情况,及时发现权限滥用和异常操作;定期审计权限,检查团队成员的权限是否符合授权策略,是否存在权限滥用的情况等。但这件事也有难度,包括跨部门合作成本、经常性维护与更新的资源投入等。

据知情人士向记者透露,目前该实习生已被辞退,公司也将相关情况同步给行业联盟与实习生学校。

最新的字节跳动大模型信息披露发生在今年10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。