内容安全既是监管要求也是品牌关键功能。字节跳动在自动化审核上投入巨大,以符合全球150多个市场的法规。这道题考察你设计大规模高召回率、低误报率ML系统的能力。
定义多阶段流水线:上传前检查、发布时实时推理、异步深度分析、边界案例人工复审。
描述多模态方法:文本(NLP)、图片(CV)、音频(ASR+NLP)、视频(抽帧+时序模型)各有独立模型,融合层综合所有信号。
解释如何处理各地区不同的策略——策略引擎将模型输出映射到地区专属规则。
讨论反馈闭环:人工审核结果反哺模型训练,主动学习优先标注模糊案例,A/B测试验证模型更新。
我会构建三层审核系统。第一层在上传时运行:轻量模型通过感知哈希比对黑名单检测已知有害内容,OCR识别图片中的违禁文字,快速文本分类器做初筛,高置信度内容立即拦截。第二层在几分钟内异步完成:深度模型对视频按1FPS抽帧通过暴力/色情分类器,音频经ASR转写后做仇恨言论检测,多模态融合模型综合所有信号后经地区策略引擎适配当地法规。第三层处理边界案例:中等置信度的内容通过优先队列路由给人工审核员,主动学习选出最有标注价值的案例。整个流水线平均30秒内完成每条内容的处理。模型每周用审核员反馈重训练,通过金丝雀发布对比精确率和召回率后再全量上线。
强调多市场维度——字节跳动在150多个国家运营,不同的内容法规要求灵活的策略引擎。
展示对精确率-召回率权衡的理解:过度审核挫伤创作者,审核不足带来法律和声誉风险。
提到对抗鲁棒性——坏人会用文字混淆、隐写术或打擦边球来逃避检测。
策略引擎位于ML模型和执行动作之间。模型输出原始分数(暴力概率、色情置信度),策略引擎根据观看者和创作者所在司法管辖区将这些分数映射为允许/限制/删除操作。
人工审核员处理模型置信度低的边界案例,提供标注数据用于重训练,审计模型决策中的偏见,并对申诉做最终裁决。他们对维护质量和持续改进系统不可或缺。