中新网上海新闻3月18日电(李姝徵)近年随着AI技术普及、黑产跨平台流动作案,新型电信网络诈骗的隐蔽性、迷惑性持续提升,尤其不少诈骗分子通过AI技术手段引流站外,给内容社区的反诈治理带来了全新挑战。
针对这一态势,过去一年在公安部刑侦局、国家反诈中心指导和上海市反诈中心的帮助下,小红书以警企联动为核心抓手,联合运营商、银行、互联网打造行业联防联控,打防结合,筑牢反诈防线。
为了提升用户反诈防护意识,小红书近期全新升级上线以“安全薯”为核心的反诈预警守护产品,构建起“技术防控+精准触达+全民宣教”的全场景防护屏障。技术层面搭载“洞察、预警、处置”一体化智能风控中枢,引入内容理解大模型、多模态账号风险决策大模型、升级潜在受害人预警模型,月均推送预警120万人次,形成“事中警示卡、交互弹窗,事后消息强提醒、站内信触达”的全流程预警链路;针对演唱会门票、非法招工等5类高发诈骗类型定制50余支专属反诈视频,在社区全场景设置风险提示,全年累计推送风险预警与宣传内容近1亿次,累计触达超千万用户。
同时依托社区“种草”特色开展反诈宣教,支持上海市反诈中心“803反诈”小红书账号上线。上线9个月来,反诈宣传累计曝光超过9亿人次,联合小红书先后推出针对未成年人的暑期安全提醒、开学季直播,联合澎湃新闻、新闻晨报及小红书官方推出精品反诈短剧,形成全民参与的防诈氛围。
在行业联合方面,2025年7月,上海市反诈中心与小红书在互联网行业先行先试,创新建立全行业联合治理模式,联动运营商、银行、互联网,合成研判涉诈风险,完善全行业全链路风控体系,有力净化了互联网生态环境。
针对近年“AI生成虚假内容引流诈骗”的新型反诈痛点,小红书同步启动AI生成内容专项治理。当前,不少诈骗分子利用AI诱导用户添加私域、购买三无产品或是参与虚假投资,这类AI虚假内容生产速度快、迷惑性强,已成为涉诈引流的新隐患。平台重点打击未标注AI生成冒充真人分享、AI侵权造谣、AI生成虚假误导信息、批量生产AI低质内容四类违规场景,截至目前已处置违规AI内容12.7万条,同时配套上线创作者端AI内容一键标注工具、用户端AI违规内容专属举报入口,坚持社区真实分享的底色。(完)
注:请在转载文章内容时务必注明出处!
编辑:李秋莹






