视频能“边播边改”：京东开源自研 JoyAI-Video-Edit 模型，各项指标全球领先
· / ,
Sign in with a social account
Morning dew still fresh, the flowers are on their way.
Sign in with a social account
实现“边播边改”的核心挑战在于，模型必须让每一帧画面的处理速度跟上视频的正常播放节奏，否则就会产生卡顿。JoyAI-Video-Edit 基于京东自研的 JoyAI-Video 基础模型，成功在 720P 分辨率下达到了每秒 30 帧的实时推理能力，这使得它在保持较高画质的同时，能够无缝匹配常见视频的播放速率 来源：快科技。此外，该模型突破了此前流式编辑工具只能处理短视频片段的限制，支持对任意时长的视频进行不间断的流式处理，用户无需等待整段视频生成完毕，即可在播放过程中实时替换物体、调整人物形象或改变整体画面风格 来源：AIbase。
在专业评测方面，研究团队采用了 OpenVE-Bench 基准进行测试。结果显示，JoyAI-Video-Edit 在人物编辑、物体替换、场景变换和风格迁移四类核心任务上，整体表现均超越了多款海外主流的流式编辑模型。值得注意的是，其生成的实时画面质量甚至可以比肩一些离线的专业剪辑模型，这意味着它在追求实时性的同时，并未牺牲编辑效果的精细度 来源：快科技。
这一技术为直播、视频会议等场景带来了新的可能。例如，在电商直播中，主播可以应观众要求，实时将展示的白色上衣“变成”蓝色款；在视频聊天时，用户也能瞬间将背景替换为古风场景。目前，该模型已在 Hugging Face 和 GitHub 平台开源，开发者与内容创作者可自由获取并进行本地部署或二次开发 来源：17173。与此同时，近期火山引擎上线的 Seedance 2.5 API 也大幅提升了视频生成与编辑的指令遵循及长叙事能力，表明实时、高可控的视频编辑正成为行业竞逐的焦点 来源：IT之家。