事実関係
IT之家 8 月 5 日消息,京东今日宣布开源自研的实时流式视频编辑模型 JoyAI-Video-Edit ,用户可以一边观看视频,一边修改人物与场景,让视频创作从“先有素材再修改”变为可实时互动编辑。 京东官方表示,在流式实时视频编辑方向,JoyAI-Video-Edit 对比当前业内代表性模型, 各项指标全面领先,达到世界一流水平 。 视频实时编辑首先要解决速度问题。视频由一帧帧连续画面组成,如果模型处理速度跟不上播放速度,就会出现
解説と影響
实现“边播边改”的核心挑战在于,模型必须让每一帧画面的处理速度跟上视频的正常播放节奏,否则就会产生卡顿。JoyAI-Video-Edit 基于京东自研的 JoyAI-Video 基础模型,成功在 720P 分辨率下达到了每秒 30 帧的实时推理能力,这使得它在保持较高画质的同时,能够无缝匹配常见视频的播放速率 来源:快科技。此外,该模型突破了此前流式编辑工具只能处理短视频片段的限制,支持对任意时长的视频进行不间断的流式处理,用户无需等待整段视频生成完毕,即可在播放过程中实时替换物体、调整人物形象或改变整体画面风格 来源:AIbase。
JoyAI-Video-Edit 模型演示效果
在专业评测方面,研究团队采用了 OpenVE-Bench 基准进行测试。结果显示,JoyAI-Video-Edit 在人物编辑、物体替换、场景变换和风格迁移四类核心任务上,整体表现均超越了多款海外主流的流式编辑模型。值得注意的是,其生成的实时画面质量甚至可以比肩一些离线的专业剪辑模型,这意味着它在追求实时性的同时,并未牺牲编辑效果的精细度 来源:快科技。
模型评测对比图表
这一技术为直播、视频会议等场景带来了新的可能。例如,在电商直播中,主播可以应观众要求,实时将展示的白色上衣“变成”蓝色款;在视频聊天时,用户也能瞬间将背景替换为古风场景。目前,该模型已在 Hugging Face 和 GitHub 平台开源,开发者与内容创作者可自由获取并进行本地部署或二次开发 来源:17173。与此同时,近期火山引擎上线的 Seedance 2.5 API 也大幅提升了视频生成与编辑的指令遵循及长叙事能力,表明实时、高可控的视频编辑正成为行业竞逐的焦点 来源:IT之家。
模型应用场景示意
出典原文
IT之家 8 月 5 日消息,京东今日宣布开源自研的实时流式视频编辑模型 JoyAI-Video-Edit ,用户可以一边观看视频,一边修改人物与场景,让视频创作从“先有素材再修改”变为可实时互动编辑。 京东官方表示,在流式实时视频编辑方向,JoyAI-Video-Edit 对比当前业内代表性模型, 各项指标全面领先,达到世界一流水平 。 视频实时编辑首先要解决速度问题。视频由一帧帧连续画面组成,如果模型处理速度跟不上播放速度,就会出现卡顿与延迟。JoyAI-Video-Edit 基于全自研 JoyAI-Video 模型, 在 720P 分辨率下实现每秒 30 帧的模型推理速度 ,能够在保持较高画面清晰度的同时,跟上常见影视视频的播放节奏。 视频长度也是流式编辑的一道门槛。此前的流式编辑模型只能处理几秒或分钟级片段, 而 JoyAI-Video-Edit 支持任意时长的稳定流式编辑 ,可以随着视频持续播放、持续处理。用户不必等待整段视频生成完成,就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格,实现“边观看边创作”。 例如,创作者可以让视频中的人物连续更换服装,在直播中把普通街道变成动画世界,也可以在家装设计中尝试不同的家具、墙面和灯光效果。 为了评估模型能力,研究团队将 JoyAI-Video-Edit 与 SANA Streaming、LiveEdit、Xmax-X2.0 等国际上有代表性流式视频编辑模型进行对比。结果显示,在覆盖典型视频编辑场景的评测数据中, JoyAI-Video-Edit 整体效果全面领先 。 在业界权威的 OpenVE-Bench 通用评测中, 模型超越了目前所有的流式编辑方法 ,在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出,大幅领先行业同类模型。 不止视频创作,JoyAI-Video-Edit 还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频,但真机数据采集成本较高,危险或少见场景也难以反复采集。依托对场景、物体与画面内容的可控编辑能力, JoyAI-Video-Edit 可将人手操作视频转化为机械手或机械臂操作素材 ,并在保留物体位置、空间关系与动作轨迹的基础上,替换场景、物体与机器人形态,让一段视频扩展出更多训练样本。 IT之家附 JoyAI-Video-Edit 开源地址如下:
https://huggingface.co/jdopensource/JoyAI-Video-Edit https://github.com/jd-opensource/JoyAI-Video-Edit