# Adobe推出最新开源工具：视频中插入魔性手绘 > 作者/来源: UCloud 运营管理员 > 发布时间: 2024-08-13T08:33:00.000Z > 分类: AI专区 > 标签: AI > 原文链接: http://117.50.162.249:3000/yun/articles/41 --- # Adobe推出最新开源工具：视频中插入魔性手绘 > 来源: https://www.ucloud.cn/yun/131150.html > 作者: UCloud小助手 > 发布日期: 发布于2024-08-13 16:33 在视频中插入手绘动画！传统上这是一项非常困难的任务，但 VideoDoodles 让它成为可能。 VideoDoodles是Adobe公司联合多所大学推出的AI视频编辑框架。支持用户在视频中轻松插入手绘动画，实现与视频内容的无缝融合。通过预处理视频帧，系统提供平面画布，用户可以视频上绘制动画，系统自动处理透视和遮挡效果。 与此同时，VideoDoodles也是是一种创新的交互式系统，允许用户在视频中添加手绘动画。VideoDoodles的跟踪算法能够使动画跟随视频中的物体移动，简化了动画制作流程。而这些动画不仅能跟随视频中的物体移动，还能自动调整大小和角度，看起来像是原本就属于视频中的一部分。这对于想要给视频增添个性化效果或教育性内容的创作者来说，非常有用。 与传统的视频编辑软件不同，该系统利用先进的3D场景重建技术，使得插入的绘画能够自然地融入视频场景，实现追踪、透视变形和遮挡等复杂视觉效果。 ![image.png](https://ucloud-blog.cn-bj.ufileos.com/articles/131150/images/131150_000.png) **VideoDoodles的技术原理** - 视频预处理：VideoDoodles对输入的视频进行分析，提取每帧的摄像机姿态、深度图和光流信息，为后续的动画合成打下基础。 - 平面画布映射：用户在3D空间中放置虚拟的平面画布，画布可以映射到视频的特定区域。VideoDoodles利用摄像机姿态和深度图信息，自动渲染出具有正确透视和遮挡效果的画布。 - 跟踪算法：VideoDoodles采用自定义的跟踪算法，画布能够跟随视频中的静态或动态物体移动。用户可以通过设置关键帧来控制画布的位置和方向，系统会自动计算出最佳的3D轨迹。 **3D位置和方向跟踪：** - 位置跟踪：基于关键帧的2D跟踪算法，构建有向图来搜索物体的轨迹，画布与物体的相对位置能保持一致。 - 方向跟踪：用户可以在关键帧中指定画布的旋转矩阵，通过优化算法来保持画布方向与运动物体方向一致。 - 自动化动画生成：一旦用户在关键帧上绘制了动画元素，VideoDoodles就会自动生成整个动画过程，无需用户逐帧绘制。 - 用户界面设计：VideoDoodles提供了一个直观的用户界面，使用户能够轻松地选择、绘制和调整动画元素。 艺术家通常以视频为背景，逐帧绘制 2D 动画来创作视频涂鸦。按照这种手动工作流程，面临的主要困难是让绘制的内容与视频内容进行令人信服的互动。![image.png](https://ucloud-blog.cn-bj.ufileos.com/articles/131150/images/131150_001.png) 而VideoDoodles建议通过用户界面来协助创建视频涂鸦，该界面利用深度和运动先验来固定捕获视频中的场景感知画布，用户可以在其上添加手绘的逐帧动画。 用户可以通过设置位置和方向的关键帧，在其中的2D 图像空间 UI中精细控制画布。我们的系统会通过跟踪视频中移动物体的运动来插入关键帧。 ![image.png](https://ucloud-blog.cn-bj.ufileos.com/articles/131150/images/131150_002.png) ![image.png](https://ucloud-blog.cn-bj.ufileos.com/articles/131150/images/131150_003.png) 简而言之，VideoDoodles引入了一种新颖的用户界面和跟踪算法，以解锁使用深度和运动数据（通过现有的计算机视觉方法获得）增强的视频的新版本功能。根据通过任意数量的位置和方向关键帧表达的用户意图，我们的算法可以在视频的任何帧上渲染具有正确遮挡和透视变换的场景感知画布，并使画布跟随移动物体。 **VideoDoodles是如何工作的呢？** 刚刚介绍了一些技术原理，以下是一些具体的执行步骤： - 3D场景重建：首先，系统会分析你上传的视频，自动构建出一个3D场景。 - 放置画布：在这个3D场景中，你可以放置虚拟的"画布"，就像在现实世界中放置一块画板一样。 - 绘制动画：在这些画布上，你可以自由地创作你的动画。 - 智能追踪：这是VideoDoodles最神奇的部分。你可以让画布"附着"在视频中的物体上。比如，你可以让一只画好的小鸟跟随视频中的一辆移动的汽车。系统会自动确保小鸟的位置、大小和角度随着汽车的移动而正确变化。 - 自动调整：当你的动画与视频中的其他元素互动时，VideoDoodles会自动处理遮挡关系。例如，如果有一棵树挡在你画的小鸟前面，系统会确保小鸟被树正确遮挡，看起来就像真的在场景中一样。 在操作界面设计上，VideoDoodles采用了直观的2D图像空间UI。用户通过关键帧控制画布的位置和方向。系统会智能地在关键帧之间进行插值，追踪视频中物体的运动，确保动画的流畅性。 ![image.png](https://ucloud-blog.cn-bj.ufileos.com/articles/131150/images/131150_004.png) 实际测试显示，用户仅需十几分钟就能创作出简短而精彩的动画片段。专业创作者则对VideoDoodles的速度和易用性给予了高度评价，认为它比现有工具更加高效。