Eye Contact：目光矫正 API 自动调整视频、直播中眼睛的视线方向

Sieve推出专门用于目光矫正（eye contact correction）的API服务。这一API旨在让讲话者的视频中的眼睛看起来像是直接注视着摄像头。这个功能对视频创作者和应用开发者非常有帮助，尤其是在屏幕录制、视频编辑、在线会议、直播和广播等场景下。 例如，当用户没有直接看摄像头时，目光矫正API可以自动调整眼睛的视线方向，让观众感觉到对方正在与他们直接互动。 与其他解决方案不同的是，Sieve的API具备以下优点： 不需要依赖桌面SDK， 易于集成 ，只需要一次API调用。 速度非常快 ，适合各种实时应用场景。 处理视频每分钟花费 0.10 美元 处理速度可以达到 实时处理速度的8倍 。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/10/Eye-Contact-1.0_-eye-gaze-redirection-for-developers-Sieve-Blog.mp4"][/video] 主要功能： 目光矫正 ：通过调整视频中人物的视线方向，模拟出与摄像头的直接眼神接触。 自定义设置 ：可以根据需要调整多种参数，优化眼神的重定向效果。 保留自然眨眼和头部运动 ：在矫正过程中，依旧保留视频中的自然眨眼和头部运动，使得视频更自然。 随机视线偏移 ：为了避免视频人物一直“死盯”摄像头，API还支持设置随机视线偏移，使得人物看起来更自然。 工作原理详解 1. 面部追踪和眼睛区域提取 目光矫正的第一步是通过面部追踪技术识别出人脸的2D特征点，并确定头部在3D空间中的位置。这些特征点帮助确定眼睛的准确位置和方向。 一旦确认头部姿态，系统会在视频帧中提取出一个围绕眼睛的区域，这部分区域被称为“眼部区域（eye patch）”。 2. 视线角度调整 提取的眼部区域被输入到一个“目光重定向网络（gaze redirection network）”中，这个网络会估算出眼睛当前的注视方向。 然后，网络会修改眼睛图像，将视线调整为看向摄像头的角度。 3. 重建和融合 经过修改的眼睛图像被无缝地融合回原始视频帧中，确保视频中的人物看起来自然、流畅。 为了保证矫正效果不会显得过于僵硬或不自然，当头部旋转过大时（视线偏离摄像头的角度较大），系统会减少目光矫正的强度，使得视线调整效果更加真实、自然。 4. 处理眨眼和遮挡 系统还会智能处理一些特殊情况，比如眨眼或眼睛被手势、物体短暂遮挡。这时，系统会暂时关闭目光矫正功能，等待视线清晰后再重新启用。 5. 实时处理 整个目光重定向的过程都是 实时进行 的，具有 极低的延迟 。这意味着它非常适合在直播或视频通话等需要即时反应的场景中使用，提供平滑的目光调整效果。 [video width="3240" height="1080" mp4="https://img.xiaohu.ai/2024/10/Eye-Contact-1.0_-eye-gaze-redirection-for-developers-Sieve-Blog-1.mp4"][/video] 使用案例和技术灵感 这个目光矫正API可以应用在多个领域，尤其是与“讲话者视频”相关的场景中。以下是一些可能的应用场景： 屏幕录制 ：录制演示视频时，尽管演讲者可能在看显示器，但观众会感觉到他们在直视镜头。 视频编辑 ：视频编辑师可以通过该API轻松修改预先录制好的视频，让视频中的人物看起来更具互动性。 直播和广播 ：主播和视频博主可以利用这一技术，让他们的视频看起来更专业，与观众有更多眼神交流。 在线会议 ：视频通话时，即使讲话者没有正对摄像头，API可以自动调整视线方向，使对方感觉到更多的关注和参与。 技术细节 这个API从NVIDIA的 NVIDIA Broadcast 和 LivePortrait 的面部区域控制技术中获得了灵感，使用了类似的技术原理来对特定的面部区域（眼睛部分）进行处理。 Sieve还借鉴了他们自己开发的 SieveSync 技术（这是一种零样本口型同步技术），目光矫正的流程与SieveSync非常类似，都是对特定的面部区域进行调整。 官方介绍： https://www.sievedata.com/blog/eye-contact-correction-gaze-correction-api 在线体验： https://www.sievedata.com/functions/sieve/eye-contact-correction

Menu

分类目录

Eye Contact：目光矫正 API 自动调整视频、直播中眼睛的视线方向

Related Posts

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Perplexity 推出全新 AI 驱动购物助手：Shop Like a Pro 支持搜索结果一键下单

Recommendeds

Playground v3 技术报告：完全整合了大语言模型的图像生成模型精细的图像生成与控制能力

Claude推出了自己的类似GPTs 聊天机器人功能：Projects 但是有所不同

换脸应用 FaceFusion 升级为 “面部操控平台” 支持面部表情恢复迁移编辑

Character.AI 介绍其在 AI 推理方面的技术创新让其服务成本减少了33倍

Jina AI发布 Jina ColBERT v2：一个多语言的晚期交互信息检索模型

教程：无需编程知识使用自己的照片快速训练一个自己的FLUX.1 图像模型

Kyutai 发布全新的开源 AI 语音助手 Moshi 平替 OpenAI 的GPT 4o

Perplexity AI 推出了两个全新功能：内部知识搜索和 Spaces 更加方便易用

教程：使用 Ideogram 2.0 的绘图和 Remix 功能轻松制作产品海报

Nvidia 的下一代 DLSS 技术利用人工智能直接生成游戏中角色、物体甚至是NPC

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Eye Contact：目光矫正 API 自动调整视频、直播中眼睛的视线方向

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?