AI驱动“无感”发言者追踪
Q-SYS于2023年收购了Seervision,一家总部位于瑞士的工业公司,致力于开发人工智能(AI)驱动的相机自动化软件。它可以识别和跟踪人物的动作,当人物对象移动时,摄像机能自动调整焦距、变焦和图片细节,保证精准生动的摄影。
Q-SYS将Seervision基于AI驱动的视觉场景分析 与Q-SYS ACPR多摄像机预置位调用 、Q-SYS AutoFraming自动构图 和Q-SYS Control自动化控制 集成,打造VisionSuite智能化会议解决方案 ,利用人体姿态探测进行视觉追踪,实现自然流畅、自适应的发言者追踪和C位构图,为现场和远程的会议、教学、协作等带来非凡的视听、互动交流体验。无论身在何处,该系统都能确保他们感受到团队之间的紧密凝聚与联系,持续保持高度的专注和参与热情。不仅适用于演讲、教育、大型会议等多种混合会议场景,还可应用于电视转播、舞台表演及体育赛事等多元场景。
对现场和虚拟体验的“重新定义”
Q-SYS VisionSuite在演讲者追踪方面实现了对现场和虚拟体验的“重新定义”。主要体现在:
演讲者无感体验 :VisionSuite产品利用AI技术,特别是计算机视觉追踪,实现了对演讲者动作的精准捕捉和画面的无缝跟随。相较于传统技术,演讲者在使用过程中几乎感觉不到系统的存在,从而获得“无感”的使用体验,这是对以往演讲者追踪技术的重大颠覆。
多模态融合 :目前市场上有各种追踪技术,主要分为基于语言和视觉分析两大类。无论是基于语言还是图像分析,它们都各有利弊。而Q-SYS VisionSuite在这方面独树一帜,创新地结合了这两种分析方式,能够根据实际场景和需求灵活选择或融合使用不同算法,确保在各种复杂条件下都能实现自然、丝滑的追踪效果,极大提升用户体验和适应性。
视觉分析与技术门槛 :Q-SYS采用了外置GPU显卡以增强视觉分析能力,确保系统拥有强大的算力来支持复杂的AI和视觉运算。尽管目前仅发布了首个版本,但其软件具有巨大的开发潜力,用户只需通过在线软件升级即可享受到不断优化和扩展的使用体验。
技术亮点
释放演讲者的力量,为远程学习和高影响力协作空间提供支持。借助 Q-SYS Seervision AI 加速器,Q-SYS 利用基于计算机视觉的场景分析和自适应全身追踪技术,自动追踪并框定演讲者,以提供更加自然的体验。
追踪定制与行为预测
- Adaptive Full Body Tracking -
全身自动摄像追踪技术 可确保演讲者始终保持在视野范围内,即使演讲者转身背对摄像头,也能实现流畅的演播级水平的自动追踪,同时过滤不必要的视觉噪声。其专有算法可预测运动 ,系统能够根据演讲者的移动速度和方向调整摄像头移动,就如同一个经验丰富的摄影师在操作,以确保始终呈现出最佳的画面布局,同时为远端观众创造自然的观看体验。
AI人体姿态检测
- AI Human Pose Detection -
与传统的面部检测和目标追踪不同,Q-SYS VisionSuite采用了人体姿态检测HPE技术 。通过识别人体关键点,即使在多人场景中也能准确锁定并跟踪制定目标。这种技术能够有效区分真实人物 与图片或视频中的人物形象,避免了误判导致的追踪错误。
基于视觉的控制和自动化
- Vision-Based Zones -
通过使用触发区域功能 ,Seervision 可以实时对舞台上发生的活动做出反应。您可以创建自定义设置 ,这些设置会根据演讲者所在的位置以及他们在特定区域停留的时间长短来触发。(以下视频为例,在绿色区域触发全身取景,在红色区域触发上半身特写)
灵活多变的追踪模式
- Customizable Tracking -
您可以创建动态镜头,实时调整以适应演讲者的身体尺寸。针对单人演讲、多人演讲以及与电子白板互动等不同情况,系统可根据不同的演讲风格进行场景优化 ,调整画面切换与镜头运动,提供最佳的视觉呈现。
无缝的Q-SYS集成
- Seamless Q-SYS Integration -
Q-SYS VisionSuite相关设备
Seervision服务器是基于IP的,只需要一根网线 就可以与Q-SYS集成。Seervision解决方案使用视频数据来分析和控制专用的Q-SYS网络摄像机,且不会影响实际的视频信号。
Seervision仅与Q-SYS NV系列网络摄像机兼容:
NC-12x80 / NC-20x60 网络摄像机:用于演讲者追踪或固定视角
NC-110 网络摄像机:用于广角或固定视角
通过Q-SYS控制实现房间自动化
- Room Automation via Q-SYS Control -
将智能摄像跟踪与 Q-SYS 控制系统相结合,可为您的系统配备原生 Q-SYS 设备和其他第三方房间设备的完全自动化控制 。想象一下,演讲者只需走进房间的特定区域即可触发灯光变化或切换显示器的电源,“无感”地实现卓越的混合会议视听体验。
应用场景示例
Q-SYS VisionSuite 提供了一种可扩展的智能视频解决方案,能够满足会议室、讲堂和高效协作空间中的各种演示和协作需求。以下是一些初始用例的示例。我们将很快支持更多的应用场景。
单一演讲者
- Single Presenter -
摄像机设置:
一台演讲者追踪摄像机:Q-SYS 网络云台摄像机
适用场景:
教室
讲堂/全员会议室
会议室
可分割的房间
用户体验:
摄像头从用户设置的默认位置启动,并自动追踪进入“演讲者追踪区域 ”的演讲者。
当演讲者离开“演讲者追踪区域”时,演讲者追踪摄像机自动恢复到用户设置的默认位置(例如房间的广角画面)。
单一演讲者+静态视图
- Single Presenter+Static View -
摄像机设置:
一台演讲者追踪摄像机(主):Q-SYS 网络云台摄像机
一台静态视图摄像机(辅):Q-SYS 网络电动云台或云台摄像机
适用场景:
教室
讲堂/全员会议室
会议室
用户体验:
主摄像头从用户设置的默认位置启动,并自动追踪进入“演讲者追踪区域”的演讲者。
当演讲者进入预设好的“触发区域-白板视图 ”时,系统会迅速切换至静态视图摄像机,为观众清晰地呈现白板内容。
如果没有演讲者在“演讲者追踪区域”或“触发区域-白板视图”,主摄像头将自动恢复到用户设置的默认位置(例如房间的广角视图)。
单一演讲者+静态视图+ACPR
- Single Presenter+Static View+ACPR -
摄像机设置:
一台演讲者追踪摄像机:Q-SYS 网络云台摄像机
一台静态视图摄像机:Q-SYS 网络电动云台或云台摄像机
ACPR摄像机:Q-SYS 网络电动云台或云台摄像机(无数量限制)
适用场景:
教室
讲堂/全员会议室
会议室
可分割的房间
用户体验:
主摄像头从用户设置的默认位置启动,并自动追踪进入“演讲者追踪区域”的演讲者。
当演讲者进入预设好的“触发区域-白板视图”时,辅助摄像头会自动对准白板,提供一个固定的白板视图。
如果没有演讲者进入“演讲者追踪区域”或“触发区域-白板视图”,主摄像头将自动恢复到用户设置的默认位置(例如房间的广角视图)。
当参会者发言 时,Q-SYS 使用房间内麦克风的数据来触发用户设置的摄像机预设,并将实时视频流切换到发言者画面 。
多演讲者
- Multi-Presenter -
摄像机设置:
一台演讲者追踪摄像机(主):Q-SYS 网络云台摄像机
一台指挥者摄像机(辅):Q-SYS 网络电动云台或云台摄像机
适用场景:
讲堂/全员会议室
用户体验:
主摄像头从用户设置的默认位置启动,并自动追踪进入“演讲者追踪区域”的第一个演讲者。
当在“演讲者追踪区域”内检测到第二位演讲者时 ,实时视频流会切换到指挥者摄像机 ,以更宽广的角度呈现两位演讲者的互动(只要两位演讲者都保持在追踪区域内)。
画面会持续保持在指挥者追踪摄像机上,一旦其中一位演讲者离开了“演讲者追踪区域”,画面将切换回主摄像机,捕捉并追踪留下的那位演讲者。
量身定制的解决方案
- Tailored for Every Space -
Q-SYS VisionSuite 解决方案可以灵活适应各种更为复杂的房间类型 (如灵活分隔空间)。这种设计可以根据房间的配置启用不同的使用模式。例如,当房间被分隔成多个空间时,您可以使用单一演讲者追踪模式;当房间合并为一个整体时,则可以启用多个演讲者追踪模式。
系统概述
AI技术在PRO AV行业中创造巨大价值,并推动行业向前发展。Q-SYS VisionSuite作为一个创新的智能化会议解决方案,区别于市场上其他同类技术,对提升会议质量、增加互动性方面起到关键的作用。在大型演讲、远程教育、混合会议方面有极高的应用价值,可以为企业、学校/高校、酒店/大型场所等带来无限的可能。