计算机视觉/视频分析

预测图像如何影响视觉反应速度

想象一下,当你沿着一条路行驶时,一个障碍突然出现在你的路上。你能多快做出反应?你的反应速度如何随时间、障碍物的颜色以及它在你视野中的位置而变化?

对视觉事件做出快速反应的能力对日常生活很有价值。它也是快节奏视频游戏中的一项基本技能。 NVIDIA 、纽约大学和普林斯顿大学的研究人员最近进行了合作 – SIGGRAPH 2022 年技术论文奖得主 – 探索图像特征与观察者反应所需时间之间的关系。

Graphic illustrating how low-contrast features slow down reaction speed and high-contrast ones speed it up.
图 1.人类视觉反应速度随目标的视觉特征而变化。该示例显示了低对比度特征(中上)如何减慢反应速度,而高对比度特征则如何加快反应速度。

反应速度和视觉事件

随着显示技术的不断进步,人类的反应时间已经成为图形管道中的主要瓶颈。与远程服务器通信、渲染和显示图像以及收集和处理鼠标或键盘输入的响应时间通常为几十毫秒或更短。

相比之下,人类感知的管道要慢得多,根据视觉输入的复杂程度,可以在 100 到 500 毫秒之间。这项研究旨在简化和优化图像,尽可能减少我们的反应时间。

视觉对比度和空间频率是影响低水平视觉的众所周知的特征。此外,人类的视觉在整个视野中并不均匀。提高反应时间所需的对比度取决于偏心率、视角(物体相对于中心视线的位置)和空间频率(例如,物体是纯色还是复杂图案)。反应时间是许多神经过程的组合,所提出的模型包括所有这些因素。

反应时间测量基于称为扫视的自愿快速眼动的起始潜伏期。目标一出现在屏幕上,“反应时间时钟”就开始滴答作响。一旦识别出目标,就开始向其扫视。

Graphic showing yhree visual characteristics that influence saccadic reaction time: contrast (left), frequency (center), and eccentricity (right)
图 2.影响扫视反应时间的三个视觉特征:对比度(左)、频率(中)和偏心率(右)

扫视反应模型

为了建立一个感知准确的反应时间预测模型,研究人员对人类观察者进行了一系列实验,收集了 11000 多个不同图像特征的反应时间。

受人脑感知信息和决策方式的启发,研究人员设计了一个反应时间预测模型,考虑了对比度、频率和偏心率,以及人类反应速度的内在随机性。

在这个模型中,随着时间的推移,“决策置信度”的量度会累积,一旦累积了足够的置信度,就会进行一次扫视。置信度随时间累积的速率不一致,如下面的视频所示。

视频 1.人眼需要时间累积入射光子,直到达到足以做出决定的水平,然后进行扫视。这使得扫视反应时间由于视觉处理中的噪声而固有地随机。

因此,该模型提供了显示各种反应时间的可能性,而不是完全确定地预测单个反应时间。置信度累积的平均速率受图像特征的影响,并导致反应时间的可能性发生变化,如下面的视频所示。

 
视频 2.对于已知对比度、频率和偏心率的视觉对象,该模型预测可能反应时间的随机分布

两个验证实验证实,该模型可以应用于可能看到的图像,包括视频游戏和自然照片。

The proposed model accurately predicts human reaction times for varying visual conditions such as a soccer game (left), a shooter game (center), and a natural photograph (right). Shooter game assets courtesy of Counter-Strike: Global Offensive, Valve Corporation.
图 3.提出的模型准确预测了不同视觉条件下的人类反应时间,如足球比赛(左)、射击比赛(中)和自然照片(右)。《反击:全球进攻》提供的射击游戏资产, Valve Corporation 。

使用反应时间预测优化人的绩效

这种扫视反应时间模型的应用包括,例如,智能驾驶辅助系统,用于估计驾驶员是否能够对行人和其他车辆做出安全反应,并启用适当的辅助功能。类似地,电子竞技游戏设计师可以使用该模型来理解游戏视觉设计的公平性,避免竞争结果中的偏见。

野心勃勃的玩家也可以使用这种模型来微调他们的设置以获得最佳性能——例如,为目标 3D 对象选择最佳皮肤。

在未来的工作中,研究团队计划探索颜色和时间效应等其他图像特征如何影响人类的反应时间,以及如何训练人类提高他们对屏幕或现实世界事件的反应速度。

欲了解更多详情,请阅读报纸, 图像特征影响反应时间:一种学习的扫视潜伏期概率感知模型 。您也可以访问 注视时机 GitHub 上的项目。

论文作者 Budmonde Duinkharjav 、 Praneeth Chakravarthula 、 Rachel Brown 、 Anjul Patney 和 Qi Sun 将在 SIGGRAPH 2022 年 8 月 11 日在不列颠哥伦比亚省温哥华。

 

Tags