用于结合多个实时流动互动式视频的视图的系统
2019-11-22

用于结合多个实时流动互动式视频的视图的系统

本发明提供了一种设备,包括多个服务器,该多个服务器被安排在并列处理配置中以创建多个低延时流动互动式视频流。每个服务器生成低延时流动互动式视频流。单元将多个流结合到新的低延时流动互动式视频流中。该单元还可操作用于提供用户接口,该用户接口允许用户对产生的所结合的流的实时互动式操作。

另外,向全部电视观众广播视频游戏的全屏幕图像的给定电视频道每次仅显示一个视频游戏。这严重地限制电视观看者的选择。举例而言,电视观看者可能对给定时间显示的游戏不感兴趣。另一观看者可能仅对观看并非由电视频道在给定时间放映的特定玩家的游戏播放感兴趣。在其他状况下,观看者可能仅对观看内行玩家如何处理游戏中的特定级别感兴趣。其他观看者可能希望控制观看点(视频游戏从该观看点来看),该观看点不同于由制作小组等选择的观看点。简言之,电视观看者在观看视频游戏中可能具有无数的偏好(即使若干个不同电视频道可用,电视网络的特定广播也不适应所述偏好)。由于所有上述原因,使得先前技术视频游戏电视频道在向电视观看者呈现视频游戏中具有显著限制。

上述问题的一个方法是在线游戏,其中将游戏程序代码及数据主机代管于服务器上且按要求将其传送至客户端机器,经压缩的视频及音频经由数字宽带网络而流动。一些公司(诸如,芬兰的G-Cluster(G-群集公司),其现在为日本的SOFTBANKBroadmedia(软银宽媒)的子公司)当前在线提供所述服务。类似游戏服务变得在本地网络(诸如,旅馆内及由DSL及电缆电视提供者提供的那些网络)中可用。这些系统的较大缺点是延时的问题,也即,信号行进到游戏服务器及从游戏服务器行进所花费的时间,游戏服务器通常定位在运营商的"前端"中。快速动作视频游戏(也称为"极速(twitch)"视频游戏)在用户通过游戏控制器执行动作的时间与更新显示屏幕以显示用户动作的结果的时间之间需要非常低的延时。需要低延时,以使得用户感觉到游戏"即刻地"响应。可视游戏的类型及用户的熟练程度而以不同延时间隔来满足用户。举例而言,对于缓慢的非正式游戏(类似西洋双陆棋)或慢动作角色扮演游戏而言,100毫秒的延时可能是可容忍的,但在快动作游戏中,超过70毫秒或80毫秒的延时可引起用户在游戏中更拙劣地表现,且因此不可接受。举例而言,在需要快反应时间的游戏中,当延时自50毫秒增加至100毫秒时,存在准确度的锐降。

以上描述提供由以通用互联网为基础的低延时流动互动式视频(其隐含地也包括连同视频一起的音频,如本文中所使用)的新颖基本概念致能的多种应用。经由互联网而提供流动视频的先前技术系统仅具有可通过高延时互动实施的所致能的应用。举例而言,用于线性视频的基本回放控制(例如,暂停、回倒、快进)在高延时下适当地工作,且有可能在线性视频馈送当中进行选择。此外,如先前所陈述,一些视频游戏的性质允许其以高延时来播放。但是,用于流动视频的先前技术方法的高延时(或低压缩比率)严重限制流动视频的潜在应用或使其部署变窄到专门化的网络环境,且甚至在所述环境中,先前技术也引入网络上的实质负担。本文中所描述的技术打开了在经由互联网的低延时流动互动式视频下可能的多种应用的大门,尤其是经由消费者级互联网连接而致能的所述应用。

在一个实施例中,将客户端415实施为执行FFmpeg的8个实例化的PC上的软件。接收过程接收8个图像块,且将每一图像块路由至FFmpeg实例化,FFmpeg实例化解压缩图像块并将其再现至显示设备422上的适当图像块位置。

自20世纪中期到现在,媒体生态系统对于消费者与出版商的利益及损失来说都经历了一系列根本改变。在音频录音机(尤其是具有高质量立体声的盒式磁带)的广泛引入的情况下,的确有较高程度的消费者便利。但其也标志着现在广泛的消费者媒体实践-盗版的开始。的确,许多消费者纯粹出于便利起见而使用盒式磁带来录制其自己的唱片,但日益增加的消费者(例如,宿舍中准备存取彼此的唱片收集的学生)将进行盗版复制。而且,消费者将录制经由无线电播放的音乐,而非从出版商购买唱片或磁带。

电影、电视节目及音频材料(统称"线性内容")广泛地以许多形式可用于家庭及办公室用户。线性内容可在如⑶、DVD、HD-DVD及蓝光媒体的实体媒体上获取。其也可通过来自卫星及电缆TV广播的DVR来记录。此外,其可以经由卫星及电缆TV的即付即看(PPV)内容及以电缆TV上的视频点播(V0D)可用。

在一个实施例中所使用的低延时压缩逻辑404使用若干不同技术来解决流动低延时经压缩视频同时维持高质量的许多问题。首先,低延时压缩逻辑404仅产生I帧及P帧,从而缓解等待若干个帧时间来解码每个B帧的需要。另外,如图7a中所说明,在一个实施例中,低延时压缩逻辑404将每个未经压缩的帧701-760再分成一系列"图像块(tile)"且将每个图像块个别地编码为I帧或P帧。在本文中将该群经压缩的I帧及P帧称作"R帧"711-770。在图7a中所显示的特定实例中,将每个未经压缩的帧再分成4X4矩阵的16个图像块。然而,所述基本原理不限于任何特定再分机制。

客户端465含有耦合至蓝牙无线接口的控制信号逻辑413(图4a),该蓝牙无线接口与诸如键盘、鼠标、游戏控制器和/或麦克风和/或耳机的蓝牙输入设备479相接口。而且,客户端465的一个实施例在与显示设备468耦合的情况下能够以120fps输出视频,显示设备468能够支持120fps视频且向一对遮光眼镜466发信号(通常经由红外)以对于每个相继帧交替地遮蔽一只眼接着遮蔽另一只眼。用户所感觉的效果为"跳出"显示屏幕的立体3D图像。支持该操作的一种该显示设备468为SamsungHL-T5076S。因为用于每一只眼的视频流是单独的,所以在两个独立视频流由主机服务210压缩的一个实施例中,帧在时间上交错,且帧在客户端465内以两个独立解压缩过程来解压缩。

另外,盗版是视频游戏工业的较大问题。实际上每个较大视频游戏系统上所利用的安全机构这些年来已"破裂",导致视频游戏的未经授权的复制。举例而言,Xbox360安全系统在2006年7月破裂且用户现在能够在线下载非法复本。可下载的游戏(例如,用于PC或Mac的游戏)特别容易经受盗版。在世界的特定区域(其中盗版管制不强)中,实质上不存在独立视频游戏软件的可行市场,因为用户可与合法复本一般容易地以成本的非常小一部分购买盗版复本。而且,在世界的许多地方,游戏控制台的成本占收入的高百分比,以致即使盗版受控制,也很少有人可买得起目前技术状态的游戏系统。

因此,在足够高的网络速度,以及足够低延时的大量储存器下,可与CPU和/或GPU可处理3D数据一般快地将几何形状流动到应用程序/游戏服务器1521-1525中。因此,在先前所给出的实例中,其中用户突然将其人物转向且向后看,可在人物完成旋转之前载入其身后的所有人物的几何形状,且因此,对于用户而言,将看来似乎其处于与现场直播的动作一般真实的照片般逼真的世界中。

导致不具经济效益的另一问题与以下事实有关:给定PC或游戏控制台通常被设计以适应对应用程序和/或游戏的特定程度的性能要求。举例而言,一些PC具有或多或少的RAM、较慢或较快的CPU及较慢或较快的GPU(若其具有GPU)。一些游戏或应用程序利用给定PC或控制台的全计算能力,而一些游戏或应用程序却不利用给定PC或控制台的全计算能力。若用户的游戏或应用程序的选择未达到本地PC或控制台的峰值性能能力,则用户可能由于未利用的特征而在PC或控制台上浪费了财力。在控制台的状况下,控制台制造商可能支付比资助控制台成本所要的多的成本。

图24为示出了在现场直播网页之前消逝的时间量与连接速度的曲线图。

因此,游戏可几乎即刻启动,其将在理想环境中执行,且随后的片段将几乎即刻载入。

用于结合多个实时流动互动式视频的视图的系统

本发明提供了一种设备,包括多个服务器,该多个服务器被安排在并列处理配置中以创建多个低延时流动互动式视频流。每个服务器生成低延时流动互动式视频流。单元将多个流结合到新的低延时流动互动式视频流中。该单元还可操作用于提供用户接口,该用户接口允许用户对产生的所结合的流的实时互动式操作。

根据下面的详细描述并根据附图可以更完整地理解本公开,然而,所述附图并不用来将公开的主题限制到所示特定实施方式中,而只是用作解释和理解。

图21说明一个互动式广告,其中用户将在汽车在陈列室中旋转时选择汽车的外部及内部色彩,同时实时射线追踪显示汽车看起来如何。接着用户选择角色来驾驶汽车,且接着用户可采用该汽车来用于在竞赛轨道上或者穿过诸如摩纳哥的外国场所驾驶。用户可选择较大引擎或较佳轮胎,且接着可看见改变的配置如何影响汽车加速或保持稳定的能力。

假定快动作视频游戏的用户对于高延时具有小的容忍度,且给定所有上述延时原因,至今存在对于使视频在互联网上流动的服务器主机代管的视频游戏的限制。另外,若需要高度互动性的应用程序被主机代管于通用互联网上且使视频流动,则所述应用程序的用户遭受类似限制。所述服务需要网络配置,其中主机代管服务器直接设置于前端(在电缆宽带的状况下)或中央办公室(在数字用户线(DSL)的状况下)中,或商业背景中的LAN内(或特别分级的私用连接上),以便控制自客户端设备至服务器的路线及距离以最小化延时且可适应峰值而不造成延时。LAN(通常额定在lOOMbps-IGbps)及具有足够带宽的租用线路通常可支持峰值带宽要求(例如,18Mbps峰值带宽为100MbpsLAN容量的一小部分)。若进行特殊适应,则峰值带宽要求也可由住宅宽带基础架构来适应。举例而言,在电缆TV系统上,可为数字视频通信给出专用带宽,该专用带宽可处理诸如大I帧的峰值。此夕卜,在DSL系统上,可供应较高速度的DSL调制解调器(考虑高峰值),或可供应可处理较高数据速率的特别分级的连接。但是,附接至通用互联网的传统电缆调制解调器及DSL基础架构对于用于压缩的视频的峰值带宽要求而言远不能容忍。因此,在线服务(将视频游戏或应用程序主机代管于距客户端设备长距离的服务器中心中,且接着经由传统的住宅宽带连接经由互联网而使经压缩的视频输出流动)遭受显著的延时及峰值带宽要求-尤其对于需要非常低的延时的游戏及应用程序(例如,第一人称射击游戏及其他多用户、互动式动作游戏,或需要快响应时间的应用程序)。

因为所显示的游戏为多人游戏,所以用户可决定在某时刻加入该游戏。由于多种原因,主机服务210可或可不允许用户加入该游戏。举例而言,用户可能必须支付玩游戏的费用而选择不支付,用户可能不具有足以加入所述特定游戏的足够等级(例如,对于其他玩家而言,其将不有竞争性),或者用户的互联网连接可能不具有足以允许用户玩的足够低的延时(例如,不存在用于观看游戏的延时约束,因此可在无延时关注的情况下观看被远距离地(实际上,在另一大陆上)玩的游戏,但对于待玩的游戏而言,延时必须足够低以使用户(a)享受该游戏,且(b)处于与可能具有较低延时连接的其他玩家相等的地位)。若准许用户玩,则为用户提供游戏取景器用户接口的应用程序/游戏服务器1521-1525将请求主机服务控制服务器401初始化(也即,定位并启动)被合适地配置以用于播放特定游戏的应用程序/游戏服务器1521-1525从而从RAID阵列1511-1512载入该游戏,且接着主机服务控制服务器401将指导入埠路由1502将来自用户的控制信号传送至现在对游戏进行主机代管的应用程序/游戏服务器且现在对游戏进行主机代管的应用程序/游戏服务器将指导共用硬件压缩1530自压缩来从主机代管游戏取景器应用程序的应用程序/游戏服务器的视频/音频切换至压缩来自现在对游戏进行主机代管的应用程序/游戏服务器的视频/音频。游戏取景器应用程序/游戏服务与对游戏进行主机代管的新的应用程序/游戏服务器的垂直同步并不同步,且因此在该两个同步之间可能存在时间差。因为共用视频压缩硬件1530将在应用程序/游戏服务器1521-1525完成视频帧之后即开始压缩视频,所以来自新服务器的第一帧可比旧服务器的全帧时间完成得早,来自新服务器的第一帧可能在先前经压缩的巾贞完成其传输之前(例如,考虑图9b的传输时间992:若未经压缩的巾贞3963早一巾贞时间的一半地完成,则其将影响(impinge)传输时间992)。在这种情形下,共用视频压缩硬件1530将忽略来自新服务器的第一帧(例如,如忽略(974)帧4964),且客户端415将来自旧服务器的最末帧保持额外一帧时间,且共用视频压缩硬件1530将开始压缩来自对游戏进行主机代管的新应用程序/游戏服务器的下一帧时间视频。对于用户而言,在视觉上,从一个应用程序/游戏服务器至另一应用程序/游戏服务器的转变将是无缝的。主机服务控制服务器401接着将通知对游戏取景器进行主机代管的应用程序/游戏服务器1521-1525切换至闲置状态,直至再次需要其为止。

图4e显示客户端465的内部架构的一个实施例。该图中所显示的所有设备或一些设备可实施在场可程序化逻辑阵列、定制ASIC中或若干个离散设备(定制设计或者现成的)中。

若特定主机服务服务器中心超载和/或用户的游戏或应用程序可容忍至另一、较少载入的主机服务服务器中心的延时,则可将客户端415重定向至另一主机服务服务器中心。在此种情形下,将使用户正执行的游戏或应用程序在用户的超载服务器中心处的服务器402上暂停,且将游戏或应用程序状态数据传送至另一主机服务服务器中心处的服务器402。接着将重新开始该游戏或应用程序。在一个实施例中,主机服务210将等待直至游戏或应用程序达到自然暂停点(例如,游戏中的级别之间,或者在用户在应用程序中起始"保存"操作之后)才进行传送。在又一实施例中,主机服务210将等待直至用户活动停止历时指定时间周期(例如,1分钟)为止且接着将在这时起始传送。

在另一实施例中,并非将FEC码连同用户输入命令数据一起发送,而是将用户输入命令数据传输两次,每次在不同分组中传输。若一个分组丢失/延迟,则使用另一分组。

图4c示出了根据一个实施例的客户端设备。

互动式动画广告

主机服务210的另一特征是多个用户在观看现场直播的视频的同时合作的能力(即使使用迥然不同的设备来观看也如此)。当玩游戏时及当使用应用程序时,这都有用。

流动互动式视频

共用硬件压缩1530也使用诸如先前所描述的所述装置的装置将经压缩的视频/音频分组化,且在适当时,应用FEC码,复制特定数据,或采取其他步骤,以便充分地确保视频/音频数据流由客户端415接收且以可行的高质量及可靠性解压缩的能力。