论文部分内容阅读
中国网络电视台(CNTV)在2010～2011NBA季后赛期间推出全新的技术产品“爱看NBA”，该产品采用了一种全新的网络视频观看模式，并运用了行业中领先的视频特征识别技术，是863项目——《基于高可信网络的视频分享示范应用》的最新技术成果之一。
中国网络电视台依托网络视频数据库对NBA赛事数据进行分析，结合自主研发的视频特征分析技术，在2010～2011NBA季后赛期间推出技术产品“爱看NBA”。
该产品运用了行业中领先的视频特征识别技术，通过基于视频“帧”内容的智能分析，结合赛事数据，可在比赛回放中识别出“何人在何时做何事”等重要信息，用户既可以选择只观看某个或某几个球员的视频片段，也可以直接观看3分球等精彩进球瞬间，在进球等事件发生时，还可以对事件信息进行提示，且所有数据均自动生成，不需任何人工干预。运营部门在有需要的情况下，还可以将自己的运营思路，软性广告等内容加入其中，以增加其用户粘性和运营指标。
“爱看NBA”不但改变了用户观看NBA赛事点播视频的体验，而且作为一种全新的观看模式，大大增加了用户的互动性，为多媒体分析技术应用于网络视频领域的一个非常成功的案例。
行业技术背景
体育视频是用户关注度非常高的一类媒体数据，拥有巨大的观众群体和很好的应用前景。随着互联网的普及以及网络视频行业的飞速发展，在网上观看体育视频已成为一种大众选择。而用户在网上观看体育视频时，不只满足于广播方式的直接观看和简单浏览，还会有更多的需求，例如精彩片段与事件检测、视频内容快速浏览、视频与咨询网页的关联、更多互动操作等等，而这些需求的实现均依赖于多媒体分析技术，需要计算机对视频内容进行分析与理解，以识别出视频中的对象与事件。
多媒体分析技术一直处于科研前沿，以前，有关行业虽然在视频分析方面做了很多工作，但是基于多媒体分析技术的产品却非常少，主要原因是视频的底层特征与高层语义之间存在很大鸿沟：即想要让计算机把图像和音频数据转化成对视频内容的具体描述，是一件很困难的事情。当前的技术很难做到较高的准确率，而实际产品又对准确率要求严格。
尽管存在语义鸿沟的问题，但体育视频有自己的优势：首先，体育视频中的中级语义事件较多，有助于高级语义事件的检测。如，通过吹哨声音的检测，可以辅助检测足球比赛的进球或者犯规等事件；其次，体育视频的结构和规则较为特殊，利用这些规则，可以减少算法分析的难度。体育视频的上述特点，使得多媒体分析技术在体育视频上的应用变得更接近可能，且不同种类的体育视频有不同的结构规律，“爱看NBA”就是充分利用了NBA比赛视频的结构和规则，通过对中级语义事件进行识别，使得多媒体分析技术可被成功应用于该产品中。
用户需求分析
在研发产品之前，央视首先对用户需求进行了详细分析，以使产品定位能够更贴近用户。
篮球比赛在各种体育赛事中占有重要地位，特别是NBA比赛，在世界各国均有大量的球迷，而随着网络视频的快速发展，将有越来越多的球迷选择在网上观看各种比赛。如在国内，中国网络电视台(CNTV)、新浪等视频网站在网上直播的NBA赛事及在比赛结束后提供的点播视频，都吸引了大量用户。
目前，网上观看NBA视频的方式都是简单的被动观看，用户几乎没有任何互动操作，顶多在点播视频的时候，可以拖动一下进度条。其实，用户对网络视频收看是存在很多潜在需求的，如有的用户在观看NBA火箭队比赛的时候，最为关注姚明，因此，他们想要直接收看与姚明相关的精彩片段；有的用户喜欢看三分球，他们想要直接观看比赛中所有的三分球片段；有的用户没时间从头到尾把视频全部看完，只想观看最精彩的部分……，由于目前的网络视频点播模式无法满足用户的这种潜在需求，因此用户和网络视频之间的互动效果也无法体现。
“爱看NBA”产品的的出现则可完全打破这种局限，用户在观看篮球赛事点播视频的时候，不但可以浏览所有的看点(精彩片段)信息，还可以通过互动操作，选择自己感兴趣的看点直接观看。即该产品彻底改变了目前网络篮球赛事视频的点播播放的“弱互动”模式，可为用户提供更多的赛事信息、选择空间和操作方式，使用户不再是被动地观看视频，而是可以主动选择自己喜欢的视频内容。
产品使用分析
“爱看NBA”界面如图1所示。从图1可以看出，“爱看NBA”的界面可分为两大部分：在播放器下方的主面板和播放器右侧的侧面板，且主面板和右侧面板的播放内容的侧重点各不相同，其中，主面板上有丰富的互动操作控件，可满足用户用多种方式观看的需求；右侧面板上展示的文字信息较多，更偏向于用户整体快速浏览后的观看看点。主面板和右侧面板上都有可以收起面板的控件，如果用户不想使用看点功能，可以选择全屏观看模式。
主面板的控件可大致分成三个区域：最上面一排为模式按钮，中间为所有队员按钮，最下面的一排为圆点按钮。
在最下面一排的圆点按钮中，每一个圆点表示一个精彩看点，并被分成两种颜色，其中，红色表示客场球队的精彩看点，蓝色表示主场球队的精彩看点，且所有圆点分布在一条时间轴上，时间轴表示比赛的时间，其进度会随着比赛的进程而同步变化。由于每一个圆点在时间轴上的位置与该看点在视频上的时间所对应，因此用户看一眼时间轴上的圆点，就可以对该比赛视频的看点情况有一个总体性的了解。
在具体操作方式上，用户只要将鼠标移动到圆点按钮上，就可以通过提示标签观看该看点的内容，如：“小牛队，德克一诺维斯基，投中3分”。点击圆点按钮，播放器就会控制视频自动跳转到相应的位置，直接播放该精彩看点。用户还可以先用鼠标浏览所有看点的标签内容，如对某个看点感兴趣，则可直接点击鼠标观看，操作非常方便。
同时，该页面在主面板在中间区域列出了两个队伍的logo及所有得分球员，同样，红色表示客场球队，蓝色表示主场球队。由于空间有限，每个球员均用一个队服按钮来表示，且球衣上只显示球员名字中的一个字，用户将鼠标移动到队服按钮上时，就可以看到提示标签，提示该球员的名字以及他在本视频中有几个看点，例如“詹姆斯－哈登，有3个看点，请点击观看”。同时，当最下面的一排圆点中表示该球员的看点时会变大变亮，例如詹姆斯是客场队员有3个看点，将鼠标移动到詹姆斯的队服上时，时间轴上关于詹姆斯的三个红色的圆点会变大变亮，以提示用户詹姆斯精彩看点的位置。
当用户用鼠标点击队服按钮时，播放器会跳转到该球员精彩看点的位置开始播放。如果一个球员有多个精彩看点，每点击一次队服按钮，播放器就会跳转到下一个精彩看点的位置，提示标签的内容也会随之变化，播放完该球员所有精彩看点后，再点击队服按钮，该按钮的颜色会变成灰色，表示没有选中状态。通过 点击两个球队的logo，可以全选或者反选该队所有队员的队服按钮。
主面板最上面一排按钮用于切换看点模式，共有4种模式：所有、1分、2分、3分。默认选项为“所有”模式，会显示所有看点。当切换到其他模式时，如“1分”模式，时间轴上只显示1分球的看点，且队服按钮的队员也只显示得了1分球的队员。这个功能可帮助用户细化看点，例如有的用户想看所有的3分球，就可以切换到“3分”模式。
右侧面板上也列出了所有的看点，同时看点被分成两栏：编辑推荐及比赛实录，其中，比赛实录中的看点与主面板时间轴上的看点一致，而编辑推荐看点则是由编辑手工添加的看点，这一栏中还可以添加超链接形式的文字。当用户点击看点文字时，播放器会自动跳转到该看点的位置直接播放，而当文字为超链接的形式时，例如：“李娜逆转复仇捷克天才，首进法网8强创历史”，点击文字则会打开相应的网页。因此在超链接形式的文字中，可以编辑一些相关的新闻页面，甚至还可以考虑添加广告。右侧面板最下面为一些常用的超链接，包括每一节比赛的视频、技术统计、完整赛事等。
综上所述，“爱看NBA”可以帮助用户用多种方式快速浏览各种精彩看点，并帮助用户直接观看自己感兴趣的看点视频。例如，诺维斯基的球迷可以迅速浏览诺维斯基的所有看点，既能整体了解诺维斯基的整体看点情况，又可以仔细观看每一个细节。
后台智能算法
“爱看NBA”的亮点不仅在于其点播播放的新模式，还包括它的后台智能算法，播放器展示的所有看点的数据均由智能算法自动分析处理得到，完全不需要人工参与，节省了大量的人力成本。
如果采用人工编辑的方式添加每一条看点的数据，编辑需要从头到尾完整地看一遍视频，找到每个精彩片段的位置，然后定位到该精彩片段的起始结束位置，找到该精彩片段是哪个队的哪个队员做的什么事情，然后将这些文字信息手动输入到系统中，这个过程需要花费很大的精力，而且容易出错。如果比赛在夜里进行，为了保证实时性，编辑还要熬夜制作数据，非常不方便。因此，没有智能算法支持，人工制作所有看点数据将花费很大代价。
后台智能算法主要做两件事情，一是对视频内容进行分析，找到精彩看点的位置；二是抓取网络数据，对精彩看点进行详细描述，如图2所示。其中，对视频内容的分析不是简单地分析视频的编目信息，而是利用多媒体分析算法分析视频的数据内容，因此需要将视频解码成图像帧和音频后，再利用对象识别技术和音频分析技术来识别比赛中的精彩看点。智能算法虽然可以做到完全自动处理，但是也难以避免少量错误的产生，为此“爱看NBA”采用了一个纠错模块，可纠正绝大部分错误，对于个别无法纠正错误的可疑看点，则自动抛弃。因此，“爱看NBA”几乎没有错误情况发生，自从上线以来就没有收到任何关于错误的反馈。
为了使“爱看NBA”有更好的扩展功能，央视网后台提供了编辑接口，编辑可以通过接口编辑看点或者增加超链接。编辑看点的权利包括修改每一条看点的各种属性、增加新看点、删除不想要的看点等。通过编辑接口，可以将看点的内容描述得非常个性化以吸引用户点击，甚至可以加入超链接甚至广告等。
未来展望
事实上，“爱看NBA”并不是CNTV第一次推出的基于多媒体分析技术的产品，在今年年初，CNTV配合亚洲杯的开赛，推出了“爱看足球”，该产品运用CNTV自主研发的视频特征识别技术，可对足球赛事视频中的精彩片段进行智能识别，并在时间轴上进行标识，是CNTV在多媒体分析技术应用的首次尝试。该产品已在CNTV体育频道亚洲杯、欧冠、西甲、意甲、德甲及所有足球完整赛事的视频点播播放器上使用。
从图3可以看出，早期的“爱看足球”产品界面相对简单，只是在时间轴上列出了精彩看点。“爱看NBA”与早期的“爱看足球”相比，其互动操作的选择更加丰富，后台智能算法也为更强大。
“爱看足球”与“爱看NBA”均为央视“爱看(iCan)”系列产品的一个组成部分，二者定位的视频类型不同，但是功能基本一致，都是为用户提供视频的精彩看点，在方便用户的收看的同时增加互动性。
目前，“爱看(iCan)”其他系列新产品也已在研发过程中，未来“爱看(iCan)”系列产品将不仅局限于足球和篮球视频，也不仅局限于为用户提供精彩看点这一种方式，依托国家网络视频数据库，其将不断增加可以支持的视频种类。该产品的定位为：基于自主研发的多媒体分析技术，通过自动算法在视频内容层面上挖掘与识别出有用的信息，利用这些信息辅助用户更好地观看视频，增加用户的互动操作，彻底改变目前网络视频“弱互动”的模式，充分展示新媒体与传统媒体的区别与优势。
中国网络电视台依托网络视频数据库对NBA赛事数据进行分析，结合自主研发的视频特征分析技术，在2010～2011NBA季后赛期间推出技术产品“爱看NBA”。
该产品运用了行业中领先的视频特征识别技术，通过基于视频“帧”内容的智能分析，结合赛事数据，可在比赛回放中识别出“何人在何时做何事”等重要信息，用户既可以选择只观看某个或某几个球员的视频片段，也可以直接观看3分球等精彩进球瞬间，在进球等事件发生时，还可以对事件信息进行提示，且所有数据均自动生成，不需任何人工干预。运营部门在有需要的情况下，还可以将自己的运营思路，软性广告等内容加入其中，以增加其用户粘性和运营指标。
“爱看NBA”不但改变了用户观看NBA赛事点播视频的体验，而且作为一种全新的观看模式，大大增加了用户的互动性，为多媒体分析技术应用于网络视频领域的一个非常成功的案例。
行业技术背景
体育视频是用户关注度非常高的一类媒体数据，拥有巨大的观众群体和很好的应用前景。随着互联网的普及以及网络视频行业的飞速发展，在网上观看体育视频已成为一种大众选择。而用户在网上观看体育视频时，不只满足于广播方式的直接观看和简单浏览，还会有更多的需求，例如精彩片段与事件检测、视频内容快速浏览、视频与咨询网页的关联、更多互动操作等等，而这些需求的实现均依赖于多媒体分析技术，需要计算机对视频内容进行分析与理解，以识别出视频中的对象与事件。
多媒体分析技术一直处于科研前沿，以前，有关行业虽然在视频分析方面做了很多工作，但是基于多媒体分析技术的产品却非常少，主要原因是视频的底层特征与高层语义之间存在很大鸿沟：即想要让计算机把图像和音频数据转化成对视频内容的具体描述，是一件很困难的事情。当前的技术很难做到较高的准确率，而实际产品又对准确率要求严格。
尽管存在语义鸿沟的问题，但体育视频有自己的优势：首先，体育视频中的中级语义事件较多，有助于高级语义事件的检测。如，通过吹哨声音的检测，可以辅助检测足球比赛的进球或者犯规等事件；其次，体育视频的结构和规则较为特殊，利用这些规则，可以减少算法分析的难度。体育视频的上述特点，使得多媒体分析技术在体育视频上的应用变得更接近可能，且不同种类的体育视频有不同的结构规律，“爱看NBA”就是充分利用了NBA比赛视频的结构和规则，通过对中级语义事件进行识别，使得多媒体分析技术可被成功应用于该产品中。
用户需求分析
在研发产品之前，央视首先对用户需求进行了详细分析，以使产品定位能够更贴近用户。
篮球比赛在各种体育赛事中占有重要地位，特别是NBA比赛，在世界各国均有大量的球迷，而随着网络视频的快速发展，将有越来越多的球迷选择在网上观看各种比赛。如在国内，中国网络电视台(CNTV)、新浪等视频网站在网上直播的NBA赛事及在比赛结束后提供的点播视频，都吸引了大量用户。
目前，网上观看NBA视频的方式都是简单的被动观看，用户几乎没有任何互动操作，顶多在点播视频的时候，可以拖动一下进度条。其实，用户对网络视频收看是存在很多潜在需求的，如有的用户在观看NBA火箭队比赛的时候，最为关注姚明，因此，他们想要直接收看与姚明相关的精彩片段；有的用户喜欢看三分球，他们想要直接观看比赛中所有的三分球片段；有的用户没时间从头到尾把视频全部看完，只想观看最精彩的部分……，由于目前的网络视频点播模式无法满足用户的这种潜在需求，因此用户和网络视频之间的互动效果也无法体现。
“爱看NBA”产品的的出现则可完全打破这种局限，用户在观看篮球赛事点播视频的时候，不但可以浏览所有的看点(精彩片段)信息，还可以通过互动操作，选择自己感兴趣的看点直接观看。即该产品彻底改变了目前网络篮球赛事视频的点播播放的“弱互动”模式，可为用户提供更多的赛事信息、选择空间和操作方式，使用户不再是被动地观看视频，而是可以主动选择自己喜欢的视频内容。
产品使用分析
“爱看NBA”界面如图1所示。从图1可以看出，“爱看NBA”的界面可分为两大部分：在播放器下方的主面板和播放器右侧的侧面板，且主面板和右侧面板的播放内容的侧重点各不相同，其中，主面板上有丰富的互动操作控件，可满足用户用多种方式观看的需求；右侧面板上展示的文字信息较多，更偏向于用户整体快速浏览后的观看看点。主面板和右侧面板上都有可以收起面板的控件，如果用户不想使用看点功能，可以选择全屏观看模式。
主面板的控件可大致分成三个区域：最上面一排为模式按钮，中间为所有队员按钮，最下面的一排为圆点按钮。
在最下面一排的圆点按钮中，每一个圆点表示一个精彩看点，并被分成两种颜色，其中，红色表示客场球队的精彩看点，蓝色表示主场球队的精彩看点，且所有圆点分布在一条时间轴上，时间轴表示比赛的时间，其进度会随着比赛的进程而同步变化。由于每一个圆点在时间轴上的位置与该看点在视频上的时间所对应，因此用户看一眼时间轴上的圆点，就可以对该比赛视频的看点情况有一个总体性的了解。
在具体操作方式上，用户只要将鼠标移动到圆点按钮上，就可以通过提示标签观看该看点的内容，如：“小牛队，德克一诺维斯基，投中3分”。点击圆点按钮，播放器就会控制视频自动跳转到相应的位置，直接播放该精彩看点。用户还可以先用鼠标浏览所有看点的标签内容，如对某个看点感兴趣，则可直接点击鼠标观看，操作非常方便。
同时，该页面在主面板在中间区域列出了两个队伍的logo及所有得分球员，同样，红色表示客场球队，蓝色表示主场球队。由于空间有限，每个球员均用一个队服按钮来表示，且球衣上只显示球员名字中的一个字，用户将鼠标移动到队服按钮上时，就可以看到提示标签，提示该球员的名字以及他在本视频中有几个看点，例如“詹姆斯－哈登，有3个看点，请点击观看”。同时，当最下面的一排圆点中表示该球员的看点时会变大变亮，例如詹姆斯是客场队员有3个看点，将鼠标移动到詹姆斯的队服上时，时间轴上关于詹姆斯的三个红色的圆点会变大变亮，以提示用户詹姆斯精彩看点的位置。
当用户用鼠标点击队服按钮时，播放器会跳转到该球员精彩看点的位置开始播放。如果一个球员有多个精彩看点，每点击一次队服按钮，播放器就会跳转到下一个精彩看点的位置，提示标签的内容也会随之变化，播放完该球员所有精彩看点后，再点击队服按钮，该按钮的颜色会变成灰色，表示没有选中状态。通过 点击两个球队的logo，可以全选或者反选该队所有队员的队服按钮。
主面板最上面一排按钮用于切换看点模式，共有4种模式：所有、1分、2分、3分。默认选项为“所有”模式，会显示所有看点。当切换到其他模式时，如“1分”模式，时间轴上只显示1分球的看点，且队服按钮的队员也只显示得了1分球的队员。这个功能可帮助用户细化看点，例如有的用户想看所有的3分球，就可以切换到“3分”模式。
右侧面板上也列出了所有的看点，同时看点被分成两栏：编辑推荐及比赛实录，其中，比赛实录中的看点与主面板时间轴上的看点一致，而编辑推荐看点则是由编辑手工添加的看点，这一栏中还可以添加超链接形式的文字。当用户点击看点文字时，播放器会自动跳转到该看点的位置直接播放，而当文字为超链接的形式时，例如：“李娜逆转复仇捷克天才，首进法网8强创历史”，点击文字则会打开相应的网页。因此在超链接形式的文字中，可以编辑一些相关的新闻页面，甚至还可以考虑添加广告。右侧面板最下面为一些常用的超链接，包括每一节比赛的视频、技术统计、完整赛事等。
综上所述，“爱看NBA”可以帮助用户用多种方式快速浏览各种精彩看点，并帮助用户直接观看自己感兴趣的看点视频。例如，诺维斯基的球迷可以迅速浏览诺维斯基的所有看点，既能整体了解诺维斯基的整体看点情况，又可以仔细观看每一个细节。
后台智能算法
“爱看NBA”的亮点不仅在于其点播播放的新模式，还包括它的后台智能算法，播放器展示的所有看点的数据均由智能算法自动分析处理得到，完全不需要人工参与，节省了大量的人力成本。
如果采用人工编辑的方式添加每一条看点的数据，编辑需要从头到尾完整地看一遍视频，找到每个精彩片段的位置，然后定位到该精彩片段的起始结束位置，找到该精彩片段是哪个队的哪个队员做的什么事情，然后将这些文字信息手动输入到系统中，这个过程需要花费很大的精力，而且容易出错。如果比赛在夜里进行，为了保证实时性，编辑还要熬夜制作数据，非常不方便。因此，没有智能算法支持，人工制作所有看点数据将花费很大代价。
后台智能算法主要做两件事情，一是对视频内容进行分析，找到精彩看点的位置；二是抓取网络数据，对精彩看点进行详细描述，如图2所示。其中，对视频内容的分析不是简单地分析视频的编目信息，而是利用多媒体分析算法分析视频的数据内容，因此需要将视频解码成图像帧和音频后，再利用对象识别技术和音频分析技术来识别比赛中的精彩看点。智能算法虽然可以做到完全自动处理，但是也难以避免少量错误的产生，为此“爱看NBA”采用了一个纠错模块，可纠正绝大部分错误，对于个别无法纠正错误的可疑看点，则自动抛弃。因此，“爱看NBA”几乎没有错误情况发生，自从上线以来就没有收到任何关于错误的反馈。
为了使“爱看NBA”有更好的扩展功能，央视网后台提供了编辑接口，编辑可以通过接口编辑看点或者增加超链接。编辑看点的权利包括修改每一条看点的各种属性、增加新看点、删除不想要的看点等。通过编辑接口，可以将看点的内容描述得非常个性化以吸引用户点击，甚至可以加入超链接甚至广告等。
未来展望
事实上，“爱看NBA”并不是CNTV第一次推出的基于多媒体分析技术的产品，在今年年初，CNTV配合亚洲杯的开赛，推出了“爱看足球”，该产品运用CNTV自主研发的视频特征识别技术，可对足球赛事视频中的精彩片段进行智能识别，并在时间轴上进行标识，是CNTV在多媒体分析技术应用的首次尝试。该产品已在CNTV体育频道亚洲杯、欧冠、西甲、意甲、德甲及所有足球完整赛事的视频点播播放器上使用。
从图3可以看出，早期的“爱看足球”产品界面相对简单，只是在时间轴上列出了精彩看点。“爱看NBA”与早期的“爱看足球”相比，其互动操作的选择更加丰富，后台智能算法也为更强大。
“爱看足球”与“爱看NBA”均为央视“爱看(iCan)”系列产品的一个组成部分，二者定位的视频类型不同，但是功能基本一致，都是为用户提供视频的精彩看点，在方便用户的收看的同时增加互动性。
目前，“爱看(iCan)”其他系列新产品也已在研发过程中，未来“爱看(iCan)”系列产品将不仅局限于足球和篮球视频，也不仅局限于为用户提供精彩看点这一种方式，依托国家网络视频数据库，其将不断增加可以支持的视频种类。该产品的定位为：基于自主研发的多媒体分析技术，通过自动算法在视频内容层面上挖掘与识别出有用的信息，利用这些信息辅助用户更好地观看视频，增加用户的互动操作，彻底改变目前网络视频“弱互动”的模式，充分展示新媒体与传统媒体的区别与优势。