增强受众测量数据的系统和方法
【专利摘要】本公开提供用于增强受众测量数据的系统和方法。可以比较和关联离线和在线受众测量数据以改善每个数据和来源集合的质量。离线和在线数据集之间的正相关可以指示人口统计特点很可能为真，使得离群值被从该集合移除或以降低的权重来考虑。负相关可以指示来源集合内的诸如在线测量数据的人口统计信息可能为虚假或不可信的。
【专利说明】
増强受众测量数据的系统和方法
【背景技术】
[0001]传统的广播受众测量系统利用由随时间的个体或家庭组成的单一来源数据样本组(panel)来随时间推移记录媒体曝光。因为这些个体通常有偿参与，所以测量数据倾向高质量，但是只有有限的人群大小。因此，将测量数据应用于大量人群的统计置信度可能低。相反，在线受众测量系统可以从非常庞大的人群获得测量数据，但该数据可能质量有问题，因为用户可能出于各种原因而提供虚假的或不完整的人口统计数据。
【发明内容】
[0002]可以比较和关联离线和在线受众测量数据来改善每个数据和来源集合的质量。与特定事件相关的离线数据与在线数据之间的正相关可以指示人口统计特点(trait)很可能为真，使得离群值可以被从该集合去除或以降低的权重来考虑。负相关可以指示在来源集合内的诸如在线测量数据的人口统计信息可能是伪造或不可信的。
[0003]本文公开的一个实施方式是用于增强受众测量数据的方法。该方法包括由受众测量服务器从受众测量提供者接收广播事件的人口统计数据。该方法还包括由受众测量服务器识别来自对应的多个客户端设备的多个通信，该多个通信与广播事件相关联。该方法进一步包括:由受众测量服务器接收该多个客户端设备中的每个的人口统计信息。该方法还包括:由受众测量服务器计算所述多个客户端设备中的每个的所接收的人口统计信息的第一值与该广播事件的所接收的人口统计数据的对应值之间的关联。该方法还包括:由受众测量服务器确定关联超出预定阈值。该方法进一步包括:响应于对关联超出该预定阈值的所述确定以及响应于第一客户端设备的人口统计信息不包括第一值，由受众测量服务器将该多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。
[0004]在一些实施方式中，该方法包括:从受众样本组提供者接收用于对于包括事件的广播块的人口统计数据。在其他实施方式中，该方法包括识别在从该广播事件以来的预定时间段内对于与广播事件相关联的内容的多个请求。在其他实施方式中，该方法包括:识别在从该广播事件以来的预定时间段内对于与广播事件相关联的项的多个搜索查询。在其他实施方式中，该方法包括:接收多个客户端设备中的每个的人口统计调查的结果。
[0005]在一些实施方式中，该方法包括:汇总该多个客户端设备中的每个的所接收的人口统计信息，并且将汇总的人口统计信息与广播事件的所接收的人口统计数据进行关联。在一些实施方式中，该方法包括响应于该关联超出预定阈值，提高来自受众样本组提供者的所接收的人口统计数据的第一值的置信分值。在其他实施方式中，该方法包括:降低多个客户端设备中的每个的不包括所述第一值的所接收的人口统计信息的置信分值。
[0006]在一个实施方式中，该方法包括:由受众测量服务器计算多个客户端设备中的每个的所接收的人口统计信息的第二值与对于广播事件的所接收的人口统计数据的对应的第二值之间的关联。该方法还包括:由受众测量服务器确定关联不超出预定阈值；以及降低对于广播事件的所接收的人口统计数据的置信分值。
[0007]在本公开中呈现的另一实施方式是一种用于增强受众测量数据的系统。该系统包括:与多个客户端设备和受众样本组提供者通信的第一设备，包括处理器和存储器。该处理器被配置用于:从该受众样本组提供者接收广播事件的人口统计数据。该处理器还被配置用于:识别来自多个客户端设备的多个通信，该多个通信与该广播事件相关。该处理器还被配置用于:接收多个客户端设备中的每个的人口统计信息。该处理器还被配置用于:计算多个客户端设备中的每个的所接收的人口统计信息的第一值与对于该广播事件的所接收的人口统计数据的对应值之间的关联。该处理器还进一步被配置用于:确定该关联超出预定阈值，以及响应于对关联超出该预定阈值的所述确定以及响应于第一客户端设备的人口统计信息不包括该第一值，将多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。
[0008]在该系统的一些实施方式中，处理器被进一步配置用于:从受众样本组提供者接收对于包括事件的广播块的人口统计数据。在该系统的其他实施方式中，处理器被进一步配置用于:识别在从广播事件以来的预定时间段内对于与广播事件相关联的内容的多个请求。在其他实施方式中，处理器被进一步配置用于:识别在从广播事件以来的预定时间段内对于与广播事件相关联的项的多个搜索查询。在其他实施方式中，处理器被进一步配置用于接收多个客户端设备中的每个的人口统计调查的结果。
[0009]在该系统的一些实施方式中，处理器被进一步配置用于:汇总多个客户端设备中的每个的所接收的人口统计信息，并且将所汇总的人口统计信息与对于该广播事件的所接收的人口统计数据关联。在其他实施方式中，处理器被进一步配置用于:响应于该关联超出预定阈值，提高来自该受众样本组提供者的所接收的人口统计数据的第一值的置信分值。在其他实施方式中，处理器被进一步配置用于:降低多个客户端设备中的每个的不包括所述第一值的所接收的人口统计信息的置信分值。
[0010]在该系统的一些实施方式中，处理器被进一步配置用于:计算多个客户端设备中的每个的所接收的人口统计信息的第二值与对于广播事件的所接收的人口统计数据的对应的第二值之间的关联;确定该关联不超出该预定阈值；以及降低对于该广播事件的所接收的人口统计数据的置信分值。
[0011]在本公开中呈现的又一实施方式是一种存储指令的计算机可读存储介质，该指令当由一个或多个数据处理器执行时，使得一个或多个数据处理器执行操作，该操作包括:从受众样本组提供者接收广播事件的人口统计数据。操作还包括:由受众测量服务器识别来自对应的多个客户端设备的多个通信，该多个通信与广播事件相关联。操作进一步包括:接收多个客户端设备中的每个的人口统计信息。操作还包括:计算多个客户端设备中的每个的所接收的人口统计信息的第一值与广播事件的所接收的人口统计数据的对应值之间的关联。操作还包括:确定关联超出预定阈值。操作还包括:响应于关联超出该预定阈值以及响应于第一客户端设备的人口统计信息不包括该第一值，将多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。
[0012]在计算机可读存储介质的一些实施方式中，该指令进一步使得一个或多个数据处理器执行操作，所述操作包括:计算多个客户端设备中的每个的所接收的人口统计信息的第二值与对于广播事件的所接收的人口统计数据的对应的第二值之间的关联;确定该关联不超出该预定阈值;以及降低对于广播事件的所接收的人口统计数据的置信分值。
[0013]提到这些实施方式并非限制或限定本公开的范围，而是旨在帮助对其进行理解。可以开发特定实施方式来实现下述益处中的一个或多个。
【附图说明】
[0014]在附图和下述描述中，阐述了一个或多个实施方式的细节。本公开的其他特征、方面、和益处从说明书、附图、和权利要求书将变得显而易见，其中:
[0015]图1A是与广播事件相关联的随时间推移的内容请求率的说明的图；
[0016]图1B是用于接收、关联、和增强受众测量信息的系统的图；
[0017]图2A是根据一个实施方式的客户端设备的框图；
[0018]图2B是根据一个实施方式的服务器设备的框图；以及
[0019]图3A-3B是在用于受众测量增强的过程的一个实施方式中采取的步骤的流程图。
[0020]不同附图中相似的附图标记和名称指代相似的元件。
【具体实施方式】
[0021]来自传统的样本组提供者的广播媒体的受众测量数据通常与广播事件或时间块(block of time)相关联。已经同意加入样本组的样本组参与者可以向样本组提供者指示他们在特定时间段期间观看或收听特定事件或电台，诸如电视演出、广播节目、电影、商业广告;所标识的时间段诸如分钟、10分钟、半小时、或者任何其他这样的时间段;或任何其他这类信息。样本组参与者可以提供日记或日志，或穿戴或携带检测在邻近区域中回放的内容并且记录日志以供后续传送至样本组提供者的便携式设备。样本组提供者可以汇总关于观看或收听事件的每个样本组参与者的人口统计信息并且使其匿名化以生成受众简档，指示诸如特定性别、年龄、来自特定位置的受众的百分比的特点，或其他这样的信息。内容受众的测量对测量受众大小或内容的流行度很有用，所述手中大小或内容的流行度用于定价和出售广告投放、计划内容递送时间表、或其他这样的目的。因为传统的样本组提供者付费来使样本组成员参与，这样的受众测量数据可能是高质量的，具有非常精确的人口统计信息，但具有小的样本或群组大小。
[0022]还可以通过监视对于内容的请求来在线获得受众测量数据，所述内容诸如特定网站、文档、搜索查询、音频、视频、多媒体、文本、动画、广告、或与广播事件相关联的其他数据，。受众测量服务器可以接收在与广播事件相关联的时间段期间的关于对于内容的请求或对于内容的请求的比率的信息，并且可以提取或过滤对于与广播事件相关联的内容的请求的信息。对于在体育赛事的广播期间的体育统计的请求，或者对于在广播中显示的地址处的网站的请求可以指示该请求源自受众成员，特别是当该请求与广播事件在时间上紧密关联时，或者当请求的比率在广播事件的时间时与请求的基线比率相比显著增加时。
[0023]图1A是与广播事件相关联的随时间推移的样本内容请求率104的图。如图所示，用于诸如无线电、电视、电缆网络、多媒体流、或其他这样的频道的特定频道的广播时间表100可以包括多个块102a-102n，通常称作广播块102。尽管用相同的持续时间示出，但是在许多实施方式中，块102a-102n可以具有不同大小，诸如用于电视节目的第一片断的10分钟块，用于第一广告的30秒块，用于第二广告的另一 30秒块，用于第三广告的I分钟块，以及用于节目的第二片段的另一 10分钟块、或任何其他这样的大小。因此，块102可以标识整个节目、节目的部分、间隙(interstitial)内容、或任何其他这样的广播事件。广播事件可以经由卫星网络、地面广播、线缆网络、多播网际协议、或者任何其他这样的媒介分发。尽管仅示出了一个时间表100，但是可以存在用于多个电台或广播事件流的多个时间表100。
[0024]每个块102可以具关于联的人口统计数据，所述人口统计数据由样本组提供者提供、从样本组参与者的日记或日志汇总或匿名化。在许多实施方式中，该人口统计数据可以被提供给在下文所更详细论述的受众测量服务器。每个块102还可以具有关联的内容，或具有在场境上定义关联的内容的关联的分类或类别。块102可以与节目类型、节目内容、节目分类、诸如在广播流中显示的web地址的地址、公司和/或产品名称、或者任何其他这样的信息相关联。可在线访问的内容也可以与该信息相关联，诸如与公司和/或产品名称相关联的或在所识别的地址处的网站、响应于包括该信息的搜索查询来动态生成的搜索结果、或其他这样的内容相关联。因此，对于内容项的请求可以与块102相关联，使得可以将进行请求的设备的信息和与块102相关联并且从样本组提供者接收的人口统计数据进行比较。
[0025]与广播事件相关联的内容请求率104可以随时间变化，在不与广播事件相关联的时间段期间所述内容请求率104通常具有如所图示的可以是低或非零的基线比率106或平均比率。在其他实施方式中，在不与广播事件相关联的一个或多个时间段期间，请求率104可以为零，特别是对于与事件紧密关联的内容的请求(例如，对于访问与事件的实况广播相关联的实况聊天室的请求)。在与事件相关联的时间段期间，请求率104可以激增或增加至升高的水平110。当该比率超出用于所配置的时间段的阈值108时这可以被检测到。阈值108可以被预配置或预定，或基于基线106来被动态地设定(例如，大于基线的数量级或任何其他这样的数量)。
[0026]如图1A所描绘的样本中示出，在许多实例中，在开始块102后请求率104会变高，并且在块结束后保持升高。这可以表示请求率的延迟或迟滞112，因为受众成员可以在节目开始后请求内容，或者可以在请求内容之前等待直到节目结束为止。因此，在一些实施方式中，如果升高的请求率110的特定部分在该块期间出现，所述特定部分诸如升高的请求率时段的中点、该时段的大部分等，则升高的请求率110可以在时间上与块102(例如图1A所示的块B 102b)相关联。在其他实施方式中，上升的请求率时段可以基于所请求的内容来与块相关联。如果块A 102a的节目(例如体育节目)与块B 102b的节目(例如烹饪节目)显著不同，并且内容请求与块A而不是块B的节目在场境上相关联(例如，对于体育赛事的统计的请求)，那么尽管在时间上错位，系统仍可以推断该请求与块A相关联，。在一些实施方式中，这会发生在当受众成员在搜索附加信息之前等待直到该节目结束为止时。
[0027]图1B图示了用于增强受众测量数据的系统的实施方式的图。如图所示，客户端设备120可以在网络126上与内容提供者128和/或受众测量服务器130通信。尽管仅图示了一个客户端设备120、内容提供者128、和测量服务器130，但在许多实施方式中，多个设备120和提供者128可以经由一个或多个网络126通信。
[0028]被以各种方式称作客户端、设备、客户端设备、计算设备、用户设备、或任何其他这样的术语的客户端设备120，可以是台式计算机、膝上型计算机、平板计算机、智能电话、视频游戏控制台、智能电视或机顶盒、服务器、工作站、或者能够在网络126上通信的任何其他类型或形式的计算设备。在一些实施方式中，客户端设备120可以执行应用122，其可以是应用、服务、服务器、守护程序、例程、或者用于在网络126上通信的其他可执行逻辑，诸如web浏览器、邮件客户端、视频播放器、音乐播放器、视频游戏、或者任何其他这样的应用。应用122可以包括命令行界面、图形用户界面、或这些或其他界面的任意组合。
[0029]客户端设备120可以包括设备标识符124。设备标识符124可以是字母数字字符串、数据串、序列号、介质访问控制(MAC)地址、网际协议(IP)地址、用户名、或账户名、全局唯一标识符(GUID)、C00kie、随机或伪随机数，或者任何其他类型和形式的标识符，包括这些或其他标识符的组合。在一些实施方式中，设备标识符124可以被固定到设备或预配置在设备中，诸如制造者序列号或MAC地址，而在其他实施方式中，设备标识符124可以由内容提供者128、受众测量服务器130、应用122或其他实体动态地设定，诸如cookie或用户名。在一些实施方式中，可以对于向内容提供者128和/或受众测量服务器130的每个通信来设定唯一或新的设备标识符124，而在其他实施方式中，设备标识符124可以不被改变，或可以被定期地(例如每小时地、每天地、每周地等)改变或者以其他间隔(例如，在重启客户端设备120，登录到互联网服务等时)改变。
[0030]在一些实施方式中，客户端设备120可以执行数据收集代理(结合图2更详细论述)。收集代理可以是web浏览器插件或扩展、分组嗅探器或拦截器、屏幕截取器、文本或数据解析器、监视器、应用程序、服务、守护程序、例程、或者其他可执行逻辑以用于识别提供给客户端设备120的内容并且将内容的识别(以及在一些实施方式中，设备标识符124)传送至受众测量服务器130的。在许多实施方式中，数据收集代理可以是应用程序122的一部分，或可以是单独的应用程序或服务。在其他实施方式中，数据收集代理可以由部署在客户端120与网络126和/或内容提供者128之间的中介设备(未示出)执行。
[0031]客户端设备120可以经由网络126来与(一个或多个)内容提供者128和/或受众测量服务器130或者其他客户端设备120、服务器、或设备通信。网络126可以是在客户端设备120、一个或多个内容提供者128、与一个或多个受众测量服务器130、以及未图示的其他设备之间转发信息的任何形式的计算机网络或网络的组合。网络126可以包括互联网和/或其他形式的数据网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络、卫星网络、或者其他类型的数据网络。网络126还可以包括被配置来在网络126内接收和/或传送数据的任意数目的计算设备(例如计算机、服务器、路由器、网络交换机等)。网络126可以进一步包括任意数目的硬连线连接和/或无线连接。客户端设备120可以与硬连线(例如经由光纤电缆、CAT5电缆等)到网络126中的其他计算设备的收发器无线地通信(例如经由WiF1、蜂窝、无线电等)。在一些实施方式中，网络126可以是:虚拟网络，诸如由单个物理机器执行的多个虚拟机之间的虚拟网络;或抽象网络，诸如经由物理可移动介质的数据离线传输(例如，经由磁带介质、⑶-ROM、闪存介质、外部硬盘驱动器、软盘等传输数据的Sneakernet)。
[0032]内容提供者128可以包括连接到网络126并且被配置用于将内容提供给客户端120的一个或多个计算设备。内容提供者128可以以各种方式被称作内容提供者、服务器、Web服务器、数据服务器、发布者、服务提供者、或以其他类似术语称呼。在许多实施方式中，内容提供者128可以包括被配置为服务器群或云的多个计算设备，并且可以包括路由器、负载均衡器、网络地址转换器、防火墙、或其他这样的设备。内容提供者128可以是计算机服务器(例如FTP服务器、文件共享服务器、web服务器等)或服务器的组合(例如，数据中心、云计算平台等)。内容提供者128可以提供任何类型和形式的内容，包括文本、图像、视频、音频、多媒体、或其他数据，或这些的任意组合。内容可以包括搜索结果、博客或论坛内容、新闻文章、电影、电视演出、播客、视频游戏或其他交互内容、任何格式的广告、网站、社交媒体、或任何其他类型和形式的内容。内容提供者128可以是在线搜索引擎，其响应于搜索查询来将搜索结果数据提供给客户端设备120。在另一示例中，内容提供者128可以是第一方web服务器，其响应于对于网页的请求来将网页数据提供给客户端设备120。
[0033]受众测量服务器130可以包括连接到网络126并且被配置为测量和分析受众数据的一个或多个计算设备。受众测量服务器130可以以各种方式被称作测量服务器、服务器、web服务器、数据服务器、服务提供者或以其他类似术语来称呼。在许多实施方式中，受众测量服务器130可以包括被配置为服务器群或云的多个计算设备，并且可以包括路由器、负载均衡器、网络地址转换器、防火墙、或其他这样的设备。在一些实施方式中，受众测量服务器130可以是内容提供者128。
[0034]在一些实施方式中，受众测量服务器130可以从客户端120接收对于内容的请求的标识和/或设备标识符124。在一个这样的实施方式中，客户端120可以执行插件或其他应用程序来将对于内容的请求的识别传送到受众测量服务器130。在另一实施方式中，可以将对于内容的请求从客户端120传送到受众测量服务器130，其之后可以将该请求重定向到适当的内容提供者128，同时记录关于该请求的信息。在另一实施方式中，可以将对于内容的请求从客户端120传送到内容提供者128，其可以用使得客户端120将第二请求传送到受众测量服务器130的嵌入指令响应和内容来进行响应。从内容提供者递送的诸如网页的内容可以包括具有受众测量服务器130的地址的嵌入式一像素乘一像素图像，使得当客户端的Web浏览器呈现该内容时，Web浏览器将对于图像的请求传送到受众测量服务器130，所述请求潜在地包括参数或cooki e、设备标识符124、或者其他信息。
[0035]在其他实施方式中，受众测量服务器130可以从内容提供者128接收对于内容的请求的识别和/或设备标识符124。内容提供者128可以执行测量代理(未示出)，其可以包括应用程序、服务、服务器、守护程序、或其他可执行逻辑以用于测量由内容提供者128从客户端设备接收的请求。测量代理可以将请求的标识单个地或汇总地传送到受众测量服务器130。
[0036]在一些实施方式中，受众测量服务器132可以从广播提供者132和/或样本组提供者134接收关于广播的信息。广播提供者132可以包括广播服务的一个或多个计算设备，其可以将一个或多个内容流提供给客户端设备120，或者在一些实施方式中，可以将关于经由诸如地面、卫星、或电缆广播的其他系统来向受众广播的内容流的信息提供给受众测量服务器130。广播提供者132可以将时间表100提供给受众测量服务器130，其可以识别一个或多个内容块102。在一些实施方式中，广播提供者132可以提供关于内容块的信息，诸如节目类型、节目标题、节目描述、节目关联的关键字、与节目相关联的网站或其他文档、与节目相关联的产品和/或制造者，或者任何其他这样的信息。受众测量服务器130可以使用这样的信息来识别与每个块相关联的请求，诸如包括节目关联的关键字的请求或对于与节目相关联的网站的请求。在其他实施方式中，该信息可以由内容提供者128和/或样本组提供者134提供。
[0037]样本组提供者134可以包括一个或多个计算设备以用于汇总和/或匿名化样本组日记或日志并且将对于内容块的人口统计信息传送到受众测量服务器130。在许多实施方式中，样本组提供者134可以将对应的广播块的标识和/或关于内容块的信息传送到受众测量服务器130，诸如节目类型、节目标题、节目描述、节目关联的关键字、与节目相关联的网站或其他文档、与节目相关联的产品和/或制造者，或任何其他这样的信息。样本组提供者134还可以提供块的受众的关联的人口统计信息，诸如具有特定特点的受众的百分比。在许多实施方式中，样本组提供者134可以将样本组受众测量信息定期地提供给受众测量服务器130，覆盖特定时间段。样本组提供者134可以提供先前的季度、月、周、日、或任何其他这样的时间段的样本组测量信息。在其他实施方式中，当从样本组成员接收、汇总或有可能匿名化实时测量信息时，样本组提供者134可以提供实时测量信息。在样本组参与者诸如经由便携式设备来提供实时查看和/或收听信息的实施方式中，样本组提供者134可以将实时受众人口统计信息提供给受众测量服务器130。
[0038]图2A中所图示的是样本组参与者、或非样本组参与者的诸如客户端设备120的客户端计算设备200的一种实施方式的框图。客户端设备200可以是被配置为经由网络126通信的任何数目的不同类型的用户电子设备，，包括但不限于膝上型计算机、桌面计算机、平板计算机、智能电话、数字视频录像机、用于电视的机顶盒、视频游戏控制台、或任何其他类型和形式的计算设备或设备的组合。在一些实施方式中，客户端设备200的类型可以被归类为移动设备、桌面设备、或意图保持固定或被配置为主要经由局域网来访问网络126的设备、或诸如媒体消费设备的另一类别的电子设备。
[0039]在许多实施方式中，客户端设备200包括处理器202和存储器204。存储器204可以存储机器指令，其当由处理器202执行时使得处理器202执行本文所述的一个或多个操作。处理器202可以包括微处理器、ASIC、FPGA等，或其组合。在许多实施方式中，处理器202可以是多核处理器或处理器阵列。存储器202可以包括但不限于电、光、磁、或能够为处理器202提供程序指令的任何其他存储设备。存储器202可以包括软盘、CD-R0M、DVD、磁盘、存储器芯片、R0M、RAM、EEPR0M、EPR0M、闪存、光学介质、或处理器202能够从其读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码，诸如但不限于C、C++、C#、Java、JavaScript、Perl、HTML、XML、Python和Visual Basic。
[0040]客户端设备200可以包括一个或多个网络接口 206。网络接口 206可以包括任何类型和形式的接口，包括以太网，所述以太网包括1Base T、100Base T、或100Base T(“千兆位，，);各种 802.11无线的任何一个，诸如 802.11a、802.11b、802.1 lg、802.1 In、或802.1 lac;蜂窝，包括CDMA、LTE、3G、或4G蜂窝；蓝牙或其他短程无线连接;或者这些或用于与网络126通信的其他接口的任何组合。在许多实施方式中，客户端设备200可以包括不同类型的多个网络接口 206，允许经由不同子网来连接至诸如互联网的网络126或者各种网络126。
[0041 ]客户端设备200可以包括一个或多个用户接口设备208。用户接口设备208可以是通过生成感官信息(例如显示器上的可视化，一个或多个声音、触觉反馈等)来将数据传达给用户和/或将从用户接收的感官信息转换成电信号的任何电子设备(例如键盘、鼠标、指示设备、触摸屏显示器、麦克风等)。根据各种实施方式，一个或多个用户接口设备可以在客户端设备200的壳体内部，诸如内置显示器、触摸屏、麦克风等，或者在客户端设备200的壳体外部，诸如连接到客户端设备200的监视器、连接到客户端设备200的扬声器等。
[0042]客户端设备200可以将应用210包括在存储器204中或可以利用处理器202来执行应用210。应用210可以是用于接收内容和用于传送响应、命令、或其他数据的应用、小应用、脚本、服务、守护程序、例程、或其他可执行逻辑。在一种实施方式中，应用210可以是Web浏览器，而在另一实施方式中，应用210可以是视频游戏。应用210可以包括功能以用于显示经由网络接口 206接收和/或由处理器202本地生成的内容，以及用于传输经由用户接口设备208接收的交互，诸如对于网站的请求、对调查响应选项的选择、输入文本串等。
[0043]在一些实施方式中，应用210可以包括数据收集器或收集代理212。收集代理212可以包括用于收集由应用210处理的数据的应用插件、应用扩展、子例程、浏览器工具栏、守护程序、或其他可执行逻辑。在其他实施方式中，收集代理212可以是与应用210分离但被配置用于拦截和/或收集由应用210处理的数据的单独的应用、服务、守护程序、子例程、或其他可执行逻辑，诸如屏幕截取器、分组拦截器、API挂钩进程、或其他这样的应用。收集代理212可以被配置用于拦截或接收经由用户接口设备208输入的数据一一诸如互联网搜索查询、文本串、调查响应选择、或其他值，或者由应用210接收和处理的数据——包括访问的网站、与网站或应用交互花费的时间、读取的页面、或其他这样的数据。在许多实施方式中，收集代理212可以将该数据中的一些或全部或这样的数据的标识符存储在行为历史数据库或其他数据结构中，并且可以包括所访问的网站的标识、跟随的网络链接、输入的搜索查询、或其他这样的数据。在一些实施方式中，数据可以被匿名化或消歧以减少个人可识别信息。例如，不同于记录输入的个人搜索查询，诸如查询“法国的度假地点”，收集代理212可以识别与该搜索查询相对应的预定类别，诸如“欧洲旅游”或“旅行”并且记录与预定类别相关的搜索的指示。在其他实施方式中，可以由服务器或者由部署在客户端和服务器之间的中介设备执行收集代理212，所述中介设备诸如路由器、电缆调制解调器、或其他这样的设备，。当数据请求和应答穿过路由器时，可以由在中介路由器上执行的收集代理212解析所述请求和应答。在一些实施方式中，这可以允许监视去往/来自家庭的所有数据流而无需要求将收集代理212安装在家庭内的多个设备上。在其他实施方式中，如上面所讨论，客户端设备200可以不执行收集代理212，在这样的实施方式中，可以通过受众测量服务器获得请求数据而无需使用收集代理212，诸如经由呈现的内容中嵌入的图像、重定向请求、或其他这样的方法来获得请求数据。
[0044]客户端200可以包括设备标识符214或利用设备标识符214来被识别。设备标识符214可以包括任何类型和形式的标识，包括但不限于MAC地址、文本和/或数字数据串、用户名、加密公钥、cookie、设备序列号、用户配置文件、网络地址、或可以用来将客户端200与其他客户端200区分开来的任何其他这样的标识符。在一些实施方式中，设备标识符214可以与一个或多个其他设备标识符214 (例如移动设备的设备标识符，家用计算机的设备标识符等)相关联。在许多实施方式中，如上面所讨论，可以由内容提供者生成设备ID 214和/或将其传送到设备200。在其他实施方式中，如上面所讨论述，客户端200可以从受众测量服务器或内容提供者请求设备标识符或cookie 214，并且将设备标识符或cookie 214传送到与对于内容的请求相关联的受众测量服务器提供者或内容提供者。
[0045]在一些实施方式中，客户端200可以包括特性数据216，识别用于这样的特性的一个或多个人口统计特性或值。响应于调查或以其他这样的方式，特性数据216可以被输入为简档的一部分，并且可以结合对于内容的请求来被提供给受众测量服务器和/或内容提供者。在其他实施方式中，特性数据216可以由受众测量服务器存储并且与设备标识符214相关联。在这样的实施方式中，受众测量服务器可以响应于接收对于内容的请求和设备标识符214来检索特性数据216。如上面所讨论，在许多实施方式中，由于各种原因，特性数据216可能是虚假或不值得信赖的。
[0046]在许多实施方式中，收集的特征数据可以被匿名化或消歧以保护设备用户的隐私。在许多这样的实施方式或其中关于客户端设备的用户的个人信息可以被收集以用于测量或用来选择第三方内容的类似的情形中，可以为用户提供控制可以收集个人信息(例如关于用户的社交网络的信息、社交动作或活动、用户的偏好、或用户的当前位置)的程序或特征是否这样做的机会，或者控制是否或如何将测量数据传送到受众测量服务器和/或样本组提供者的机会。此外，某些数据在由受众测量服务器存储或使用前，可以以一种或多种方式对其进行处理，使得当生成参数(例如人口统计参数)时去除个人可识别信息。在一些实施方式中，可以匿名化用户的身份，使得不能确定用户的个人可识别信息，或者可以在获得位置信息的情况下概化用户的地理位置(诸如概化到城市、邮政编码、或州层级)，使得无法确定用户的特定位置。因此，用户可以控制关于他或她的信息是如何被收集和由受众测量服务器、样本组提供者、和内容提供者所使用的。
[0047]现在参照图2B，所图示的是如上面结合图1B所讨论的，计算设备或服务器218—一诸如受众测量服务器130、内容提供者128、广播提供者132、或样本组提供者134——的实施方式的框图。如客户端设备200—样，服务器218可以包括一个或多个处理器202、存储器204、网络接口 206、和用户接口 208。在被称作无外设服务器的一些实施方式中，服务器218可以不包括用户接口 208，但可以经由网络126来与具有用户接口 208的客户端200通信。存储器204可以包括内容存储(未图示)，诸如网页、图像、音频文件、视频文件、数据文件、或任何其他类型和形式的数据的存储。在一些实施方式中，存储器204可以存储用于由服务器218的处理器202执行的一个或多个应用程序210(未图示)或者用于递送在内容存储器232中存储的内容的其他这样的应用程序，服务器218包括FTP服务器、Web服务器、邮件服务器、文件共享服务器、对等服务器。
[0048]在一些实施方式中，服务器218可以包括广播接收器220。广播接收器220可以包括用于接收和/或分析广播的硬件和/或软件。在一个这样的实施方式中，服务器218可以包括天线或模数转换器，该模数转换器诸如电视调谐器，用于接收广播信号并且从信号解码音频和/或视频流。在这样的实施方式中，服务器218可以执行广播分析器226，其可以包括用于分析接收的广播流以识别一个或多个内容块和/或关于所述内容的信息的应用、服务、守护程序、例程、或其他可执行逻辑。在一个这样的实施方式中，服务器218可以包括无线电天线以及诸如歌曲名和艺术家的与广播节目相关联的解码无线电数据系统(RDS)文本。可以使用该数据来识别与广播块相关联的对于内容的请求，诸如用于所述歌曲和/或艺术家的搜索查询。在其他实施方式中，如上面所讨论，服务器218可以从广播提供者或样本组提供者接收关于广播的信息。
[0049]在一些实施方式中，服务器218可以执行测量引擎222。测量引擎222可以包括应用程序、服务、服务器、守护程序、例程、或其他可执行逻辑以用于测量内容项的受众，包括:接收设备标识符和/或对于内容项的请求或关于这样的请求的信息、根据设备标识符来对内容标识符进行汇总或排序，以及在时间段期间测量内容项的受众的。在一个实施方式中，测量引擎可以对与不同设备标识符相关联的、标识在诸如小时的时间段内接收到的特定内容项的内容标识符的数目进行计数，以对接收到该内容项的受众的大小进行计数。该受众测量可以被提供给内容提供者、广告提供者、营销人员、发布者、分析人员、或其他。
[0050]在一些实施方式中，服务器218可以维护测量数据224。测量数据224可以包括任何类型和形式的数据库、平面文件、数据文件、数据阵列、或其他数据结构，以用于存储具有对应的设备标识符的多个内容标识符、cookies、和/或会话标识符。在许多实施方式中，测量数据224还可以包括接收或传送内容标识符的时间戳。测量数据224还可以包括结合对于内容的请求或先前从客户端设备接收并且与设备标识符相关联的、从客户端设备接收的人口统计信息或特性。特性可以经由调查或简档问题来被明确地获得，或者经由与具有已知特性的设备相关联的请求类似的、与设备相关联的请求来隐含地获得。特性或特点可以利用值来识别，诸如其中特性可以具有若干不同的潜在值。在一些实施方式中，来自不同设备的与广播事件或块相关联的特性可以被汇总或匿名化。
[0051]服务器218可以将广播人口统计信息存储在数据库228中。广播人口统计数据库228可以包括任何类型和形式的数据库、平面文件、数据文件、数据阵列、或其他数据结构，以用于存储关于一个或多个广播事件或块的信息一一包括节目类型、节目标题、节目描述、节目关联的关键字、与节目相关联的网站或其他文档、与节目相关联的产品和/或制造者，或任何其他这样的信息，以及从样本组提供者接收并且与广播块或事件相关联的人口统计信息。数据库228可以包括节目的标识符、节目的描述、广播该节目的时间和日期、广播该节目的频道、由样本组提供者确定的具有第一特点或特性的节目受众的百分比、具有第二特征或特性的节目的受众的百分比等。
[0052]服务器218可以执行关联引擎或比较引擎230。关联引擎230可以包括应用、服务、服务器、守护程序、例程、或其他可执行逻辑以用于将包括已经请求与广播事件或块相关联的内容的设备的汇总特性的测量数据224与从样本组提供者获得的广播事件或块相关联的人口统计数据228进行比较。关联引擎230可以使用任何类型或形式的算法来确定对于特性存在于汇总的设备测量数据224中的统计值与对于特性存在于人口统计数据228中的统计值之间的关联。关联引擎230可以使用Pearson关联算法来将数据224中的特性的频率与数据228中的特性的频率进行比较。如在下面所更详细讨论的，作为结果的相关系数可以与阈值比较，并且可以响应于高于或低于阈值的系数来提高或降低与特性相关联的置信分值。
[0053]图3A-3B是用于增强人口统计信息的方法300、300’的实施方式的流程图。简述之，在步骤302，受众测量服务器可以从样本组提供者和/或广播提供者接收对于广播事件的人口统计数据。在步骤304，受众测量服务器可以识别与广播事件相关联的客户端设备通信，包括对于内容的请求。在步骤306，受众测量服务器可以接收和汇总对于已经传送了与广播事件相关联的通信的客户端设备的人口统计信息。在一些实施方式中，如果广播事件继续，则可以重复步骤304-306。
[0054]在步骤310，受众测量服务器可以将客户端的汇总的人口统计信息与从样本组提供者和/或广播提供者接收的人口统计信息进行关联。在步骤312，受众测量服务器可以确定人口统计特点的相关系数是否超出阈值。如果否，则在步骤314，受众测量服务器可以降低该特点的置信分值。如果是，则在步骤316，受众测量服务器可以提高该特点的置信分值。
[0055]在步骤322，如图3B所图示，受众测量服务器可以确定该特性或特点的置信分值是否超出阈值。如果否，则在步骤324，受众测量服务器可以将从样本组提供者和/或广播提供者接收的人口统计数据识别为潜在不可信。如果是，则在步骤326，受众测量服务器可以将不包括该特性或特点的设备的人口统计信息识别为潜在不可信。
[0056]回到图3A，并且更详细地，在步骤302，受众测量服务器可以从样本组提供者和/或广播提供者接收对于广播事件的人口统计数据。对于广播事件的人口统计数据可以包括关于该事件的信息，其包括事件或广播块的标识;事件的唯一或半唯一标识符或标识码;节目标题;节目类型;节目分类；日内时间；周内日；多媒体流、频道、和/或广播媒介的互联网地址;节目或事件的描述;与事件相关联的制造者、公司、和/或产品；与事件相关联的互联网地址、电话号码、和/或物理地址、或者与事件相关联的公司；与事件相关联的一个或多个关键字;或者任何其他类型或形式的信息。对于广播事件的人口统计数据还可以包括从样本组参与者获得的关于事件的受众的汇总的以及在一些实施方式中匿名化的人口统计信息。这样的人口统计数据可以识别特性或特点(例如年龄范围)以及识别多大百分比的事件受众具有所述特性的该特性或特征的对应值。在许多实施方式中，人口统计数据可以识别多个特性和对应的值。可以将该数据作为一个或多个参数或值对、表、数据阵列或其他结构来传送。尽管图示在方法300的开始处，但在许多实施方式中，受众测量服务器可以在后续时间点，诸如在步骤310前，接收人口统计数据。
[0057]在步骤304，受众测量服务器可以识别与广播事件相关联的一个或多个客户端通信。如上面所讨论，通过在事件期间和/或直接在事件后的时间段期间被传送，通信可以在时间上与事件相关联。通信还可以与事件在场境上相关联，诸如对于包括关于事件的信息的内容的请求，所述信息诸如事件或广播块的标识;事件的唯一或半唯一标识符或标识码；节目标题;节目类型;节目分类；日内时间；周内日；多媒体流、频道、和/或广播媒体的互联网地址;节目或事件的描述;与事件相关联的制造者、公司、和/或产品；与事件相关联的互联网地址、电话号码、和/或物理地址、或者与事件相关联的公司；与事件相关联的一个或多个关键字;或者任何其他类型或形式的信息。因此，如果通信在时间上和在场境上这两者都与事件相关联，则受众测量服务器可以将该通信识别为与该事件相关联。在一些实施方式中，在除事件外的时间段期间，受众测量服务器可以响应于超出基线请求率以上的阈值的请求率，识别在时间上与事件相关联的通信。如上面结合图1A所述，在请求率超出阈值的时段期间，包括在事件结束后的迟滞时间段期间，受众测量服务器可以将通信识别为与事件相关联。尽管一些通信实际上可能没有与事件相关联(例如，表示对于包括与事件相关联的关键字或其他信息的内容的请求的典型基线率的通信)，但是通过在升高的请求率的时间段期间提取通信，可以推断大部分请求与广播事件相关联。阈值可以响应于基线率来被预配置或动态地设定，诸如设定为以倍数或数量级来大于基线率。在一些实施方式中，阈值可以被设定得较高以确保较高百分比的通信与事件相关联。如果阈值设定在等于基线率两倍的水平处，并且事件期间的请求率正好仅超出该阈值，则可以假设约50%的通信与事件相关联。相反，如果将阈值设定在等于基线率的10倍的水平处，则可以假设约90%的通信与事件相关联。在一些实施方式中，在事件期间可以动态地调整阈值为仅低于事件期间的持续的请求率以确保捕获周期，在该周期期间，最高数目的请求很可能来自广播事件的受众成员。
[0058]如上面所讨论，受众测量服务器可以从客户端设备、从内容提供者、从客户端设备与内容提供者的组合、和/或从一个或多个其他设备接收通信。在一个实施方式中，受众测量服务器可以从客户端设备接收请求并且将请求转发到内容提供者。在另一实施方式中，受众测量服务器可以从所述内容提供者接收由内容提供者接收的请求的标识。在又一实施方式中，受众测量服务器可以接收对于响应于由客户端设备接收和呈现内容而生成的内容的请求，所述内容诸如具有受众测量服务器的地址的文档内的嵌入图像。
[0059]在步骤306，受众测量服务器可以接收和/或汇总对于被识别为传送与广播事件相关联的通信的客户端设备的人口统计信息。在一些实施方式中，可以稍后执行人口统计信息的汇总，诸如在步骤310前执行。人口统计信息可以与请求一起来从客户端设备被接收，该人口统计信息诸如参数或值对或其他这样的信息，或可以从与设备标识符相关联的特性和值的人口统计特性数据库来被检索。在识别与广播事件相关联的通信和相应的设备标识符后，在这样的实施方式中，受众测量服务器可以从数据库检索人口特性。可以响应于调查、简档、或其他这样的数据来接收特性。个体可以自愿地提供数据或同意允许访问数据，或者可以控制数据是否或如何被传送到受众测量服务器或由其访问。在许多实施方式中，数据可以被匿名化或消歧，使得不能确定个体的个人可识别信息。如上面所讨论，在许多实例中，人口统计信息可以是虚假或不可信的。受众测量服务器可以对该人口统计信息与传送与广播事件相关联的通信的其他客户端设备的人口统计信息进行汇总以生成一个或多个特性和值对，诸如特性或特点以及在所识别的受众群体内的出现该特点的表观百分比。
[0060]在步骤308，在一些实施方式中，如果广播事件继续，则可以反复地重复步骤304-306。在其他实施方式中，步骤304可以与继事件后或在用于事件后的迟滞的时间段后执行的步骤306—起来被反复地重复。因此，在一些实施方式中，在事件期间，可以实时执行数据收集和分析，而在其他实施方式中，可以基于内容提供者、客户端设备、或其他设备的通信日志来在事件后执行数据收集和分析。在这样的后者的实施方式中，可以在广播事件结束后的时间执行步骤302-306，以及对于多个客户端设备反复地执行步骤304和306。
[0061]在步骤310，受众测量服务器可以将传送与广播事件相关联的通信的客户端设备的汇总的人口统计信息与从样本组或广播提供者接收的人口统计数据进行关联。可以对于一个特性或特点或对应的值执行关联，或者可以对多个特性和值反复地执行关联。如上面所讨论，特性的值可以包含包括该特性的受众(通过在线所测量或来自样本组参与者数据)的百分比的标识符。这些值可以被比较和关联以检测测量数据的相似性和差异。
[0062]在步骤312，受众测量服务器可以确定用于特性和值的相关系数是否高于阈值。该阈值可以被预配置或可以被动态地设定。在一个实施方式中，响应于在步骤304-306识别的群体中的客户端设备的数目，可以动态地设定阈值，使得可以对较大群体使用较高阈值而对较小群体使用较低阈值以允许较高可变性。如果特性的相关系数低于阈值，则在步骤314，受众测量服务器可以减小对于广播事件所校正的人口统计特性和值的置信分值。如果样本组提供者将用于广播事件的受众识别为具有处于80%的比率的特性α，并且受众测量服务器将请求与事件相关联的内容的设备受众识别为具有处于比率20 %的特性α，则两个值不紧密关联，并且受众测量服务器可以降低广播事件的受众具有处于80 %的比率的特征α的置信分值。这可以指示样本组参与者不代表较大群体。
[0063]相反，如果特性的相关系数高于该阈值，则在步骤316，受众测量服务器可以提高对于该广播事件所校正的人口统计特性和值的置信分值。参照上述示例，如果作为替代受众测量服务器将请求与事件相关联的内容的设备受众识别为具有处于75%的比率的特性α，则两个值紧密关联，并且受众测量服务器可以提高广播事件的受众具有处于80%的比率的特性α的置信分值。这可以指示样本组参与者代表较大群体。
[0064]步骤310-316可以对于多个特性来被重复。样本组人口统计数据频繁地识别受众的多个特性。每个特性和值可以与在线测量数据比较以调整每个特性的置信分值。转到图3B并且继续方法300’，在步骤322，受众测量服务器可以确定特性的置信分值超出阈值。阈值可以被预配置或可以被动态地调整，在一些实施方式中，所述调整可以基于样本组的群体大小，对于较小样本组大小使用较低的阈值。可以相对于其他置信度水平来动态地调整阈值。在假设如果对于受众群体而言第一特性和值不正确则第二特性和值也更可能不正确的情况下，如果第一特性的置信度低，则对于第二特性的置信度来降低阈值。
[0065]在步骤324，如果特性的置信度低于阈值，则受众测量服务器可以将由样本组提供者和/或广播提供者对于广播事件提供的人口统计数据识别为不可信。将人口统计数据识别为不可信可以包括:将数据不被信任的通知传送到样本组提供者，在市场分析或内容时间表计划期间使该人口统计数据的权重更低等。
[0066]相反，在步骤326，如果特性的置信度高于该阈值，则受众测量服务器可以将由样本组提供者和/或广播提供者对于广播事件提供的人口统计数据识别为很可能准确。然后，使用该特性来通过将传送对于与不包括该特性的广播事件相关联的内容的请求的设备的人口统计信息识别为潜在不可信或虚假，增强在线测量数据。如果广播事件的受众成员具有特性α的置信度高，并且传输与广播事件相关联的请求的设备却与不包括特性α的人口统计信息相关联，则有可能该设备的用户已经向受众测量服务器提供了虚假的人口统计信息。受众测量服务器可以诸如经由数据库内的标记或与设备的设备标识符相关联的其他设定，来将设备的人口统计信息识别为不可信。受众测量服务器可以从受众人口统计或市场分析排除该设备，或者在可以这样的分析期间降低对来自该设备的人口统计信息所给定的权重，降低虚假信息对受众测量系统的影响。
[0067]在许多实施方式中，可以对多个特性，反复地或并行地执行步骤322-326和/或310-326。在一些实施方式中，如果在步骤326，设备的人口统计信息的预定数目的特性被标记为不可信，则可以从后续分析中排除设备或降低其权重。如果广播事件的高置信人口统计数据指示受众很可能具有特性a、b、和C，并且传送对于与广播事件相关联的内容的请求的设备不包括特性中的任何一个，则该设备的人口统计数据可以被标记为不可信，相反，在这样的实施方式中，如果第二设备具有特性a和b，但不具有C，则第二设备可以不被标记为不可信。这可以提供合理人口统计数据的附加细粒度和变化。
[0068]如上面所讨论的，在许多这样的实施方式中，收集的数据可以被匿名化或消歧以保护隐私，特别是对于不是样本组参与者的个人。在许多这样的实施方式或其中关于客户端设备的用户的个人信息可以被收集以用于测量或用来选择第三方内容的类似的情形中，可以为用户提供控制可以收集个人信息(例如关于用户的社交网络的信息、社交动作或活动、用户的偏好、或用户的当前位置)的程序或特征是否这样做的机会，或者控制是否或如何将测量数据传送到受众测量服务器和/或样本组提供者的机会。此外，某些数据在由受众测量服务器存储或使用前，可以以一种或多种方式对其进行处理，使得当生成参数(例如人口统计参数)时去除个人可识别信息。可以匿名化用户的身份，使得不能确定用户的个人可识别信息，或者可以在获得位置信息的情况下概化用户的地理位置(诸如概化到城市、邮政编码、或州层级)，使得无法确定用户的特定位置。因此，用户可以控制关于他或她的信息是如何被收集和由受众测量服务器、样本组提供者、和内容提供者所使用的。
[0069]在本说明书中所述的主题和操作的实施方式可以以数字电子电路，或者以计算机软件、固件、或硬件，包括在本说明书中公开的结构及其结构等价物、或者以上述的一个或多个的组合来实现。在本说明书中所述的主题的实施方式可以使用一个或多个计算机程序一一即一个或多个计算机程序指令模块来实现，所述计算机程序指令被编码在一个或多个计算机存储介质上以供数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光、或电磁信号，其被生成以编码用于传送到合适的接收器装置的信息以供数据处理装置执行。计算机存储介质可以是下述或被包括在下述中:计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或以上的一个或多个的组合。此外，尽管计算机存储介质不是传播信号，但是计算机存储介质可以是被编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质还可以是下述或被包括在下述中:一个或多个单独组件或介质(例如，多个CD、盘或其他存储设备)。因此，计算机存储介质可以是有形的。
[0070]可以将在本说明书中所述的操作实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
[0071]术语“客户端”或“服务器”包括用于处理数据的所有种类的装置、设备、以及机器，诸如可编程处理器、计算机、片上系统、或前述中的多个或组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASICX专用集成电路)。除硬件外，装置还可以包括为讨论中的计算机程序创建执行环境的代码，例如构成处理器固件、协议堆栈、数据库管理系统、操作系统、跨平台运行时间环境、虚拟机、或以上一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础架构，诸如web服务、分布式计算和网格计算基础架构。
[0072]计算机程序(也被称作程序、软件、软件应用、脚本、或代码)可以以任何形式的编程语言编写，包括编译或解释语言、声明或过程性语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序、对象、或适于在计算环境中使用的其他单元。计算机程序可以但不必对应于文件系统中的文件。可以将程序存储在保持其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的一部分、专用于讨论中的程序的单个文件或者多个协调文件(例如，存储一个或多个模块、子程序、或部分代码的文件)中。可以将计算机程序部署为在一个计算机上或者在位于一个地点或跨多个地点分布并且通过通信网络互连的多个计算机上执行。
[0073]在本说明书中描述的过程和逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器执行以通过操作输入数据并且生成输出来执行动作。过程和逻辑流还可以由专用逻辑电路执行，并且装置还可以实现为专用逻辑电路一一例如，FPGA(现场可编程门阵列)或ASICX专用集成电路)。
[0074]适于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。一般地，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必需组件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。一般地，计算机还将包括用于存储数据的一个或多个海量存储设备，例如磁盘、磁光盘、或光盘，或操作地耦接以从所述一个或多个海量存储设备接收数据或向所述一个或多个海量存储设备传送数据，或这两者。然而，计算机不必具有这样的设备。此外，可以将计算机嵌入另一个设备中，所述设备例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或者便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅列出一些。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括:半导体存储器设备，例如EPROM、EEPROM、和闪存设备;磁盘，例如内部硬盘或可移动盘;磁光盘；以及⑶-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充，或合并入专用逻辑电路。
[0075]为了提供与用户的交互，在本说明书中所述的主题的实施方式可以在具有下述的计算机上实现:用于向用户显示信息的显示设备，例如CRT(阴极射线管)、LCD(液晶显示器)、0LED(有机发光二极管)、TFT(薄膜晶体管)、等离子、其他灵活配置、或任何其他监视器；以及用户通过其可以向计算机提供输入的键盘和指示设备，例如鼠标或轨迹球等，或触摸屏、触摸板等。也可以使用其他种类的设备来提供与用户的交互;提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈、或触觉反馈；以及可以以任何形式接收来自用户的输入，包括声学、语音、或触觉的输入。另外，计算机可以通过将文档发送给用户所使用的设备并且从用户所使用的设备接收文档来与用户交互;通过响应于从用户的客户端设备上的web浏览器接收到的请求来将网页发送给该web浏览器。
[0076]在本说明书中所述的主题的实施方式可以在包括下述的计算系统中实现:后端组件，例如作为数据服务器;或者中间件组件，例如应用服务器;或者前端组件，例如具有用户通过其可以与在本说明书中所述的主题的进行交互的图形用户界面或Web浏览器的客户端计算机;或者一个或多个这样的后端、中间件、或前端组件的任何组合。系统的组件能够通过例如通信网络的任何形式或介质的数字数据通信互连。通信网络可以包括局域网(“LAN”)和广域网(“WAN”)、互连网络(例如，互联网)、以及对等网络(例如点对点(ad hoc)对等网络)。
[0077]在本文中所公开的特征可以在智能电视模块(或连接的电视模块、混合电视模块等)上实现，其可以包括被配置为将互联网连接与(例如，通过有线、卫星、空中、或其他信号接收的)更为传统的电视节目源集成的处理电路。智能电视模块可以在物理上被合并到电视机或者可以包括单独的设备，诸如机顶盒、蓝光、或其他数字媒体播放器、游戏控制台、宾馆电视系统、以及其他配套设备。智能电视模块可以被配置为允许查看者搜索并找到在web上、在本地有线电视频道、在卫星电视频道或存储在本地硬件驱动上的视频、电影、相片、以及其他内容。机顶盒(STB)或机顶单元(STU)可以包括信息电器设备，该信息电器设备可以包含调谐器并且连接到电视机以及外部信号源，将信号调节为内容，该内容之后将会被显示在电视屏幕或其他显示设备上。智能电视模块可以被配置为提供主屏幕或顶层级屏幕，包括用于诸如web浏览器和多个流媒体服务的多个不同应用、连接的有线或卫星媒体源、其他web“频道”等的图标。智能电视模块可以进一步被配置为向用户提供电子节目指南。智能电视模块的配套应用可以是在移动计算设备上可操作以向用户提供关于可用节目的附加信息、以允许用户控制智能电视模块等。在替选实施方式中，可以在膝上型计算机或其他个人电脑、智能手机、其他移动电话、手提计算机、平板个人计算机、或其他计算设备上实现该特征。
[0078]虽然本说明书包含许多【具体实施方式】细节，但是这些细节不应当被解释为对任何发明或可以要求保护的范围的限制，而应当被解释为对具体到特定发明的特定实施方式的特征的描述。还可以将在本说明书中在单独的实施方式的场境中描述的某些特征在单个实施方式中组合实现。相反地，也可以将在单个实施方式的场境中描述的各种特征分离地在多个实施方式中实现或在任何适当的子组合中实现。此外，尽管可能在上面将特征描述为在某些组合中起作用，甚至最初如此要求保护，但是在一些情况下，可以将来自所要求保护的组合的一个或多个特征从该组合中删去，并且所要求保护的组合可以针对子组合或子组合的变体。
[0079]类似地，虽然在附图中按照特定顺序描绘了操作，然而，不应当将这理解为需要以所示的特定顺序或以连续顺序执行这样的操作、或者需要执行所有图示的操作才能达到期望的结果。在某些情况下，多任务以及并行处理可以是有利的。此外，不应当将在上述实施方式中的各种系统组件的分离理解为在所有实施方式中均需要这样的分离，而应当理解的是，通常可以将所述程序组件和系统集成到一起成为单个软件产品或封装为多个软件产品O
[0080]因此，已描述了本主题的特定实施方式。其他实施方式落入所附权利要求的范围内。在一些情况下，可以以不同的顺序来执行权利要求中记载的动作并且仍然达到期望的结果。另外，在附图中描绘的过程不一定需要所示的特定顺序或连续顺序才能达到期望的结果。在某些实施方式中，多任务以及并行处理可以是有利的。
【主权项】
1.一种用于增强受众测量数据的方法，包括: 由受众测量服务器从受众样本组提供者接收广播事件的人口统计数据； 由所述受众测量服务器识别来自对应的多个客户端设备的多个通信，所述多个通信与所述广播事件相关联； 由所述受众测量服务器接收所述多个客户端设备中的每个的人口统计信息； 由所述受众测量服务器计算所述多个客户端设备中的每个的所接收的人口统计信息的第一值与所述广播事件的所接收的人口统计数据的对应值之间的关联； 由所述受众测量服务器确定所述关联超出预定阈值；以及 响应于对所述关联超出所述预定阈值的所述确定以及响应于所述第一客户端设备的所述人口统计信息不包括所述第一值，由所述受众测量服务器将所述多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。2.根据权利要求1所述的方法，其中，接收广播事件的人口统计数据包括从受众样本组提供者接收对于包括所述事件的广播块的人口统计数据。3.根据权利要求1所述的方法，其中，识别来自对应的多个客户端设备的与所述广播事件相关联的多个通信包括:识别在从所述广播事件以来的预定时间段内对于与所述广播事件相关联的内容的多个请求。4.根据权利要求1所述的方法，其中，识别来自对应的多个客户端设备的与所述广播事件相关联的多个通信包括:识别在从所述广播事件以来的预定时间段内对于与所述广播事件相关联的项的多个搜索查询。5.根据权利要求1所述的方法，其中，接收所述多个客户端设备中的每个的人口统计信息进一步包括接收所述多个客户端设备中的每个的人口统计调查的结果。6.根据权利要求1所述的方法，其中，计算所述多个客户端设备中的每个的所接收的人口统计信息的第一值与所述广播事件的所接收的人口统计数据的对应值之间的关联进一步包括:汇总所述多个客户端设备中的每个的所接收的人口统计信息，并且将所汇总的人口统计信息与所述广播事件的所接收的人口统计数据进行关联。7.根据权利要求1所述的方法，进一步包括:响应于所述关联超出所述预定阈值，提高来自所述受众样本组提供者的所接收的人口统计数据的所述第一值的置信分值。8.根据权利要求1所述的方法，进一步包括:降低所述多个客户端设备中的每个的不包括所述第一值的所接收的人口统计信息的置信分值。9.根据权利要求1所述的方法，进一步包括: 由所述受众测量服务器计算所述多个客户端设备中的每个的所接收的人口统计信息的第二值与所述广播事件的所接收的人口统计数据的对应的第二值之间的关联； 由所述受众测量服务器确定所述关联不超出所述预定阈值；以及 降低所述广播事件的所接收的人口统计数据的置信分值。10.—种用于增强受众测量数据的系统，包括: 与多个客户端设备和受众样本组提供者通信的第一设备，包括处理器和存储器，所述处理器被配置用于: 从所述受众样本组提供者接收广播事件的人口统计数据； 识别来自所述多个客户端设备的多个通信，所述多个通信与所述广播事件相关联； 接收所述多个客户端设备中的每个的人口统计信息； 计算所述多个客户端设备中的每个的所接收的人口统计信息的第一值与所述广播事件的所接收的人口统计数据的对应值之间的关联； 确定所述关联超出预定阈值；以及 响应于对所述关联超出所述预定阈值的所述确定以及响应于所述第一客户端设备的所述人口统计信息不包括所述第一值，将所述多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。11.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于从受众样本组提供者接收对于包括所述事件的广播块的人口统计数据。12.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于识别在从所述广播事件以来的预定时间段内对于与所述广播事件相关联的内容的多个请求。13.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于识别从所述广播事件以来的预定时间段内对于与所述广播事件相关联的项的多个搜索查询。14.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于接收所述多个客户端设备中的每个的人口统计调查的结果。15.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于汇总所述多个客户端设备中的每个的所接收的人口统计信息，并且将所汇总的人口统计信息与所述广播事件的所接收的人口统计数据进行关联。16.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于响应于所述关联超出所述预定阈值，提高来自所述受众样本组提供者的所接收的人口统计数据的所述第一值的置信分值。17.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于降低所述多个客户端设备中的每个的不包括所述第一值的所接收的人口统计信息的置信分值。18.根据权利要求10所述的系统，其中，所述处理器被进一步配置用于: 计算所述多个客户端设备中的每个的所接收的人口统计信息的第二值与所述广播事件的所接收的人口统计数据的对应的第二值之间的关联； 确定所述关联不超出所述预定阈值；以及 降低所述广播事件的所接收的人口统计数据的置信分值。19.一种存储指令的计算机可读存储介质，所述指令在由一个或多个数据处理器执行时使得所述一个或多个数据处理器执行操作，所述操作包括: 从受众样本组提供者接收广播事件的人口统计数据； 由受众测量服务器识别来自对应的多个客户端设备的多个通信，所述多个通信与所述广播事件相关联； 接收所述多个客户端设备中的每个的人口统计信息； 计算所述多个客户端设备中的每个的所接收的人口统计信息的第一值与所述广播事件的所接收的人口统计数据的对应值之间的关联； 确定所述关联超出预定阈值；以及 响应于对所述关联超出所述预定阈值的所述确定以及响应于所述第一客户端设备的所述人口统计信息不包括所述第一值，将所述多个客户端设备中的第一客户端设备的人口统计信息识别为不可信。20.根据权利要求19所述的计算机可读存储介质，进一步包括指令以使得所述一个或多个数据处理器执行操作，所述操作包括: 计算所述多个客户端设备中的每个的所接收的人口统计信息的第二值与所述广播事件的所接收的人口统计数据的对应的第二值之间的关联； 确定所述关联不超出所述预定阈值；以及 降低所述广播事件的所接收的人口统计数据的置信分值。
【文档编号】H04H60/66GK106063166SQ201480076035
【公开日】2016年10月26日
【申请日】2014年4月10日
【发明人】大卫·巴尼, 蔡超, 蒂莫西·赖特, 威廉·帕特里克·齐
【申请人】谷歌公司