视频搜索服务器访问YouTube上的搜索查询，在视频搜索中排名时使用实体信息丰富的元数据，并将结果输出到前端。视频注释引擎将来自实体存储和视频数据存储的信息与视频或视频片段链接起来。
视频注释引擎 110 注释存储在视频数据存储器 114中的视频文件。对于视频文件，视频注释引擎 110 可以根据特征数据存储器 116 和实体数据存储器 118中存储的与视频文件相关联的特征来注释每个视频文件。对于存储在视频数据存储器 114中的每个视频文件，视频注释引擎 110 使用存在于该帧中的实体来注释视频文件的每个视频帧。
视频片段涉及实体的概率是通过相应视频片段中的特征与视频数据存储 股东数据库 和实体存储库中的信息之间的相关性比较来确定的。检查该信息是否匹配。如果相关性较高，则该视频片段实际上是关于该实体的可能性很高。这样，还可以防止诸如点击诱饵和关键词填充等操纵方法。该方法还可用于识别与搜索查询匹配的各个视频片段。换句话说，相关视频部分在搜索结果中的排名是可能的。还可以创建替代的视频标题和描述，正如我们从常规 Google 搜索中的“标题更新”中了解到的那样。
该方法可以识别视频内容项中与包含一个或多个关键词的搜索查询最相关的视频帧，例如，在搜索结果中将这些帧显示为视频内容项的表示。该方法还可以根据每个视频内容项的视频帧标记的实体的存在概率对响应搜索查询而检索到的一组视频内容项进行排序。该方法还可以使用标记的实体和相关的存在概率来识别视频内容项中与描述视频内容项的信息（例如视频的标题）相关的视频帧。
通过机器学习来丰富视频中的实体注释并确定概率的相关性。实体和特征之间关系的接近度是使用概率分数或置信度分数来确定的，并通过训练数据学习来进行细化。