浅谈协同过滤技术在智能搜索引擎中的应用

浅谈协同过滤技术在智能搜索引擎中的应用

张麦玲樊建文

张麦玲樊建文（平顶山工业职业技术学院）

摘要：协同过滤技术的核心思想是用户会倾向于利用具有相似意向的用户群的产品，在智能搜索引擎中起着重要作用。协同过滤推荐系统使用统计技术搜索目标用户的若干最近邻居，然后根据最近邻居对项目的评分预测目标用户对项目的评分，产生对应的推荐列表。本文针对智能搜索引擎重的协同过滤技术进行分析和设计，提出协同过滤分析的推荐方法和相关算法。

关键词：智能搜索电子商务协同过滤

0引言

随着电子商务的发展，多种多样的电子商务平台迅速发展起来，为用户提供了更大的可选择的范围，已经成为传统商品零售之外，顾客搜寻和购买商品的另一种重要渠道。随着用户数和商品数的急剧增加，网络上的海量商品信息也给我们带来了很多不便，使得如何及时地发现所需要的商品已经变得越来越困难。而智能搜索引擎则成了解决这一问题的手段之一。因为用户的兴趣爱好的不同，职业背景的不同，对查询结果的需求也不同。智能的个性化搜索引擎就是搜集和分析用户的信息，根据这些信息向用户返回更准确的查询结果。

纵观几种常用的技术，协同过滤技术具有很大的优势，最适合在网络购物系统中应用。协同过滤又叫社会过滤，它通过分析用户的兴趣，在用户群中找到特定用户的相似用户，综合这些相似用户对某一信息的评价来形成对指定用户对此信息的喜好程度的预测。它的核心思想是用户会倾向于利用具有相似意向的用户群的产品。因此，它在预测某个用户的利用倾向时是根据一个用户群的情况而决定的。

1协同过滤推荐的主要方法

协同过滤推荐技术在实际应用中，可以采用多种方法实现，目前采用的主要包括下列几种：

基于用户的协同过滤推荐法，该方法是在已有信息基础上寻找相似用户，每次预测都要计算所有用户之间相似度，而且随着用户数据库的增大，信息项目的增多，计算所有用户之间相似度资源消耗太大，不能对推荐结果提供很好的解释。

基于模型的协同过滤方法该方法是在已有的信息基础上建立用户评价级别模型，根据该模型并使用一定的技术去识别信息项目之间的关系，然后利用这些关系去进行用户喜好程度预测。

基于项目评分预测的协同过滤推荐法在大型系统中，用户评分数据的极端稀疏，导致推荐系统推荐质量急剧下降。针对用户评分数据的极端稀疏性，基于项目评分预测的协同过滤推荐算法通过计算项之间的相似性，预测用户对未评分项的评分，然后采用一种相似性度量方法计算用户的最近邻居。实验结果表明，基于项目评分预测的协同过滤推荐算法可以显著提高推荐系统的推荐质量。

以上几种方法，基于用户的协同过滤推荐的优势是很明显的。首先，它能够通过用户间的相互协助、根据用户对项目的评价的相似性对用户进行分类，所得到的推荐结果是比较精确的。

2协同过滤技术的算法分析

基于用户的协同过滤是个性化推荐中应用最为广泛的方法，它是基于邻居用户的兴趣爱好预测目标用户的兴趣偏好，利用了其他用户的已有经验。算法先使用统计技术寻找与目标用户有相同喜好的邻居，然后根据目标用户的邻居的偏好产生向目标用户的推荐。

2.1过滤算法协同过滤的推荐系统的算法主要可分成三个步骤：①输入资料表示：将用户过去的利用行为及兴趣用一个m×n的矩阵R来表示（如下表1所示），n是用户数，m是搜索结果的项目数，矩阵元素Sij则表示第i个用户对第j个结果的评价值。②相似社群的建立：是协同过滤推荐系统中最重要的一个步骤，可以计算出用户间的相似程度，以作为将来推荐的依据。③产生推荐：从社群成员中衍生出对目标用户的前n项推荐产品。

评价值即可以是0，1这种二进制数，也可以是0-9这种分级。本文中采用的评价值是0-9的分级方法。

2.2确定邻居基于用户的协同过滤技术实现的推荐系统的核心是为一个需要推荐服务的目标用户寻找最相似的“最近邻居”集(Nearest-neighbor)，即：对一个用户，图1表示了基于用户的协同过滤中邻居的一种形成过程：通过计算目标用户0和其他用户之间的相似性(比如计算欧几里得距离)，以点0为中心的k=5个最近用户被选择为邻居。用户之间的相似性的计算可采Pearson相关度方法和目前常用的向量空间相似度计算方法等。一般地说，邻居用户的确定有两种方法：①根据预先确定的相似性阈值，选择相关性大于阈值的作为邻居用户；②根据预先确定的邻居数N，选择相关性最大的前N个用户作为邻居用户。

2.3产生推荐结果产生推荐：目标用户的“最近邻居”集产生后，可计算两类结果：用户对任意项的兴趣度的预测值和Top-N形式的推荐集。

2.4兴趣度计算传统的数据挖掘应用关联规则可以分析客户对项目的选择，但关联规则还有一些缺陷：①会产生大量的规则，而其中的大部分是显而易见或不相关的；②没有充分利用管理者的领域知识和职业直觉；③没有提供好的规则度量感兴趣程度方法，从数据中发现令人感兴趣的目标。

首先把事件依赖性的统计定义扩展到规则兴趣度定义上来Piatetsky-Shapiro首先把事件依赖性的统计定义扩展到规则兴趣度定义上来，提出了PS方法，他把关联规则A→B

式中的N，│A＆B│，│A│，│B│分别表示数据集D中元组的总数，同时满足A和B的元组数，满足A的元组数，满足B的元组数。

同时也给出了一个感兴趣的规则的定义并引入了模板的概念：如果一个规则匹配一个包含的模板（Inclusivetemplate）则被认为是令人感兴趣的；如果一个规则匹配一个限制的模板(Restrictivetemplate)则被认为是缺乏兴趣的。

3存在问题及解决办法

目前，基于用户的协同推荐的也存在着稀疏问题和冷开始问题这两种情况的缺陷：

很多情况下，每个用户都只会对其中很少的项目作出评价，整个用户与项目矩阵是非常稀疏的，一般都在1%以下。在这种情况下，导致用户间的相似性计算不准确，得到的邻居用户也就不可靠，这就是稀疏问题。

冷开始问题从某种意义上可以看成是稀疏问题的极端情况。在一个新的项目首次出现的时候，因为没有用户对它作过评价，由于在新项目出现早期，用户评价较少，推荐的准确性也比较差。

对于以上问题，本系统采用以下解决方法：稀疏问题：因为用户只对少数的搜索结果感兴趣评价低于10%的进行简化，约简掉。关于冷开始问题：在系统的早期并不进行推荐，每个用户都必须对若干个搜索词进行搜索后，并且给予页面的价值评价。这是入场信息，当用户数目200以上的时候开始。

参考文献：

[1]姜丽红，徐博艺，张海燕.一种协同过滤方法及其在信息推荐系统中的实现[J].情报学报.2005.(6):21-24.

[2]陈振洲，李磊，姚正安.基于SVM的特征加权KNN算法[J].中山大学学报.2005(4).

[3]王霞，刘琴.协同过滤技术在推荐研究中的应用研究[J].计算机系统应用.2005.(4):36-38.

[4]KonstanJ,MillerB,MaltzD,etal.Grouplens:Applyingcollaborativefilteringtousenetnews[J].CommunicationsoftheACM,1997，(3):77-87.

[5]黄坤，林旭云.基于个性化信息服务技术的研究[J].大众科技.2006.(2):38-39.