-
基于深度学习的个性化学习推荐
普通类 -
- 支持
- 批判
- 提问
- 解释
- 补充
- 删除
-
-
基于深度学习的个性化推荐研究
[摘要]大数据时代到来,使得深度学习在计算机视觉、语音识别、图像处理、自然语言处理等领域得到了广泛的应用,取得突破性进展。互联网各式各样资源的规模急速增长,这些海量的资源数据蕴含着丰富的价值,在一定程度上为互联网用户带来了便利,与此同时,过量的资源信息也超出了用户可以汲取吸收的规模而造成一定的信息过载和浪费问题。将深度学习融入推荐系统中可以提高推荐质量,缓解信息过载问题,即帮助用户在各种平台中筛选出自己需要或感兴趣的信息,提高用户的个性化体验。本文首先介绍了推荐系统的研究背景并阐述了深度学习的原理、优势,最后介绍了深度学习推荐系统的研究进展。
[关键词]深度学习;推荐系统;个性化推荐;神经网络
1 研究背景
随着云计算、物联网、大数据等技术的迅猛发展,互联网空间中各种数据呈现出爆炸式的增长趋势。大数据蕴含着巨大的潜力和价值,渗透各行各业,成为社会变革的重要驱动力量,与此同时也产生了严重的“信息过载”问题,信息过载是指用户在面对大幅增加的数据信息时,无法从中有效地提取出自己真正需要的信息,对信息的利用率低。因此如何有效地从纷繁复杂的各种信息中精准获得有价值的信息成为领域专家学者们共同探讨待解决的大数据发展难题。各类搜索引擎和推荐系统成为了缓解信息过载的有效方法,搜索引擎的作用是满足用户在有明确目的时的主动检索需求,个性化推荐系统则是能够帮助用户在没有明确的检索目的时发现感兴趣的信息。
近年来个性化推荐系统得到了各领域的广泛应用,成为当下的关注热点。个性化推荐算法是推荐系统的核心,推荐系统根据不同用户的需求和兴趣,通过算法从海量数据中深度挖掘出用户感兴趣的内容,并且将推荐的结果以个性化的形式呈现给用户。推荐系统能够快速发展的优势体现在它提高了用户和系统之间的黏性以及信息利用率,使其具有较高的商用价值。[1]基于个性化推荐系统的这种优势,在很多领域得到了广泛的、成功的应用,比如淘宝、百度、腾讯、大众点评、今日头条等各领域。随着深度学习的迅猛发展,这类技术也被应用于个性化推荐系统中,并取得了较好的成果。深度学习的概念于2006年由Hinton及他的学生等人提出,它源于对人工神经网络的研究。深度学习技术在计算机视觉、语音识别和自然语言处理等领域取得了突破性的进展,也为推荐系统的研究带来了新兴的技术方法。基于此,本文对深度学习的原理以及基于深度学习的个性化推荐研究进展进行探究和分析。
2 深度学习原理
深度学习(Deep Learning)是机器学习(Machine Learning)领域的一个新的研究方向,机器学习是实现人工智能的一个途径,而深度学习就是实现机器学习的一种方法,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音和文本等。
那么何为深度学习?深度学习是一种通过多层神经网络对信息进行抽取和表示,并实现分类、检测等复杂任务的算法架构。把计算机要学习的东西看成一大堆数据,把这些数据丢进深度神经网络——一个复杂的、包含多个层级的数据处理网络,然后检查经过这个网络处理后的数据结果是否符合要求,若符合,就保留这个网络作为目标模型,若不符合,就反复地调整网络的参数设置,直到输出的数据结果满足要求为止。
深度学习模型是含有多个隐含层的人工神经网络, 该网络的输入是特征向量, 输出可以是二元分类或者多元分类。[2]深度神经网络作为深度学习算法的核心组成部分,在输入和输出层之间包含有多个隐藏层(如图1所示),使得算法可以完成复杂的分类关系。神经网络是一组粗略模仿人类大脑,用于模式识别的算法。神经网络这个术语来源于这些系统架构设计背后的灵感,这些系统是用于模拟生物大脑自身神经网络的基本结构,以便计算机能够执行特定的任务。和人类一样,神经网络也是由神经元(圆圈)组成的,这些神经元还是相互连接的。
神经元分为三种不同类型的层次:输入层:接收输入数据。通俗来讲,输入层有四个神经元:出发站、目的地站、出发日期和巴士公司。输入层会将输入数据传递给第一个隐藏层。隐藏层对输入数据进行数学计算。创建神经网络的挑战之一是决定隐藏层的数量,以及每一层中的神经元的数量。人工神经网络的输出层是神经元的最后一层,主要作用是为此程序产生给定的输出。
图1 含多个隐层的深度学习模型
通俗来讲,可以将一种比较基本的深度学习模型中要处理的各种数据看做一个水流,而处理数据的深度神经网络是由管道和阀门组成的一个巨大的水管网络。网络的入口和出口都是若干管道开口。这个水管网络有许多层,每一层有许多个可以控制水流流向与流量的调节阀。根据不同数据处理任务的需要,水管网络的层数、每层的调节阀数量可以有多种变化组合。对复杂任务来说,调节阀的总数可以成千上万甚至更多。水管网络中,每一层的每个调节阀都通过水管与下一层的所有调节阀连接起来,组成一个从前到后,逐层完全连通的水流系统。
举一个例子:如何让计算机准确地识别“日”以及“旦、田、白”等字呢?如图2所示。
图2 深度学习原理图
当计算机识别到“日”这个字的图片时,先将其转化为计算机能识别的机器语言(用0和1组成的一串数字表示),然后变成水流从输入口进入这个管道网络中,提前在管道网络出口立一个字牌,对应着我们需要计算机识别的汉字。此时我们从管道网络入口输入一个“日”字,水流经过整个管道网络之后,计算机就会去管道网络出口去识别是否标记“日”字的管道出口水流量最大,如果是,就说明管道运行正常,若不是这样就给计算机下达命令,调节管道的每个流量调节阀,让“日”字出口的水流最多。
接着学习“旦”字也是类似,把每一张写有“旦”字的图片转换成机器语言变成数字水流,流进管道网络,计算机定位到出口去检查是不是标记有“旦”字的出口水流量最多,若不是,计算机就会用特定的计算方式很快地调整所有流量调节阀,保证在原有“日”字出口不受影响的情况下“旦”字被正确处理。
整个程序反复进行,直至所有汉字图片对应的水流都能按照我们期望的方式流过整个管道网络,并且将调节好的所有阀门封死,这时的整个管道网络就是一个已经调整好的深度学习模型了,就可以用来识别汉字了。
如果有未知的图片进入管道,首先也是被转换成机器语言,计算机观察各个管道的出口水流量来确认图片上是何字。
3 深度学习优势
·数据量的增大对于准确率的提升效果明显
·使机器视觉变得更易于使用,并扩展了计算机和相机的精确检查极限
·远超越传统机器学习方法的表现
·不再需要繁琐的特征工程
·适应性强,可重新迁移训练,且易于转换
·将算法进行跨领域应用
在自然语言处理、计算机视觉、语音识别等应用领域,深度学习实现的准确率已远远超过传统的机器学习方法,深度学习可以通过深层网络使用更多数据来提升准确率。
经典的机器学习算法通常需要人工进行复杂的特征工程工作。首先在数据集上执行深度探索性数据分析,然后做一个简单的降低维度的处理,最后,必须仔细的选择最佳功能以传递给机器学习算法。当我们使用深度网络时,完全不需要这么做,因为只需将数据直接传递到网络,通常就可以实现良好的性能,这消除了整个过程的繁琐复杂且非常具有挑战性的特征工程阶段。
与传统的机器学习相比,深度学习技术可以更容易地适应不同的领域和应用。首先迁移学习使用预先训练的深度学习网络适用于同一领域内的不同应用程序是有效的。其次,如果我们一旦了解了语音识别领域的一些基础的深度学习理论,那么学习如何将深度网络应用于自然语言处理过程中将是一件不太具有挑战性的工作,因为它们之间的基础知识非常相似。而经典的机器学习算法来说,在不同的领域和应用的知识库是基本完全不同的,所以很难将算法进行跨领域应用。
4 基于深度学习的个性化推荐
个性化推荐是根据用户的兴趣爱好和行为特点,向用户推荐感兴趣的课程信息。[3]将深度学习技术融入到推荐系统中,可以有效地弥补传统的个性化推荐模型的缺陷,更好地满足不同用户的偏好,提高推荐结果质量。鉴于深度学习所具有高层特征自动提取、多模态信息融合便利和网络形式多样等优势,以及在图像和文本特征提取、高维时间序列建模上取得的成功,应用深度学习可以提高信息推荐算法特征提取能力,进而改善已有算法的不足。[4]
深度学习在推荐领域的算法优势有以下几方面:
(1)深层特征学习。深度神经网络能够有效地学习到输入数据的深层特征,自动建模数据中的潜在表示,免去了传统的人工特征处理花费的大量人力和精力; 深度学习还可以整合多源异构数据比如图像、音频、视频等,可以有效提升推荐质量,缓解数据稀疏和冷启动问题。
(2)非线性转换。相比传统的线性模型,深度学习技术拥有极强的非线性转换能力,通过非线性函数对数据进行非线性建模,使得推荐系统可以更好地处理复杂的用户和物品特征关联信息。
(3)高弹性及可用性。在深度学习开源平台的支持下,深度学习模型的应用有了更多的拓展性和实现空间。技术的模块化也使得模型实现变得更加灵活。
基于深度学习的推荐系统通常是组合基于内容的推荐方法与协同过滤算法,将各类用户或项目相关的数据作为输入集成到一个推荐框架中,利用深度学习模型学习到用户和项目的隐表示,并基于这种隐表示为用户产项目推荐。一个基本的架构如图3所示,包含输入层、模型层和输出层。输入层的数据主要包括:用户的显式反馈(评分、喜欢/不喜欢)或隐式反馈数据(浏览、点击等行为数据)、用户画像(性别、年龄、喜好等)和项目内容(文本、图像等描述或内容)数据、用户生成内容(社会化关系、标注、评论等辅助数据)。在模型层,使用的深度学习模型比较广泛,包括自编码器、受限玻尔兹曼机、卷积神经网络、循环神经网络等。在输出层,通过利用学习到的用户和项目隐表示,通过内积、Softmax、相似度计算等方法产生项目的推荐列表。[5]
图3 基于深度学习的推荐系统框架
根据深度学习模型的不同,将基于深度学习的个性化推荐方法分为以下两类:
4.1 基于自编码器的混合推荐方法
当前,自编码器(AE)在基于深度学习的混合推荐方法中应用最为广泛。基于自编码器的混合推荐方法的基本架构如图4所示,自编码器由于具有强的表示学习能力,很自然地用来从用户特征X或项目特征Y中学习用户隐表示U或项目隐表示V,然后将隐表示融入到隐因子模型中拟合用户-项目交互矩阵R(如评分矩阵),最后联合自编码器的重构误差ℓ(X,U)和ℓ(Y,V),以及拟合交互矩阵的误差ℓ(R,U,V)构建统一的损失函数,通过梯度下降等方法学习到最终的用户和项目隐表示,从而对用户进行推荐。在不同研究中,可能同时利用了项目特征信息和用户特征信息,也可能只利用了其中一种。[6]图4 基于自编码器的混合推荐方法的模型架构
4.2 基于其它深度学习模型的混合推荐方法
除了自编码器之外,目前被用于混合推荐的深度学习模型还包括多层感知机、卷积神经网络和循环神经网络等.虽然基于深度学习的混合推荐方法都采用深度学习加协同过滤的模型框架,但是自编码器从辅助信息中学习用户和项目隐表示的过程是一个非监督过程,因此在模型最终的优化过程中除了拟合用户与项目的显式反馈或隐式反馈数据之外,还融入了自编码器的重构误差,而其它监督深度学习方法将从辅助信息中学习用户和项目隐表示的过程和拟合协同信息的过程集成到一个统一的监督学习框架中,从而在最终的模型优化过程中只拟合用户与项目的显式反馈或隐式反馈数据。因此,与基于自编码器的混合推荐方法的最大区别在于最终优化目标函数的构建。图5给出了一个基本的模型架构,深度学习模型用来从用户特征X和项目特征Y中学习用户隐表示U或项目隐表示V(此处并没有自编码器的输入数据重构过程),然后将隐表示融入到隐因子模型中拟合用户-项目交互矩阵R(如评分矩阵),通过拟合交互矩阵的误差ℓ(R,U,V)构建统一的目标优化函数,利用最终学习到的用户和项目隐表示对用户产生推荐。 [7]图5 基于其它深度学习模型的混合推荐方法模型架构
5 深度学习个性化推荐系统研究趋势展望
随着大数据时代的深入,深度学习在个性化推荐系统的应用已经受到了各个领域的重视,信息过载问题的不断发酵促使基于深度学习的个性化推荐系统的研究成为当下的热点。相比传统的推荐算法,深度学习个性化推荐能够更有效地反映不同用户的喜好并提高个性推荐的准确性。基于深度学习的个性化推荐应用仍处于初步阶段,对于存在的不足和缺陷,想必未来会得到更好地解决,深度学习推荐应用会有更多、更广泛的尝试。
(1)深度学习与已有的推荐方法结合
传统的基于内容和协同过滤的推荐方法等,都依赖传统的人工特征处理,采用浅层模型预测,很难有效学习到深层次的用户和项目隐表示.通过深度学习模型融合海量的多源异构数据,能够学习到更加深层和抽象的用户和项目深层次表示,采用深层神经网络模型也能够更好地抓住用户和项目之间交互的非线性结构特征。但是传统的推荐方法,结构简单、可解释性强,将深度学习与现有推荐方法结合,能够融合两者的优势,更值得研究人员的关注和深入研究。
(2)基于深度学习的交叉领域信息融合推荐
随着各平台多元化产品和服务的发展,用户在不同的领域会有不同的记录和信息数据,而现如今单一领域的推荐效果无法综合其它领域的用户偏好。深度学习技术能够捕捉到不同领域的数据差异,交叉领域的深度学习推荐方法可以帮助克服单一领域信息不足的问题,进而有效地化解数据稀疏和冷启动问题,呈现出更优化的推荐效果。
(3)深度学习推荐系统的可解释性
推荐系统往往只提供推荐结果,而深度学习缺乏合理的推理过程解释,提高推荐系统的可解释性可以提高用户对推荐系统的信任程度,加强用户使用的满意度;同时能够使模型变得透明,方便研究人员的持续优化。因此,从数据和模型等层面上研究提升基于深度学习的推荐系统的可解释性是有必要的。
参考文献:
[1]刘华玲,马俊,张国祥.基于深度学习的内容推荐算法研究综述[J].计算机工程,2021,47(07):1-12.
[2]冯翔,王亚飞,吴永和.人工智能教育应用的新发展[J].现代教育技术,2018,28(12):5-12.
[3]王艳,丁雪梅,孙薇. 深度学习在MOOC推荐系统中的应用[J].实验技术与管理,2020,37(08):54-57.
[4]刘凯,张立民,周立军.深度学习在信息推荐系统的应用综述[J].小型微型计算机系统,2019,40(04):738-743.
[5][6][7]黄立威,江碧涛,吕守业,刘艳博,李德毅.基于深度学习的推荐系统研究综述[J].计算机学报,2018,41(07):1619-1647.
[8]秦冲,赵铁柱,柳毅.个性化推荐算法的研究及发展综述[J].东莞理工学院学报,2021,28(03):51-60.
[9]张蕗怡,张阳.基于深度学习的个性化推荐研究[J].信息与电脑(理论版),2021,33(11):73-75.
[10]李丹,高茜.基于深度学习推荐系统的研究与展望[J].齐鲁工业大学学报,2020,34(06):29-38.
-
-
- 标签:
-
加入的知识群:
学习元评论 (0条)
聪明如你,不妨在这 发表你的看法与心得 ~