当前位置：首页 > 编程日记 > 正文

一文帮你梳理清楚：奇异值分解和矩阵分解 | 技术头条

编程日记 2025-01-05 19:10:00

640?wx_fmt=jpeg

作者 | K. Delphino

译者 | Linstancy

编辑 | Rachel

出品 | AI科技大本营（id：rgznai100）

【导读】在推荐系统的相关研究中，我们常常用到两个相关概念：矩阵分解和奇异值分解。这两个概念是同一种算法吗？两者到底有什么差别？在本文中，作者梳理了两种算法的概念、来源和内容，并进行了比较。通过对相关内容的梳理，作者提出，矩阵分解是推荐系统中最初使用的概念，奇异值分解是对该方法的进一步发展。在现在的讨论中，一般将两种方法统一成为奇异值分解。

在 Andrew Ng 教授的机器学习课程中，介绍推荐系统时经常涉及矩阵分解、奇异值分解等数学知识，这些概念并不是很好理解。在 Andrew Ng 教授的课程提到了一种称为称为 (低因子) 矩阵分解的方法，而在 Google 搜索会得到另一个名称：奇异值分解。网络资源中对于该算法的解释和 Andrew Ng 教授存在差异，但很多人都认为这两个名称指的是同一种算法。为了更好的梳理这两个概念，在本文中，我对两者进行了分别介绍，并对比了它们的不同。

640?wx_fmt=jpeg

推荐系统

推荐系统 (Recommender Systems， RS) 是一种自动化的针对用户的内容推荐方式，被广泛用于电子商务公司，流媒体服务 (streaming services) 和新闻网站等系统。根据用户的喜好，推荐系统能够投其所好，为用户推荐一些合适的内容，以便减少用户筛选过程中一些不必要的麻烦。

推荐系统并不是一种全新的技术，相关概念最晚在1990年就出现了。事实上，当前的机器学习热潮，一部分要归因于人们对 RS 的广泛关注。在2006年，Netflix 赞助了一场为电影寻找最佳推荐系统的竞赛，在当时引起了一片轰动，也让推荐系统再次得到了广泛的关注。

矩阵表示

我们可以有很多种方式来向别人推荐一部电影。其中一种效果较好的策略，是将用户对电影的评分看做一个用户 x 电影矩阵，如下所示：

640?wx_fmt=png

在该矩阵中，问号代表用户未评分的电影。随后，只需要以某种方式预测来用户对电影评分，并向用户推荐他们可能喜欢的电影。

矩阵分解

在 Netflix 举办的比赛上，参赛者 Simon Funk 提出了一个很好的想法，即用户对电影的评分不是随给出的。用户会基于一定的逻辑，针对电影中他所所喜欢的部分 (如特定的女演员或类型) 和不喜欢的情节 (长时间或糟糕的笑话) 赋予不同的权重，并进行加权计算，最后得到一个分数作为该电影的评分。这个过程可以用如下公式表示：

640?wx_fmt=png

其中 xm 是电影 m 特征值的一个列向量，而 θᵤ 是另一个列向量，表示用户 u 赋予每个电影特征的权重。每个用户都有不同的权重集合，而每个电影的特征也对应不同的特征集合。

事实证明，如果能够任意地修改特征的数量并忽略所缺失的那部分电影评分，那么就可以找到一组权重和特征值，依据这些值所创建新矩阵与原始的评分矩阵是很接近的。这一过程可以通过梯度下降来实现，且类似于线性回归中所使用的梯度下降，只不过我们需要同时优化权重和特征这两组参数。以上文提供的用户-电影矩阵为例，优化后得到的结果将生成如下新的矩阵：

640?wx_fmt=png

值得注意的是，在大多数真实数据集中，生成的结果矩阵并不会精确地与原始矩阵保持一致。因为在现实生活中，用户不会对通过矩阵乘法和求和等操作对电影进行评分。大多数情况下，用户对电影进行评分只是一种主观性的行为，且可能受到各种外部因素的影响。尽管如此，这里所介绍的方法还是希望通过数学公式来表达用户在电影评分时的主要逻辑。

通过上面的计算，现在我们已经得到了一个近似矩阵，那该如何来预测缺失的电影评级呢？通过回顾上面的计算过程，我们可以发现，为了构建这个新矩阵，这里定义了一个公式来填充矩阵中的所有值，包括原始矩阵中的缺失值。因此，如果想要预测缺失的用户电影评分，这里只需获取该缺失电影的所有特征值，再乘以该用户的所有权重并将所有内容相加，就能得到用户对该电影的评分。因此在这里，如果想要预测用户2对电影1的评级，可以通过以下计算：

640?wx_fmt=png

为了简化表达式，在这里可以对 θ 和 x 进行分离，并将它们放入各自的矩阵(比如 P 和 Q)。

以上就是 Funk 所提出的矩阵分解方法，也是 Andrew Ng 教授在课上所提到的矩阵分解。该方法在当时 Netflix 竞赛中获得第三名，引起了广泛的关注，并在当前许多应用中仍被使用。

奇异值分解

下面介绍奇异值分解 (Singular Value Decomposition, SVD)。SVD 方法是将一个矩阵分解为三个矩阵的矩阵分解方法，即 A =UΣVᵀ，且三个分解矩阵会具有一些较好的数学特性。

SVD 方法具有广泛的应用，其中之一就是主成分分析（Principal Component Analysis, PCA），该方法能够将维度 n 的数据集减少到 k 个维度 (k <n)。

这里不再展开介绍 SVD 方法的详细信息。我们只需要记住，奇异值分解与矩阵分解的处理方式不同。使用SVD 方法会得到三个分解矩阵，而 Funk 提出的矩阵分解方式只创建了两个矩阵。

那为什么在每次搜索推荐系统时总会弹出 SVD 的相关内容呢？ Luis Argerich 认为原因在于：

640?wx_fmt=png

事实上，矩阵分解是推荐系统中首先使用的方法，而 SVD++ 可视为是对它的一种扩展形式。正如 Xavier Amatriain 所说的那样：

640?wx_fmt=png

而 Wikipedia 在对矩阵分解（推荐系统）的相关条目中也有类似的表述：

640?wx_fmt=png

最后，简单进行一下总结：

奇异值分解（SVD）是一种相对复杂的数学技术，它将矩阵分解为三个新的矩阵，并广泛应用于当前许多的应用中，包括主成分分析（PCA）和推荐系统（RS）。

Simon Funk 在2006年的 Netflix 竞赛中提出并使用了一个非常好的策略，改方法将矩阵分解为两个权重矩阵，并使用梯度下降来找到特征和权重所对应的的最优值。实质上，这是不同于 SVD 方法的另一种技术，将其称为矩阵分解更为合适。

随着这两种方法的广泛应用，研究者并没有严谨地在术语上区分这两种方法，而是统一将其称为 SVD。

原文链接：
https://medium.freecodecamp.org/singular-value-decomposition-vs-matrix-factoring-in-recommender-systems-b1e99bc73599

（本文为AI科技大本营整理文章，转载请微信联系 1092722531）

◆

CTA核心技术及应用峰会

◆

5月25-27日，由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开，峰会将围绕人工智能领域，邀请技术领航者，与开发者共同探讨机器学习和知识图谱的前沿研究及应用。

更多重磅嘉宾请识别海报二维码查看，目前会议早鸟票发售中（原票价1099元），点击阅读原文即刻抢购。添加小助手微信15101014297，备注“CTA”，了解票务以及会务详情。

640?wx_fmt=jpeg

推荐阅读

他25岁进贝尔实验室，32岁提信息论，40岁办达特茅斯会议，晚年患上阿兹海默 | 人物志
硬核粉丝 | 清华双胞胎“YCY Dance Now”杀进超越杯编程大赛决赛
小样，加张图你就不认识我了？“补丁”模型骗你没商量！| 技术头条
东大漆桂林、清华李涓子、复旦肖仰华等大牛确认出席CTA峰会！5月一起打卡杭州
京东 60 天哗变！CTO 成优化第一人 | 畅言
异构计算=未来？一文带你秒懂3大主流异构
《互联网人叹气图鉴》
回报率29%! 大神用情感分析创建一个比特币交易算法, 原来交易玩的是心理战
她说：为啥程序员都特想要机械键盘？这答案我服！

640?wx_fmt=png

https://www.dkcj.cn/info/34995.html

一文帮你梳理清楚：奇异值分解和矩阵分解 | 技术头条

他25岁进贝尔实验室，32岁提信息论，40岁办达特茅斯会议，晚年患上阿兹海默 | 人物志

相关文章：

[转]程序员技术练级攻略

聊天机器人落地及进阶实战 | 公开课速记

【GStreamer】官网基本教程学习（basic-tutorial）

IdentityServer4关于多客户端和API的最佳实践【含多类型客户端和API资源，以及客户端分组实践】【中】...

WEB SSH Ajaxterm客户端配置(1)

如何为回归问题选择最合适的机器学习方法？

【Qt】获取本地IP（IPv4）

2.2元组介绍+字符串操作

医生再添新助手！深度学习诊断传染病 | 完整代码+实操

DIV限制宽度，字符断行，避免变形

【渗透】node.js经典问题

【Qt】Ubuntu下Qt应用程序自启动设置

Tarjan算法应用（割点/桥/缩点/强连通分量/双连通分量/LCA(最近公共祖先)问题）...

【JavaScript】Ubuntu16.04安装vscode+npm+yarn

C++大数加法

重磅！Facebook更新PyTorch 1.1，打算跨GPU分割神经网络

红旗Linux认证简介

【Git】git clone时下载速度太慢的解决方法（亲测有效）

JHipster技术简介

如何确定最佳训练数据集规模？6 大必备“锦囊”全给你了

Android实现左右滑动效果

假如AI也会diss人类，他们会这样.....

[Go]在vscode中添加对模板文件tmpl的html语法自动补全的支持

Docker 宿主机定时清除容器的运行日志

企业数据库合规的最佳实践

Docker网络解决方案-Flannel部署记录

【FFmpeg】警告：[hls] pkt.duration = 0, maybe the hls segment duration will not precise

反转字符串/列表、改变递归次数限制、else用法...Python 冷知识（四）

我学Delphi心得与笔记-------在控件上如何禁用Ctrl+V

15分钟带你入门sklearn与机器学习——分类算法篇