python多变量非线性拟合_python实现多变量线性回归(Linear Regression with Multiple Variables)...
本文介绍如何使用python实现多变量线性回归，文章参考NG的视频和黄海广博士的笔记
现在对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,...,xn)
表示为：
引入x0=1，则公式
转化为：
1、加载训练数据
数据格式为：
X1,X2,Y
2104,3,399900
1600,3,329900
2400,3,369000
1416,2,232000
将数据逐行读取，用逗号切分，并放入np.array
#加载数据
#加载数据
def load_exdata(filename):
data = []
with open(filename, 'r') as f:
for line in f.readlines():
line = line.split(',')
current = [int(item) for item in line]
#5.5277,9.1302
data.append(current)
return data
data = load_exdata('ex1data2.txt');
data = np.array(data,np.int64)
x = data[:,(0,1)].reshape((-1,2))
y = data[:,2].reshape((-1,1))
m = y.shape[0]
# Print out some data points
print('First 10 examples from the dataset: \n')
print(' x = ',x[range(10),:],'\ny=',y[range(10),:])
First 10 examples from the dataset:
x = [[2104 3]
[1600 3]
[2400 3]
[1416 2]
[3000 4]
[1985 4]
[1534 3]
[1427 3]
[1380 3]
[1494 3]]
y= [[399900]
[329900]
[369000]
[232000]
[539900]
[299900]
[314900]
[198999]
[212000]
[242500]]
2、通过梯度下降求解theta
(1)在多维特征问题的时候，要保证特征具有相近的尺度，这将帮助梯度下降算法更快地收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间，最简单的方法就是(X - mu) / sigma，其中mu是平均值，sigma是标准差。
(2)损失函数和单变量一样，依然计算损失平方和均值
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。多变量线性回归的批量梯度下降算法为：
求导数后得到：
(3)向量化计算
向量化计算可以加快计算速度，怎么转化为向量化计算呢？
在多变量情况下，损失函数可以写为：
对theta求导后得到：
(1/2*m) *(X.T.dot(X.dot(theta) -y))
因此，theta迭代公式为：
theta = theta -(alpha/m) *(X.T.dot(X.dot(theta) -y))
(4)完整代码如下：
#特征缩放
def featureNormalize(X):
X_norm = X;
mu = np.zeros((1,X.shape[1]))
sigma = np.zeros((1,X.shape[1]))
for i in range(X.shape[1]):
mu[0,i] = np.mean(X[:,i]) # 均值
sigma[0,i] = np.std(X[:,i]) # 标准差
# print(mu)
# print(sigma)
X_norm = (X - mu) / sigma
return X_norm,mu,sigma
#计算损失
def computeCost(X, y, theta):
m = y.shape[0]
# J = (np.sum((X.dot(theta) - y)**2)) / (2*m)
C = X.dot(theta) - y
J2 = (C.T.dot(C))/ (2*m)
return J2
#梯度下降
def gradientDescent(X, y, theta, alpha, num_iters):
m = y.shape[0]
#print(m)
# 存储历史误差
J_history = np.zeros((num_iters, 1))
for iter in range(num_iters):
# 对J求导，得到 alpha/m * (WX - Y)*x(i)， (3,m)*(m,1) X (m,3)*(3,1) = (m,1)
theta = theta - (alpha/m) * (X.T.dot(X.dot(theta) - y))
J_history[iter] = computeCost(X, y, theta)
return J_history,theta
iterations = 10000 #迭代次数
alpha = 0.01 #学习率
x = data[:,(0,1)].reshape((-1,2))
y = data[:,2].reshape((-1,1))
m = y.shape[0]
x,mu,sigma = featureNormalize(x)
X = np.hstack([x,np.ones((x.shape[0], 1))])
# X = X[range(2),:]
# y = y[range(2),:]
theta = np.zeros((3, 1))
j = computeCost(X,y,theta)
J_history,theta = gradientDescent(X, y, theta, alpha, iterations)
print('Theta found by gradient descent',theta)
Theta found by gradient descent [[ 109447.79646964]
[ -6578.35485416]
[ 340412.65957447]]
绘制迭代收敛图
plt.plot(J_history)
plt.ylabel('lost');
plt.xlabel('iter count')
plt.title('convergence graph')
使用模型预测结果
def predict(data):
testx = np.array(data)
testx = ((testx - mu) / sigma)
testx = np.hstack([testx,np.ones((testx.shape[0], 1))])
price = testx.dot(theta)
print('price is %d ' % (price))
predict([1650,3])
price is 293081
相关文章：
【bzoj3150】 cqoi2013—新Nim游戏
www.lydsy.com/JudgeOnline/problem.php?id3105 (题目链接) 题意 在第一个回合中，第一个游戏者可以直接拿走若干个整堆的火柴。可以一堆都不拿，但不可以全部拿走。第二回合也一样，第二个游戏者也有这样一次机会。从第三个回合（又…
再见，Python！你好，Go语言
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 AI 前线导读：Go 语言诞生于谷歌，由计算机领域的三位宗师级大牛 Rob Pike、Ken Thompson 和 Robert Griesemer 写成。由于出身…
tensorflow intel platform 优化
intel平台优化 TensorFlow *是深度学习领域中主要使用的机器学习框架，要求高效利用计算资源。 为了充分利用英特尔架构和提高性能，TensorFlow *库已经使用英特尔MKL-DNN原语进行了优化，该原语是深度学习应用的流行性能库。 已进行优化的平台 …
basePath = request.getScheme()+://+request.getServerName()+:+r
basePath request.getScheme()"://"request.getServerName()":"r (2014-06-30 18:29:54) 转载▼标签： 宠物 分类： JavaString path request.getContextPath();String basePath request.getScheme()"://"request.getSe…
python dump函数_python中实现php的var_dump函数功能
最近在做python的web开发(原谅我的多变，好东西总想都学着。。。node.js也是)，不过过程中总遇到些问题，不管是web.py还是django，开发起来确实没用php方便，毕竟存在的时间比较短，很多不完善的地方。比如我在调…
Go语言的Channel文章，整个人都感觉不好了
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 Go的Channel是一个很强大的并发数据模型，在一个发送者和多个消费者情况下工作得最好，但是如果是多个发送者，那么…
图书管理系统（源码）
本文demo下载地址：http://www.wisdomdd.cn/Wisdom/resource/articleDetail.htm?resourceId1070 实例使用java语言实现了一个网页版的图片管理系统, 系统前端使用bootstrap技术，可以进行浏览器适配, 实现功能: 管理图书管书, 管理图书借还信息࿰…
linux 如何禁用账号和解除禁用账号
把账号禁用可以有几个方法：1. # usermod -L <username> # usermod -U <username> // 解除禁用2. 修改/etc/passwd文件，可以有几个地方1）把第二个字段中的"x"变成其它的字符，该账号就不能…
maya批量命名插件_教你玩转MAYA的四十二精华造诣（第一期）
最近在整理文档时发现我收藏了一篇关于MAYA应用技巧的文章，突然有兴趣看了看，结果发现老版本MAYA中的某些内容很多已经无法应用于新版本。我又上网查了一下，结果发现网上好多帖子和我收藏的这篇内容基本一致，看来好多都是转载和抄…
Go语言开发常见陷阱，你遇到过几个？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 Go作为一种简便灵巧的语言，深受开发者的喜爱。但对于初学者来说，要想轻松驾驭它，还得做好细节学习工作。 初学者…
sxoi爆炸祭
好吧，纯粹是去玩玩的，我这么一个弱省的蒟蒻，进队纯粹是开玩笑。。。。 Day0 去五中试机，感觉电脑手感不错，打了半个线段树的板子才发现试机要在自己的电脑上试，然后我无奈的搬东西（从26号搬到2号…
wiki多个文件一起导入_mac文件信息管理工具EagleFiler for Mac分享给大家
EagleFiler for mac使得管理您的信息方便。它可以让你存档和搜索邮件，网页，PDF文件，字处理文档，图像，等等。使用它可以从不同的来源收集信息。浏览不同类型的文件采用标准的三窗格界面。组织他们到文件夹中，…
【bzoj1951】 Sdoi2010—古代猪文
http://www.lydsy.com/JudgeOnline/problem.php?id1951 (题目链接) 题意 废话一堆。。求解：$$g^{\sum_{d|n} C_n^d}~mod~p$$ Solution 真的是数论经典题，什么都用上了。 因为费马小定理，每$p-1$个$g$相乘会得到$1$，那么容易得到&…
区块链之智能合约详解
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 什么是智能合约？ 智能合约又称智能合同，是由事件驱动的、具有状态的、获得多方承认的、运行在区块链之上的、且能够根据预设…
子类化内置类型
Python 2.2之后内置类型开始可以子类化了 但是，CPython中的内置类型不会调用用户重写的类的特殊方法。 PyPy的文档中描述了这个问题。subclasses-of-built-in-types 正式情况下，CPython 并没有官方规定内置类型的子类中重写的方法是否会被隐式调用。基本…
网上商城系统源代码_多用户系统商城授权有几种方式？
网上商城系统一般都需要获取正规授权才可以投入商业使用范围，许多系统开发商为了适应不同企业的需求提供了几种不同的授权方式，企业可以选择合适的方式获得系统的使用权。下面HiShop小编就来为大家介绍一下多用户商城系统的授权方式。一、多用户系统商城…
java学习：对synchronized的测试
平时对synchronized这个关键字没有太在意，对它的认识停留在粗略翻了一下百度百科的状态，百度百科对它的解释是： “Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候ÿ…
Selenium（3）
练习1：Ecshop 录制登录后退出业务 打开系统 存储页面的标题 a.点击"登录"按钮 b.输入用户名：testing 存储输入的用户名 c.输入密码：123456 d.点击"立即登录"按钮 …
php 爬虫_Rad爬虫结合W13Scan扫描器挖掘漏洞
一、背景这几天一直在研究W13Scan漏洞扫描器，因为对Python不是太熟悉，所以进度有点慢，一直没看懂怎么将代理请求的数据转发到扫描队列中去，决定先熟悉熟悉这个功能再说；Rad爬虫最近比较火，于是就是就选择它…
Python 爬取网页HTML代码
#/usr/bin/env python #-*- coding:utf-8 -*-import urllib2 import sys import chardetreq urllib2.Request("http://tycool.top/") content urllib2.urlopen(req).read() typeEncode sys.getfilesystemencoding()##系统默认编码 infoencode chardet.detect(con…
区块链兼容以太坊智能合约
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 引言 随着区块链技术以及应用的普及，越来越多的区块链出现在大众视野中。由于区块链技术的开源特性，任何公司和个人都可以…
Linux常用命令--网终设置
1、把自己（sa）添加到sudoers配置文件中，以便于获取权限 vim /etc/sudoers 编辑文件（部分centOS版本没有vim命令，则用vi即可） 找到【root ALL(ALL) ALL】语句，在下面添加： sa ALL…
python示例异常处理与程序调试_笔记：Python异常处理与程序调试
Python异常处理与程序调试Python提供了强大的异常处理机制，通过捕获异常可以提高程序的健壮性。异常处理还具有释放对象，中止循环的运行等作用。在程序运行的过程中，如果发生了错误，可以返回事先约定的一个错误代码。"try...…
js传入参数为字符串问题
示例： var device_mac"11qweq234ert";//第一种方式会报错：Onclick SyntaxError: identifier starts immediately after numeric literal，数字后面紧跟着字符这种写法只有device_mac是数字的时候是正确的。传入的为字符串则应该使用…
区块链热度背后的资本市场
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 进入2018年之后大家对于加密数字货币以及区块链等话题都各自有各自的意见和想法，很多人觉得区块链技术和加密数字货币是泡沫ÿ…
袋鼠过河（动态规划）
题目描述 一只袋鼠要从河这边跳到河对岸，河很宽，但是河中间打了很多桩子，每隔一米就有一个，每个桩子上都有一个弹簧，袋鼠跳到弹簧上就可以跳的更远。每个弹簧力量不同，用一个数字代表它的力量，如…
jenkins-svn配置
转载于:https://www.cnblogs.com/caer/p/5924337.html
python查看所有异常_如何获取python异常发生的实际行号？
如果你想按你描述的那样做from functools import wrapsimport sys, os, tracebackdef catch_exceptions(function):wraps(function)def decorator(*args, **kwargs):try:return function(*args, **kwargs)except Exception as e:exc_type, exc_obj, exc_tb sys.exc_info()prin…
区块链从一夜暴富到一夜暴“负”的辛酸史
3.15打假日，打假虽然年年有，但与往年有别的是，今年区块连技术得到了诸多重视以及初步发展，一些带有诈骗性质的数字资产交易所在用血腥的方式不断收割着更低层级的用户，而这些平台的受害者，却往往得不到任何…
iOS消息转发
消息转发是一种功能强大的技术，可以大大增加Objective-C的表现力。什么是消息转发？简而言之，它允许未知的消息被困住并作出反应。换句话说，无论何时发送未知消息，它都会以一个很好的包发送到您的代码中，…