当前位置：首页 > 编程日记 > 正文

python之网络爬虫

编程日记 2024-09-25 05:40:00

一、演绎自已的北爱

踏上北漂的航班，开始演奏了我自已的北京爱情故事

二、爬虫1

1、网络爬虫的思路

首先：指定一个url，然后打开这个url地址，读其中的内容。

其次：从读取的内容中过滤关键字；这一步是关键，可以通过查看源代码的方式获取。

最后：下载获取的html的url地址，或者图片的url地址保存到本地

2、针对指定的url来网络爬虫

分析：

第一步：大约共有4300个下一页。

第二步：一个页面上有10个个人头像

第三步：一个头像内大约有100张左右的个人图片

指定的淘宝mm的url为：http://mm.taobao.com/json/request_top_list.htm?type=0&page=1

这个页面默认是没有下一页按钮的，我们可以通过修改其url地址来进行查看下一个页面

最后一页的url地址和页面展示如下图所示：

点击任意一个头像来进入个人的主页，如下图

3、定制的脚本

#!/usr/bin/env python
#coding:utf-8
#Author：Allentuns
#Email：zhengyansheng@hytyi.com
import urllib
import os
import sys
import time
ahref = '<a href="'
ahrefs = '<a href="h'
ahtml = ".htm"
atitle = "<img style"
ajpg = ".jpg"
btitle = '<img src="'
page = 0
while page < 4300:    #这个地方可以修改;最大值为4300，我测试的时候写的是3.
        mmurl = "http://mm.taobao.com/json/request_top_list.htm?type=0&page=%d" %(page)
        content = urllib.urlopen(mmurl).read()
        href = content.find(ahref)
        html = content.find(ahtml)
        url = content[href + len(ahref) : html + len(ahtml)]
        print url
        imgtitle = content.find(btitle,html)
        imgjpg = content.find(ajpg,imgtitle)
        littleimgurl = content[imgtitle + len(btitle): imgjpg + len(ajpg)]
        print littleimgurl
        urllib.urlretrieve(littleimgurl,"/www/src/temp/image/taobaomm/allentuns.jpg")
        s = 0
        while s < 18:
                href = content.find(ahrefs,html)
                html = content.find(ahtml,href)
                url = content[href + len(ahref): html + len(ajpg)]
                print s,url
                imgtitle = content.find(btitle,html)
                imgjpg = content.find(ajpg,imgtitle)
                littleimgurl = content[imgtitle : imgjpg + len(ajpg)]
                littlesrc = littleimgurl.find("src")
                tureimgurl = littleimgurl[littlesrc + 5:]
                print s,tureimgurl
                if url.find("photo") == -1:
                        content01 = urllib.urlopen(url).read()
                        imgtitle = content01.find(atitle)
                        imgjpg = content01.find(ajpg,imgtitle)
                        littleimgurl = content01[imgtitle : imgjpg + len(ajpg)]
                        littlesrc = littleimgurl.find("src")
                        tureimgurl = littleimgurl[littlesrc + 5:]
                        print tureimgurl
                        imgcount = content01.count(atitle)
                        i = 20
                        try:
                                while i < imgcount:
                                        content01 = urllib.urlopen(url).read()
                                        imgtitle = content01.find(atitle,imgjpg)
                                        imgjpg = content01.find(ajpg,imgtitle)
                                        littleimgurl = content01[imgtitle : imgjpg + len(ajpg)]
                                        littlesrc = littleimgurl.find("src")
                                        tureimgurl = littleimgurl[littlesrc + 5:]
                                        print i,tureimgurl
                                        time.sleep(1)
                                        if tureimgurl.count("<") == 0:
                                                imgname = tureimgurl[tureimgurl.index("T"):]
                                                urllib.urlretrieve(tureimgurl,"/www/src/temp/image/taobaomm/%s-%s" %(page,imgname))
                                        else:
                                                pass
                                        i += 1
                        except IOError:
                                print '/nWhy did you do an EOF on me?'
                                break
                        except:
                                print '/nSome error/exception occurred.'
                s += 1
        else:
                print "---------------{< 20;1 page hava 10 htm and pic  }-------------------------}"
        page = page + 1
        print "****************%s page*******************************" %(page)
else:
        print "Download Finshed."

4、图片展示(部分图片)

5、查看下载的图片数量

二、爬虫2

1、首先来分析url

第一步：总共有7个页面；

第二步：每个页面有20篇文章

第三步:查看后总共有317篇文章

2、python脚本

脚本的功能:通过给定的url来将这片博客里面的所有文章下载到本地

#!/usr/bin/env python
#coding: utf-8
import urllib
import time
list00 = []
i = j = 0
page = 1
while page < 8:
        str = "http://blog.sina.com.cn/s/articlelist_1191258123_0_%d.html" %(page)
        content = urllib.urlopen(str).read()
        title = content.find(r"<a title")
        href  = content.find(r"href=",title)
        html  = content.find(r".html",href)
        url = content[href + 6:html + 5]
        urlfilename = url[-26:]
        list00.append(url)
        print i,  url
        while title != -1 and href != -1 and html != -1 and i < 350:
                title = content.find(r"<a title",html)
                href  = content.find(r"href=",title)
                html  = content.find(r".html",href)
                url = content[href + 6:html + 5]
                urlfilename = url[-26:]
                list00.append(url)
                i = i + 1
                print i,  url
        else:
                print "Link address Finshed."
        print "This is %s page" %(page)
        page = page + 1
else:
        print "spage=",list00[50]
        print list00[:51]
        print list00.count("")
        print "All links address Finshed."
x = list00.count('')
a = 0
while a < x:
        y1 = list00.index('')
        list00.pop(y1)
        print a
        a = a + 1
print list00.count('')
listcount = len(list00)
while j < listcount:
        content = urllib.urlopen(list00[j]).read()
        open(r"/tmp/hanhan/"+list00[j][-26:],'a+').write(content)
        print "%2s is finshed." %(j)
        j = j + 1
        #time.sleep(1)
else:
        print "Write to file End."

3、下载文章后的截图

4、从linux下载到windows本地，然后打开查看；如下截图

本文转自zys467754239 51CTO博客，原文链接：http://blog.51cto.com/467754239/1574528，如需转载请自行联系原作者

https://www.dkcj.cn/info/20230.html

Numpy入门教程：04. 数学函数

背景什么是 NumPy 呢？ NumPy 这个词来源于两个单词 – Numerical和Python。其是一个功能强大的 Python 库，可以帮助程序员轻松地进行数值计算，通常应用于以下场景： 执行各种数学任务，如：数值积分、微分、…

编程日记2024/09/25 05:30:00

SAXParserFactory之求解

SAX是Simple API for XML的简称,在Android里面提供对XML文件的解析接口方法，如果给我们一个XML文件，要求把里面我们关心的数据解析出来，我们就可以使用SAX技术，在具体使用中，会对XML文件的每一个字符逐一读取并出发相应…

编程日记2024/09/25 05:20:00

学习Java知识应该注意哪些基础原则

想要做java程序猿，学习起来没有那么快的，尤其是零基础学员，java技术在学习的过程中是比较枯燥的，下面小编就为大家详细的介绍一下学习Java知识应该注意哪些基础原则，方便大家在学习的时候能够更加有效率! 学习Java知识…

编程日记2024/09/25 05:10:00

git获取指定release版本代码

首先手里必须有release的版本的备份出来的/.repo/manifests/default.xml文件，该文件记录了每个git库的在该版本下的具体的版本情况，整个代码的sync都是依据他来的； 1、repo sync 将本地代码更新至最新； 2、将手里的manifests.xml&…

编程日记2024/09/25 04:50:00

【内网福音】如何离线部署Rancher

2019独角兽企业重金招聘Python工程师标准>>> 对于在公司内网环境中、无法访问互联网的用户而言，离线安装部署Rancher是解决问题的关键。本文是Rancher离线部署教程，专为内网用户排坑解难。版本说明 OS：Centos7.3 Docker version:…

编程日记2024/09/25 04:40:00

JAVA工资高吗

JAVA工资高吗?很多人都是非常关注这个问题的，近几年，java技术在互联网行业有了自己的一席之地，越来越多的人都投身到java技术行业，下面我们来看看详细的介绍。 JAVA工资高吗? 近年来,在美国、加拿大、澳大利亚、新加坡等发达国家…

编程日记2024/09/25 04:30:00

活动目录在构建核心过程中的八个关键点（下）

活动目录是一个面向Windows Server级别的目录服务。在之前的博客文章中介绍了活动目录设计中需要遵循的七个原则，今天在这里讲解有关《活动目录构建核心关键点》。全文请见专题：http://os.51cto.com/art/201104/254054.htm 5. LDAP协议简介 LDAP的英文全…

编程日记2024/09/25 04:10:00

smarty变量调节器--count_words[计算词数]

计算变量里的词数。 Example 5-7. count_words <?php$smarty->assign(articleTitle, Dealers Will Hear Car Talk at Noon.);?>Where template is:{$articleTitle}{$articleTitle|count_words}This will output:Dealers Will Hear Car Talk at Noon.7 See also cou…

编程日记2024/09/25 04:00:00

如何开发属于自己的第一个Java程序

学习java技术都是循序渐进的，搭建好了Java开发环境之后，下面就来学习一下如何开发Java程序。为了让初学者更好地完成第一个Java程序，接下来小编通过几个步骤进行逐一讲解。 1.编写Java源文件在D盘根目录下新建一个test文件夹，并在…

编程日记2024/09/25 03:50:00

Numpy入门教程：07. 随机抽样

编程日记2024/09/25 03:40:00

如何成为一个Android高手

很多Android开发者已经度过了初级、中级，如何成为一个Android高手呢？ eoeAndroid就各个级别的程序员应该掌握哪些内容作为下面分类. 一、初级 1. 拥有娴熟的Java基础，理解设计模式，比如OOP语言的工厂模式要懂得. 2. 掌握Android U…

编程日记2024/09/25 03:30:00

云终端处理器——Atom

由于上周展会的缘故，开始对云终端【I】处理器产生兴趣，接下来在“物理层”【II】来理解下X86-Atom，ARM，MIPS三种处理器，这是第一篇，主Atom Intel公司的官网简单介绍了一句 “英特尔凌动【III】处理器&am…

编程日记2024/09/25 03:20:00

Java培训的学费标准是多少

很多想要进入到互联网行业的小伙伴都会选择java这门编程语言，java编程语言技术在互联网公司是起着非常重要的作用的，那么如今市面上的java培训机构有很多，选择报Java培训的学费标准是多少呢?来看看下面的详细介绍。　　Java培训的学费…

编程日记2024/09/25 03:10:00

Numpy入门教程：08. 集合操作

编程日记2024/09/25 03:00:00

iPhone开发技巧之工具篇（4）--- 使用afconvert转换WAV文件

转载自：http://www.yifeiyang.net/iphone-development-skills-of-tool-papers-4-wav-file-conversion-using-afconvert/ 程序中经常使用 .WAV 的音效文件，虽然可以直接使用它，但是最好转换为 apple 推荐的 .CAF 格式。这个时候我们就可以使用…

编程日记2024/09/25 02:50:00

SQLite与pandas

以下链接对SQLite使用方法总结的很棒： http://www.cnblogs.com/yuxc/archive/2011/08/18/2143606.html 有关利用pandas读写QSLite的内容，可参考以下链接： http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql.html http:…

编程日记2024/09/25 02:40:00

零基础学习java，这些书一定要看!

学习java技术除了看视频，看书也是非常重要的，尤其是零基础同学，本文包含学习Java各个阶段的书籍推荐，史上最全，学习Java，没有书籍怎么行，就好比出征没带兵器一个道理，这些书籍整理出…

编程日记2024/09/25 02:30:00

Numpy入门教程：练习作业01

序言什么是 NumPy 呢？ NumPy 这个词来源于两个单词 – Numerical和Python。其是一个功能强大的 Python 库，可以帮助程序员轻松地进行数值计算，通常应用于以下场景： 执行各种数学任务，如：数值积分、微分、…

编程日记2024/09/25 02:20:00

转乱码UTF8和UTF-8网页编码

http://www.lovelucy.info/utf8-vs-utf-8.html#more-794 一、遇到的问题曾经被字符集间复杂的转换搞怕了，正好新项目要求国际化，需要能够显示多种语言，于是一开始就规定统统使用 UTF-8 编码。所有代码文件使用 UTF-8 编码存盘MySQL数据库所…

编程日记2024/09/25 02:10:00

linux管道的执行顺序

最近有个疑问，netstat -antup|head -500 类似这条命令中，是netstat 执行完然后截取前500条记录还是，netstat 与head 并行执行，netstat 执行完500条就不再继续？ 最终答案由酷学园darkdanger大大提供： 唔…

编程日记2024/09/25 02:00:00

为什么学习Python数据分析

为什么学习Python数据分析?这是很多人都比较关注的一个问题，Python编程语言近几年在互联网行业是非常火爆的，尤其是在人工智能这一领域，它会大大的提高我们的工作效率等等，具体来看看下面的详细介绍就知道了。为什么学习Python数…

编程日记2024/09/25 01:50:00

Python自动化开发学习6

引子假设我们要在我们的程序里表示狗，狗有如下属性：名字、品种、颜色。那么可以先定义一个模板，然后调用这个模板生成各种狗。 def dog(name,d_type,color):data {name:name,d_type:d_type,color:color}return data d1 dog(小七,拉布拉多,…

编程日记2024/09/25 01:40:00

Numpy入门教程：09. 输入和输出

编程日记2024/09/25 01:30:00

第二语言综合征

前些天在看一本书，温伯格的《理解专业程序员》，其中提到有的程序员得了第二语言综合征——在学习第三、第四门语言的时候很容易，但是学习第二门简直能要了他们的命。我当时就确定我患了这个毛病，因为我一直想了解Java语言&#xf…

编程日记2024/09/25 01:20:00

Python文件操作:finally子句的使用

finally子句与try-except语句连用时，无论try-except是否捕获到异常，finally子句后的代码都要执行，其语法格式如下： try: 可能出错的语句 ......except: 出错后的执行语句finally: 无论是否出错都会执行的语句 Python在处理文件时&…

编程日记2024/09/25 01:10:00

Numpy入门教程：练习作业02

编程日记2024/09/25 01:00:00

PowerShell 导入 SQL Server 的 PS 模块

接触过UNIX或者Linux 的朋友都知道此类系统有着功能强大、无所不能的壳程序,称之为Shell。微软公司于2006年第四季度正式发布PowerShell，它的出现标志着, 微软公司向服务器领域迈出了重要的一步, 不仅提供简便的图形化操作界面，同时提供类似于Unix, Linu…

编程日记2024/09/25 00:50:00

ARM嵌入式操作系统启动

任何一个操作系统的启动都至少关注两个方面：１，程序运行栈的初始化。２，处理器外设的初始化。在ＡＲＭｖ６以及以前的体系结构中，定义了七种模式分别为&…

编程日记2024/09/25 00:40:00