首页 » 产品日记 » 正文

从爬虫开始学习python

| 产品日记 | | 暂无评论 | 4887 views

学习python的目的只是为了增加技能，个人认为python还蛮适合作为一个辅助工具的，把她看成是单纯的编程工具可能会有点自我设限，好了，开工！

环境：
windows10+python3.7+pycharm2018
用到的模块requests、BeautifulSoup、pandas

模块的安装直接命令行：pip install 模块名

获取安居客这个网站的指定城市的楼盘、房价、在售状态等信息，存储到Excel或者数据库中，以供后续分析（仅学习测试用哦）

思路：
先把这个城市的楼盘列表页打开，观察和分析列表页特征、元素，当然包括分页了。python实现就是先用requests模块获取列表页数据，再用BeautifulSoup解析，提取我们需要的数据，最后用pandas展示和导出保存为excel。

上代码：

import requests
from bs4 import BeautifulSoup
import pandas
# 分别导入三个模块

url = 'https://bj.fang.anjuke.com/?from=navigation'
# 城市楼盘地址
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}
# 构造请求头
response = requests.get(url,headers=headers)
# requests有多个提交方法，get、post等，通过浏览器我们可以知道这里是get方法

通过requests模块的get方法获取网页内容，这里构造了一个文件头，为啥要加个请求头，不加行不行？必须可以呀，问题是遇到有“反爬虫机制”的时候就懵逼了，这还仅仅只是个小伎俩……（昨晚爬了某宝商品和评论数据，分分钟触发反爬机制，后面开文章描述）

soup = BeautifulSoup(response.text, 'html.parser')
# response.text 就是get到的网页内容
# html.parser 是html解析器，这个是python内建的，当然还有其他的，比如lxml，也很优秀，不过暂时用不上，这个参数如果不加，有可能会有警告信息，还是加吧
list_items = soup.select('div[data-link]')
# 这个地方select方法里面可以是标签路径，注意，要直接关系
# 此处的div[data-link],div是标签，后面data-link是目标div的一个属性，通过这个属性来查找目标
# 嗯，还是单独开一篇来记录下这个方法吧
items_all = []
for items in list_items:
    name = items.select('h3')
    price = items.select('.price')
    if len(name)==0 or len(price)==0:
        continue    
    name = items.select('h3')[0].text
    address = items.select('.list-map')[0].text
    huxing = items.select('.huxing')[0].text.replace('\n','').replace('\t','').replace(' ','')
    onsale = items.select('.status-icon')[0].text
    wuyetp = items.select('.wuyetp')[0].text
    price = items.select('.price')[0].text

    items_arr = {
        'name' : name,
        'address' : address,
        'huxing' : huxing,
        'onsale' : onsale,
        'wuyetp' : wuyetp,
        'price' : price
    }
    items_all.append(items_arr)

上面的代码已经完成了列表页的信息抓取，现在要开始抓分页

通过观察发现列表页是这样的：https://bj.fang.anjuke.com/loupan/all/p2/

分页主要是最后的P2这个参数，那么可以通过python里面的占位符来搞定它

url_list = 'https://bj.fang.anjuke.com/loupan/all/p{}/'
# range(1,8)，生成一串1到7的数字列表,也就是说这里咱们只抓前面的7页
for i in range(1,8):
    print(url_list.format(i))

所以，需要把上面的装到一个函数里面去，完了之后直接一个for循环就可以抓到其他分页的内容了，就不演示了。

接下来把已经抓到的部分通过pandas模块的to_excel()方法保存到excel中去就O大功告成了

dp_file = pandas.DataFrame(items_all)
dp_file.head(10)
# 先用pandas来看看抓到的数据，哟，不错哦，但有个问题，它不是按照顺序来展示各字段的，留着下次再研究
dp_file.to_excel('fang0421.xlsx')
# 在当前目录下生成一个Excel文件保存抓取到的数据

这里直接给报了个错 ModuleNotFoundError: No module named ‘openpyxl’ 说是没有这个模块，难道不是pandas模块自带的？安装个试试去……

果然是没有安装openpyxl模块，单独安装一下就搞定了（无需导入）

总结一下

这是用python写的一个mini爬虫，或者说是用几个模块“拼凑”的一个小虫，但几乎通过以上步骤和方法可以爬到目前绝大部分的网络资源。

这篇只是一个开篇，撇开“这是程序员做的事”“这是编程”等等想法，从“这只是个辅助、是工具”等实用性角度来学习，并非一定要知道为什么这么写，可以是先这么写，达到我的目的就好。因为你学习python的目的有可能并不是要把自己变成一个程序猿，不是吗？

关注公众号”小白学习手账”一起学习python，回复 0421 可以获取爬虫源码

发表评论