后台运行爬虫，就想到了selenium，但是以往在用她的时候会把浏览器也打开，就想能不能后台操作，结果百度了下还真有：

# selenium模块浏览器静默状态下运行

from selenium import webdriver, common
import time

option = webdriver.ChromeOptions()
option.add_argument('headless')
#这里是重点，增加一个参数即可实现在不打开浏览器的情况下完成系列操作
browser = webdriver.Chrome(chrome_options=option)

url = 'https://www.baidu.com'
browser.get(url)
time.sleep(1)
lst = browser.find_elements_by_xpath('//*[@id="lh"]/a[4]')
print(lst)
for i in lst:
    print(i.text)

time.sleep(3)
browser.close()

逻辑：
模拟用户浏览行为：搜索、浏览（滚动条+页面停留时间）、浏览不同页面等
找一堆代理
定一一堆请求头（包括浏览器类型、终端机型等）
执行模拟操作
然后一个死循环

附：chromedriver安装
可以到http://npm.taobao.org/mirrors/chromedriver下载（需要注意下载的版本是否对应本地安装的chrome版本）