Python爬虫入门教程新手必看

说实话，我刚开始学Python爬虫那会儿，也是一头雾水，网上教程东一块西一块，看完还是不知道从哪下手。后来自己折腾了半个月，踩了不少坑，才算真正入了门。今天就把我这套最笨但最管用的Python爬虫入门方法分享给你，照着做，你也能写出能跑的爬虫程序。先说清楚，这篇教程不是让你背概念，而是直接上手写代码，边写边学，这才是最快的方式。

第一步：先把Python环境装好，别在这一步卡住

很多新手一上来就卡在装环境上，其实真没那么复杂。你直接去Python官网下载最新版，装的时候记得勾选“Add Python to PATH”这个选项，不然后面命令行会提示找不到Python。装完之后，按Win+R输入cmd回车，敲python --version，能看到版本号就说明装好了。我用的是3.10版本，现在3.12也挺稳，你随意。这里提醒一句，别去折腾什么Anaconda，等你有需要的时候再装也不迟，新手阶段就用纯Python环境，少给自己添麻烦。

第二步：搞懂两个最核心的库，爬虫就成功了一半

Python爬虫说白了就是两件事：把网页内容抓下来，然后从里面提取你要的信息。抓网页用requests库，提取信息用BeautifulSoup库，这俩是爬虫入门的黄金搭档。安装也简单，命令行里敲pip install requests和pip install beautifulsoup4，等它装完就行。我第一次用requests的时候，就一行代码r = requests.get('https://example.com')，然后打印r.text，看到网页源码那一刻，感觉特别神奇，原来爬虫就这么简单。不过要注意，有些网站会反爬，你直接请求可能拿不到数据，这时候可以加个headers参数，模拟浏览器访问，后面我会细说。

第三步：手把手写一个最简单的爬虫，抓取网页标题

咱们直接来点干货，写个抓取百度首页标题的小程序。你先新建一个py文件，把下面代码敲进去：

import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
r = requests.get(url, headers=headers)
r.encoding = 'utf-8'
soup = BeautifulSoup(r.text, 'html.parser')
print(soup.title.string)

跑一下，如果控制台输出了“百度一下，你就知道”，恭喜你，你的第一个Python爬虫跑通了！这里面有个小坑，就是编码问题。有时候网页是gbk编码，你不设置r.encoding的话，打印出来全是乱码。我那时候就经常遇到这问题，后来学乖了，先看网页meta标签里写的charset是啥，再设置对应的编码。

第四步：学会解析HTML，把你要的数据精准抠出来

网页标题只是开胃菜，真正实用的是从一堆HTML标签里提取你需要的内容。BeautifulSoup最常用的方法就是find和find_all。比如你想抓取一个网页里所有链接，可以这样写：for link in soup.find_all('a'): print(link.get('href'))。想抓某个特定class的div里的文字，就用soup.find('div', class_='content').text。这里有个坑，class是Python的关键字，所以BeautifulSoup里要用class_，后面加个下划线，我第一次就栽在这上面，报错半天没反应过来。

再教你一个小技巧，抓取之前先在浏览器里按F12打开开发者工具，用选择器工具点一下你要抓的内容，就能看到对应的HTML结构，然后照着那个结构写解析代码，基本百发百中。这个方法比盲猜class名字高效多了，能省你不少时间。

第五步：这三个坑我帮你踩过了，你直接绕开走

第一个坑是请求频率太高，容易被封IP。解决办法很简单，每次请求之间加个time.sleep(1)，让程序歇一秒再继续。要是对方封得厉害，就得用代理IP了，不过新手阶段先学会sleep就够了。第二个坑是动态加载的网页，你用requests拿到的HTML里根本没有数据，因为数据是JavaScript后来渲染上去的。这时候有两个选择：一是用selenium模拟浏览器操作，二是直接找网页背后的API接口。我建议新手先去学找API接口，因为效率高，而且能学到抓包分析的本事，对以后进阶特别有帮助。第三个坑是数据清洗，爬下来的文本里经常夹杂着空格、换行符、HTML标签残留，你得用strip()、replace()这些方法处理一下，才能得到干净的数据。

第六步：把爬到的数据存下来，并注意别踩法律红线

爬到的数据如果只是打印在控制台，那一点用都没有，得存下来才行。最基础的就是存成CSV文件，用Python自带的csv模块就能搞定。先import csv，然后open文件，创建writer，一行行写进去就行。等你熟练了，再去学存MySQL或者MongoDB。另外我特别想提醒你，爬虫虽然好玩，但一定要遵守规矩。robots.txt协议要看一下，网站明确禁止爬的内容就别碰。还有个人隐私数据、需要登录才能看的付费内容，千万别去爬，这是底线问题。我见过有人因为爬了不该爬的数据，最后惹上麻烦的，真的得不偿失。

好了，Python爬虫入门差不多就是这些内容。你把这些代码都亲手敲一遍，遇到报错不要慌，把错误信息复制到搜索引擎里查一下，基本都能找到答案。学爬虫最重要的就是动手，光看不练是永远学不会的。等你把这个流程跑通了，再去看那些高级框架，比如Scrapy，就会觉得轻松很多。加油，祝你早日写出自己的第一个爬虫项目！