【python简单爬虫代码】在当今信息爆炸的时代，网络上的数据资源非常丰富。为了高效地获取这些信息，很多人选择使用Python编写简单的爬虫程序来抓取网页内容。本文将对常见的Python爬虫代码进行总结，并以表格形式展示其基本结构和功能。
一、
Python爬虫是一种通过编程方式自动访问网站并提取所需信息的技术。它常用于数据采集、市场分析、新闻监控等场景。编写一个简单的爬虫通常需要以下几个步骤：
1. 发送HTTP请求：使用`requests`库向目标网址发起请求。
2. 解析网页利用`BeautifulSoup`或`lxml`等工具解析HTML结构。
3. 提取目标数据：根据标签或类名定位所需内容。
4. 存储数据：将提取的数据保存到文件（如CSV、JSON）或数据库中。
需要注意的是，在使用爬虫时应遵守网站的robots.txt规则，避免对服务器造成过大负担，同时尊重版权和隐私。
二、Python简单爬虫代码对比表
| 功能模块 | 方法/库 | 示例代码片段 | 说明 |
| 发送请求 | `requests.get()` | `response = requests.get(url)` | 获取网页响应内容 |
| 解析HTML | `BeautifulSoup` | `soup = BeautifulSoup(response.text, 'html.parser')` | 将HTML文本转换为可操作对象 |
| 提取数据 | `find()` / `find_all()` | `title = soup.find('h1').text` | 提取特定标签的内容 |
| 存储数据 | `csv.writer()` | `writer.writerow([title, content])` | 将数据写入CSV文件 |
| 设置请求头 | `headers`参数 | `headers = {'User-Agent': 'Mozilla/5.0'}` | 避免被网站识别为爬虫 |
| 处理异常 | `try-except` | `try: ... except Exception as e: ...` | 增强程序稳定性 |
三、示例代码（简单爬虫）
```python
import requests
from bs4 import BeautifulSoup
import csv
url = 'https://example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
提取所有标题
titles = [h2.get_text(strip=True) for h2 in soup.find_all('h2')
写入CSV文件
with open('output.csv', 'w', newline='', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow(['标题'])
for title in titles:
writer.writerow([title])
```
四、注意事项
- 爬取数据前，请确认网站允许爬虫行为。
- 避免频繁请求，以免被封IP或触发反爬机制。
- 使用代理IP可以提高爬虫的稳定性和隐蔽性。
- 对于动态加载页面，可能需要使用Selenium等工具模拟浏览器操作。
通过以上总结与表格，我们可以清晰地了解Python简单爬虫的基本流程和常用方法。对于初学者来说，掌握这些基础技能是进入网络数据挖掘的第一步。