python爬虫用到的库有哪几种

Python爬虫经常使用的库有：

1. requests：用于发送HTTP要求，获得网页内容。
2. BeautifulSoup：用于解析HTML或XML文件，提取需要的信息。
3. Scrapy：一个强大的爬虫框架，可以方便地定义爬虫的逻辑和提取规则。
4. Selenium：用于摹拟浏览器操作，解决动态加载的问题。
5. PyQuery：类似于jQuery的库，可以用CSS选择器提取HTML内容。
6. re：Python的正则表达式模块，用于处理字符串的匹配和提取。
7. pandas：用于数据处理和分析，可以方便地将爬虫获得的数据存储和处理。
8. MongoDB：非关系型数据库，合适存储大量的爬虫数据。
9. Redis：键值对数据库，合适存储爬虫的临时数据。
10. Pillow：Python图象处理库，可以用于爬虫中的图片处理。
11. tesseract：OCR（光学字符辨认）引擎，可以用于爬取图片中的文字。
12. Pyppeteer：一个使用无头Chrome浏览器的库，可以用于解决动态加载的问题。
13. Twisted：一个异步网络框架，可以提高爬虫的效力。
14. asyncio：Python的异步编程库，可以实现高效的异步爬虫。
15. fake_useragent：一个随机User-Agent生成库，用于假装爬虫的身份。
16. IPProxyPool：一个IP代理池，可以用于爬虫的代理设置。
17. scrapy-redis：一个用于散布式爬虫的Scrapy扩大，可以实现多台机器共同爬取。
18. selenium-wire：一个用于拦截和修改HTTP要求和响应的库，可以用于爬虫的要求过滤和修改。
19. Fiddler：一个用于调试和抓包的工具，可以用于分析和摹拟爬虫的网络要求。
20. PySocks：一个用于使用代理的库，可以实现爬虫的代理设置。