20240505学习python_scrapy框架_基础

1.安装scrapy

pip install Scrapy

2.创建一个项目

scrapy startproject mySpider

3.进入项目 并 创建一只爬虫

scrapy genspider itcast "itcast.cn"

4.关于python虚拟环境

Pycharm无法加载文件 xx\Scripts\Activate.ps1，因为在此系统上禁止运行脚本

这时候需要用管理员方式打开powershell 然后执行

set-ExecutionPolicy RemoteSigned

python虚拟环境下 生成 requirements.txt (也可用于非虚拟环境)

pip freeze > requirements.txt

从requirements.txt安装依赖库

pip install -r requirements.txt

5.运行一只爬虫

scrapy crawl itcast