小工具      在线工具  汉语词典  css  js  c++  java

Python使用Pycharm运行和调试Scrapy框架程序

Python 额外说明

收录于:42天前

Scrapy是著名的爬虫框架,Pycharm是强大的Python IDE。为了方便调试Scrapy框架编写的程序,需要配置Pycharm。

具体配置截图如下:

1、将脚本与需要调试的类关联起来



2、下图是一个爬虫脚本,可以输出多种格式的数据。


需要强调的是,要注意begin.py脚本的文件目录,如上图所示,也就是项目中的文件路径。

from scrapy import cmdline
#需要输出那种格式的数据,打开哪个命令前的注释
#编译执行
#cmdline.execute("scrapy crawl amazondetail" .split())
#输出json数据
#cmdline.execute("scrapy crawl amazondetail -o ductdetail.json" .split())
#输出excle表格数据
cmdline.execute("scrapy crawl amazondetail -o LJductdetail.csv -t csv" .split())


3、断点调试(截图是我从某电商抓到的数据)





. . .

相关推荐

额外说明

C++参考手册(中文)

1。网站位中问网站 https://zh.cppreference.com/ 可作为字典使用

额外说明

转:mysql 5.5 安装配置方法图文教程

转载链接:http://blog.csdn.net/lidaren1/article/details/76094038 转载内容如下: MySQL下载地址:http://dev.mysql.com/downloads/installer/   1、双击下

额外说明

小明希望这次求雨的降雨量尽可能大,请问最大值是多少?

本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结果输出即可。 题目描述 小由于沙之国长年干旱,法师小明准备施展自己的一个神秘法术来求雨。 这个法术需要用到他手中的49张法术符,上面分别写着1至49这49个数字。法术一共持续7周,每天小明都要使

额外说明

Java提高_若依——Ruoyi监控部分源码分析

QQ 1274510382 Wechat JNZ_aming 商业联盟 QQ群538250800 技术搞事 QQ群599020441 解决方案 QQ群152889761 加入我们 QQ群649347320 共享学习 QQ群674240731 纪年科技am

额外说明

Flutter移动应用开发实战——布局实例

QQ 1274510382 Wechat JNZ_aming 商业联盟 QQ群538250800 技术搞事 QQ群599020441 解决方案 QQ群152889761 加入我们 QQ群649347320 共享学习 QQ群674240731 纪年科技am

额外说明

爬虫json格式字符串转中文

在做一个爬虫项目的时候遇到的问题是这样的。(.decode()这种方法py3好像已经启用啦) 解决: .encode('utf-8').decode('unicode_escape') 例: item['content'] = each.encode('

额外说明

电脑如何安装双系统 Windows10 和fedora+成功安装+踩坑记-删除EFI文件

– 安装介绍 博主采用的是Windows10 + fedora (linux) 模式 对于系统选择可按照自己来选,安装步骤大同小异,基本一样 fedora 使用的是官网提供的工具制作的镜像(推荐) – 使用工具 镜像工具 U盘(自己准备,博主不提供-)

额外说明

解决504 GATEWAY TIMEOUT Nginx网关超时

文章目录 一、背景 二、问题排查与解决 2.1 修改nginx配置 2.2 修改PHP配置 2.3 进一步调整 2.4 找到原因 三、网上其他该问题的原因 3.1 PHP 执行时间过长 3.2 后端服务错误 3.3 PHP-FPM 配置问题 3.4 Ng

额外说明

【Adobe】Photoshop :Mac 系统 Photoshop 软件更换许可指引

目录 一、故障现象 二、解决方法 一、故障现象 注意:Adobe CC 正版授权无法激活 Adobe CC2019 版本,请勿升级! 二、解决方法 (1)下载【Mac】Activation ,百度网盘下载地址:点击前往下载    提取码:hhez (2)

额外说明

Windows系统丢失SensApi.dll文件导致程序无法运行问题

其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个SensApi.dll文件(

ads via 小工具