小工具      在线工具  汉语词典  css  js  c++  java

Python使用Pycharm运行和调试Scrapy框架程序

Python 额外说明

收录于:93天前

Scrapy是著名的爬虫框架,Pycharm是强大的Python IDE。为了方便调试Scrapy框架编写的程序,需要配置Pycharm。

具体配置截图如下:

1、将脚本与需要调试的类关联起来



2、下图是一个爬虫脚本,可以输出多种格式的数据。


需要强调的是,要注意begin.py脚本的文件目录,如上图所示,也就是项目中的文件路径。

from scrapy import cmdline
#需要输出那种格式的数据,打开哪个命令前的注释
#编译执行
#cmdline.execute("scrapy crawl amazondetail" .split())
#输出json数据
#cmdline.execute("scrapy crawl amazondetail -o ductdetail.json" .split())
#输出excle表格数据
cmdline.execute("scrapy crawl amazondetail -o LJductdetail.csv -t csv" .split())


3、断点调试(截图是我从某电商抓到的数据)





. . .

相关推荐

额外说明

leetcode338(位计数:动态规划)

给定一个非负整数 num。对于 0 ≤ i ≤ num 范围中的每个数字 i ,计算其二进制数中的 1 的数目并将它们作为数组返回。 示例 1: 输入: 2 输出: [0,1,1] 题解:动态规划        从小到大遍历范围中的数字,当前二进制数中1

额外说明

【数据结构趣味多】循环队列

目录 函数介绍及模拟实现 Front()函数 Rear()函数 enQueue()函数  deQueue()函数 isEmpty()函数 isFull()函数 循环队列模拟题  定义:把队列的头尾相连接的的顺序存储结构称为循环队列;循环队列的是由顺序表实

额外说明

设计模式-策略模式

一.策略上下文 @Component("classifyStrategyContext") public class ClassifyStrategyContext{ @Autowired private Map<String, Abs

额外说明

C++ 运算符重载

C++ 运算符重载 概述 函数重载 运算符重载 C++ 的运算符 重载运算符的规则 成员函数实现 Complex 加法 运算符重载的方法 多种实现方法 实现 operator+= 三种运算符重载函数 成员函数实现 友元函数实现 输出结果 重载单元运算符

额外说明

YOLOv4 文献翻译阅读及拓展阅读(附拓展文献下载链接)

先看看效果对比 YOLOv4 的运行速度是 EfficientDet 的两倍。使 YOLOv3 的 AP 和 FPS 分别提高 10 % 10\% 10% 和 12 % 12\% 12%,达到 43.5 % 43.5% 43.5% AP 和 65 65

额外说明

activity流程变量使用

前言 activity中有一个非常强大的功能就是可以动态设置流程变量,activity的流程变量的用处总结下来,作用有几点,一是可以动态为某个流程节点设置执行条件,在流程运转的过程中进行传递,第二个就是配合网关和监听器一起控制任务的触发条件,下面先看一个

额外说明

Python-Matplotlib可视化(10)——一文详解3D统计图的绘制

Python-Matplotlib可视化(10)——一文详解3D统计图的绘制 前言 3D散点图 3D曲线图 3D标量场 绘制3D曲面 在3D坐标轴中绘制2D图形 3D柱形图 系列链接 前言 Matplotlib 是 Python 的绘图库,它提供了一整套

额外说明

分布式架构-ZK分布式锁中死锁和羊群效应解决方案

分布式架构-ZK分布式锁中死锁和羊群效应解决方案 一、效果演示 有两个接口,GetTest2和GetTest3,分别都加上了@BxcZkLock注解,其中value 代表是否包含事物,如果是,则会在方法执行完自动提交事物,否则yic回滚,或者当前分布式锁

额外说明

Gradio的web界面演示与交互机器学习模型,分享应用《3》

Gradio的web界面演示与交互机器学习模型,安装和使用《1》https://blog.csdn.net/weixin_41896770/article/details/130540360 Gradio的web界面演示与交互机器学习模型,主要特征《2》

额外说明

Go语言进阶,并发通道机制搭建一个可注册昵称的聊天室

        聊天室的创建,主要是由两部分组成,服务端和客户端, 新增一个客户端相当于新来一个用户,陆续参与进来进行群聊,服务端就是处理所有客户端的操作然后反馈出去。 服务端具体作用:一直监听所有客户端的连接net.Conn(有进入、发送消息、退出这样

ads via 小工具