小工具      在线工具  汉语词典  css  js  c++  java

WebMagic 发起POST表单请求,同时传入Cookie来下载文件

Java 额外说明

收录于:92天前

发起post请求的2种方式:

1. 直接给Spider传入request对象(包含下载地址),定义好请求方式post,参数通过formdata/json,header里传cookie
    public static void main(String[] args) throws IOException {

string URL = https://bbbb.com/column_more_data_v2/column_more_data
        Map<String, Object> map = new HashMap();
        map.put("page_size", "2");
        map.put("content_app_id", "1");
        map.put("1629348213104", "5");

        Request request = new Request(URL);
        request.setMethod(HttpConstant.Method.POST);
        request.setRequestBody(HttpRequestBody.form(map, "utf-8"));
      //  request.setRequestBody(HttpRequestBody.json(map, "utf-8"));
        request.addHeader("cookie", cookie);
        request.addHeader("content-type", "multipart/form-data; boundary=--------------------------050939232949739817865032");

        Spider.create(new MP3Processor())
                .setDownloader(new HttpClientDownloader())
                .addRequest(request)
                .addPipeline(new MP3Pipeline())
                .thread(4)
                .run();

2. 也是传request,但是这里的url是表单形式,没有下面的2句,单独设置参数
string URL = https://bbbb.com/column_more_data_v2/column_more_data?qy_app_id=&1629365061118=&page_size]=1

 request.setRequestBody(HttpRequestBody.form(map, "utf-8"));
 request.setRequestBody(HttpRequestBody.json(map, "utf-8"));

Request request = new Request(URL);
        request.setMethod(HttpConstant.Method.POST);

Spider.create(new MP3Processor())
                .setDownloader(new HttpClientDownloader())
                .addRequest(request)
                .addPipeline(new MP3Pipeline())
                .thread(4)
                .run();

. . .

相关推荐

额外说明

《PostgreSQL开发指南》第14章 多表Join

《PostgreSQL 开发指南》专栏目录 第 01 篇 课程介绍 第 02 篇 PostgreSQL 简介 第 03 篇 PostgreSQL 安装 第 04 篇 角色与用户 第 05 篇 数据库与模式 第 06 篇 管理数据表 第 07 篇 管理表空

额外说明

关于IDEA中插件CheckStyle的使用

文章目录 ①. 如何安装 ②. 如何使用 ③. 出现的问题及解决方案 ①. 如何安装 ①. File ——> setting 安装插件** ②. 配置插件 ③. GoogleStyle.xml 文件如下 <?xml version="1.0"?> <!D

额外说明

移动电商——Flutter-列表切换交互制作

QQ 1274510382 Wechat JNZ_aming 商业联盟 QQ群538250800 技术搞事 QQ群599020441 解决方案 QQ群152889761 加入我们 QQ群649347320 共享学习 QQ群674240731 纪年科技am

额外说明

Linux基于Bind9搭建dns服务器

Bind9简介 Bind是Berkeley Internet Name Domain Service的简写,它是一款实现DNS服务器的开放源码软件。Bind已经成为世界上使用最为广泛的DNS服务器软件,目前Internet上半数以上的DNS服务器都是用B

额外说明

数据结构与算法-循环单链表操作及应用C语言实现(超详细注释/设计/实验/作业)

引言 学完循环单链表不知道干什么?这篇文章带你熟练掌握单链表。实现了循环单链表的增、删、改、查,请宝子们仔细观看。正在火速更新中~~ 学习目的 掌握单循环链表的存储结构 掌握单循环链表的基本操作 掌握单循环链表的基本特性 环境与设备 操作系统:Windo

额外说明

Java案例:参数化类型数组

package net.hw.generic; import java.time.LocalDate; /** * Created by howard on 2018/1/31. */ public class GenericDemo01 {

额外说明

Java讲课笔记05:运算符与表达式

文章目录 零、本讲学习目标 一、算术运算符(Arithmetic Operator) 1、分类说明表 2、注意事项 3、案例演示 任务1、计算成绩差与平均成绩 课堂练习:编程处理带余除法。 任务2、打印购物小票 任务3、幸运抽奖 - 由卡号计算幸运数 任

额外说明

SSM框架笔记10:Spring AOP基础

Spring AOP基础   AOP:Aspect-Oriented Programming 面向切面编程。   Spring的AOP作用在于解耦。AOP让一组类共享相同的行为(比如事务管理、日志管理、安全管理)。OOP(Object-Oriented

额外说明

程序员学习网站备份(小众+不定时更新ing...)建议收藏

1.C语言中文网 不只是C语言(http://c.biancheng.net/)C++、Python、Linux、Java、PHP、Go…内容整理的很好,也有付费课程。 2.编程导航 内容很丰富(https://www.code-nav.cn/recom

额外说明

全国最新的省市区三级地区MySQL数据库定时更新,保持最新

原文地址:https://www.toymoban.com/diary/share/34.html 1、全国各省、市、三级地区最新MySQL数据库[不含港澳台] 2.以下是表的结构 DROP TABLE IF EXISTS `area`; CREATE

ads via 小工具