UEditor 拓展培训公司 OpenCV4 makefile reflection cmd datagrid webkit LimeJS Normalizecss 系统后台模板 jquery解析json android富文本框架 删除数组第一个元素 ab软启动器 maven插件 数据库教程 python在线教程 python创建数据库 python定义变量 java教程 java抛出自定义异常 shell脚本参数 java网络编程实例 简体中文语言包 端口关闭工具 js延迟加载 fireworks8序列号 无法打开搜索页 assist是什么意思 自动回复机器人 tt语音官网 iar下载 社区网格化管理平台 一键换肤大师 js取余数 现代操作系统 ps祛痘 租房管理软件 pyodbc
当前位置: 首页 > 学习教程  > 编程语言

Go爬虫colly官方示例十九【request_context】- 设置请求上下文

2021/1/13 19:33:34 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

文章目录示例介绍示例代码输出转载请标明出处: http://blog.csdn.net/qq_27818541/article/details/112585213 本文出自:【BigManing的博客】 示例介绍 通过r.Ctx.Put("url", r.URL.String()) 添加数据到上下文 示例代码 package mainimport ("fm…

文章目录

      • 示例介绍
      • 示例代码
      • 输出

转载请标明出处:
http://blog.csdn.net/qq_27818541/article/details/112585213
本文出自:【BigManing的博客】

示例介绍

  1. 通过r.Ctx.Put("url", r.URL.String()) 添加数据到上下文

示例代码

package main

import (
	"fmt"

	"github.com/gocolly/colly/v2"
)

func main() {
	// Instantiate default collector
	c := colly.NewCollector()

	// Before making a request put the URL with
	// the key of "url" into the context of the request
	//请求前添加url到上下文
	c.OnRequest(func(r *colly.Request) {
		r.Ctx.Put("url", r.URL.String())
	})

	// After making a request get "url" from
	// the context of the request
	//有响应时,从上下文中获取url
	c.OnResponse(func(r *colly.Response) {
		fmt.Println(r.Ctx.Get("url"))
	})

	// Start scraping on https://en.wikipedia.org
	//访问url
	c.Visit("https://baidu.com/")

}

输出

https://baidu.com/

Process finished with exit code 0

本文链接: http://www.dtmao.cc/news_show_600096.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?