使用Chrome或fiddler获取Cookie进行登录采集

如果需要采集网站登录后显示的信息,可以尝试获取账号登录网站后的cookie值,填写到简数采集器登录采集。

获取与填写cookie信息操作步骤如下:

 一、怎么获取cookie?

获取网站cookie的方式一般有以下两种:

方式1:通过浏览器来获取登录cookie

最简单的方法是通过现代浏览器来获取,以chrome为例:

1. F12或右键检查进入开发者模式界面;

2. 点击NetWork,F5重新加载页面;

3. 选择对应页面名称的html文件;

4. 获取cookie;


方式2:通过fiddler工具抓取cookie(可选)

通过fiddler工具抓取网站的cookie,相比较 “方式1通过浏览器获取“ 会比较麻烦,如果需要查看具体操作步骤,请查看本文最后的补充内容。


、获取的cookie填写入简数

把获取的cookie信息拷贝到采集器中,再打开详情提取器加载即可查看到之前隐藏的内容;

简数采集器有两处入口可填写cookie:(填写其中一处即可)

I、点击  “启动 | 定时采集 ”  ,在网络配置中填上相关信息;



II、详情提起器左侧列表的网络配置:

注意:如果还是无法显示登录后的内容,请在 “Cookie域名” 处填上对应域名,不用加上http协议,例如:www.keydatas.com

到此就完成采集网站登录的数据信息。


补充内容:

获取网站cookie方式2:通过fiddler工具抓取cookie

还可以使用fiddler工具来进行抓取;(如果已经使用浏览器获取cookie,可以跳过这一步,直接到第二步--获取的cookie填写入简数

fiddler是介于客户端和服务器端的HTTP代理,也是常用的http抓包工具之一 。 它可以记录下客户端和服务器之间的所有HTTP请求,也可以针对指定的HTTP请求,进分析请求数据、设置断点、修改请求的数据,甚至还可以修改服务器返回的数据,功能十分强大,是网站调试的得力助手。

fiddler官网下载: https://www.telerik.com/download/fiddler


下载安装完成后,按照以下流程来操作:(本文章是基于Fiddler 4版本)

1.  右侧显示页面中先选择Inspectors栏;

        


2. 由于左侧显示页面已有许多访问网站的信息,我们接下先清空一下,方便接下来寻找指定的网页;

可以用快捷键ctrl+x或者在左侧显示页面右键Remove------>>all sessions;

            


3.  接下来登陆上需要抓取cookie的网站或者刷新已经登录的网页,就可以在左侧显示栏轻松找到网站的Host(网站域名)+ URL,以我这个

例子,选取的就是这一条,注意URL内容是斜杠 /  的那一条信息;


             


4. 右边显示栏选择raw栏,这时能看到获取的cookie了;

          


5. 为了获取完整的cookie,我们点击右侧显示栏中间的view in Notepad,即打开记事本来获取完整的cookie;