四虎精品视频-四虎精品成人免费网站-四虎黄色网-四虎国产视频-国产免费91-国产蜜臀97一区二区三区

PHP CURL獲取cookies模擬登錄的方法

要提取google搜索的部分數據,發現google對于軟件抓取它的數據屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數據,但是現在卻不行了。利用抓包數據發現,Google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續幾十個302跳轉,根本抓不了數據。
因此,在發送搜索命令時,需要先提取 cookies 并保存,然后利用保存下來的這個cookies再次發送搜索命令即可正常抓數據了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies并保存,然后利用這個cookies訪問就可以了。
php 代碼如下:
復制代碼 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');

$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");

//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);

//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);

echo $response;
?>

php技術PHP CURL獲取cookies模擬登錄的方法,轉載需保留來源!

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

主站蜘蛛池模板: 九龙城寨在线观看| 永恒万花筒佐助壁纸| 绝顶五秒前| 适度水解奶粉有哪些| 电视剧《节妇》在线观看| cctv6电影节目表| 潘馨| 场景歌评课| 男同视频在线| 七年级下册英语书电子版单词表| 潜行在线观看| 都市频道在线直播回放| 八年级上册英语课堂作业答案| 爱很美味 电影| 南通紫琅音乐节| 风云太白山电影| 悦时光电影完整版免费观看| 教师政治学习笔记| 饮料超人| 黎姿电影| 梦的衣裳| 郑婉雯| 不要好舒服| 魔1983| 社会好全部歌词| 我问问百度| 罗伯特·杜瓦尔| 澳门华侨报| 香魂女| 红灯区1996| 家庭琐事美剧电影观看完整版| 美女拉屎| 青春校园大尺度床戏| 勇敢者| 视频爱爱| 王紫瑄| 林黛玉进贾府人物形象分析| 38在线电影| 纪念碑谷3| 行尸走肉第六季| 黑龙江省地图高清全图|