抓取php的curl常用的5个例子

curl_init  时间:2021-04-19  阅读:()

PHP的curl常用的5个例子curl_setopt($ch,CURLOPT_URL,http://localho st/mytest/phpinfo.phpcurl_setopt($ch,CURLOPT_HEADER,false);curl_setopt($ch,CURLOPT_RETURNTRANSFER, 1);//如果把行注掉的就会直接出$result=curl_exec($ch);curl_close($ch);

2使用代理行抓取

什要使用代理行抓取呢以google例吧 如果去抓google的数据 短 内抓的很繁的你就抓取不到了 。google你的ip地址做限制个候你可以代理重新抓。?p hp

$ch=curl_init();curl_setopt($ch,CURLOPT_URL,http://blog.51 yip.comcurl_setopt($ch,CURLOPT_HEADER,false);curl_setopt($ch,CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch,CURLOPT_HTTPPROXYTUNNEL,TRUE);curl_setopt($ch,CURLOPT_PROXY, 125.21.23.6:8080);

//url_setopt($ch,CURLOPT_PROXYUSERPWD, ‘user:password’);如果要密的 加上个$result=curl_exec($ch);curl_close($ch);

3 post数据后抓取数据

独一下数据提交数据 因用curl的候很多候会有数据交互的所以比重要的。?p hp

$ch=curl_init();

/*在里需要注意的是要提交的数据不能是二数或者更高

*例如array(‘name’=s erializ e(array(‘tank’,’zhang’)),’s ex’=1,’b irth’=‘20101010’)

*例如array(‘name’=array(‘tank’,’zhang’),’s ex’=1,’b irth’=‘20101010’) 会 的*/

$data=array(‘name’=‘te st’,’s ex’=1,’b irth’=‘20101010’);curl_setopt($ch,CURLOPT_URL,’http://localho st/mytest/curl/upload.php’);curl_setopt($ch,CURLOPT_POST, 1);curl_setopt($ch,CURLOPT_POSTFIELDS,$data);curl_exec($ch);

在upload.php文件中 print_r($_PO ST);利用curl就能抓取出upload.php 出的内容Array( [name]=te st [s ex]=1 [b irth]=20101010)

4抓取一些有面 控制的面

以前写一篇 面 控制的3 方法有趣的可以看一下。

如果用上面提到的方法抓的会以下

You are not authorized to view this page

Youdonot have permission to view this directoryorpage using the credentials that you suppliedbecause your Web browser is sending a WWW-Authenticate header field that the Web server isnot configured to accept.

个候 我就要用CURLOPT_USERPWD来行 了

?p hp

$ch=curl_init();curl_setopt($ch,CURLOPT_URL,http://club-china

/*CURLOPT_USERPWD主要用来破解面 控制的

*例如平我所以htpasswd生面控制等。*/

//curl_setopt($ch,CURLOPT_USERPWD, ‘231144:2091 XTAjmd=‘);curl_setopt($ch,CURLOPT_HTTPGET, 1);curl_setopt($ch,CURLOPT_REFERER,http://club-chinacurl_setopt($ch,CURLOPT_HEADER,0);

$result=curl_exec($ch);curl_close($ch);

5模登到s ina

我要抓取数据 可能是登以后的内容 个候我就要用到curl的模登功能了 。?p hpfunctionchecklogin($user,$password)if(emptyempty($user) | |emptyempty($password) )return0;

$ch=curl_init( );curl_setopt($ch,CURLOPT_REFERER,http://mail.sina.com.cn/index.htmlcurl_setopt($ch,CURLOPT_HEADER, true);curl_setopt($ch,CURLOPT_RETURNTRANSFER, true);curl_setopt($ch,CURLOPT_USERAGENT,USERAGENT);curl_setopt($ch,CURLOPT_COOKIEJAR,COOKIEJAR);curl_setopt($ch,CURLOPT_TIMEOUT,TIMEOUT);curl_setopt($ch,CURLOPT_URL,http://mail.sina.com.cn/cgi-bin/login.cgicurl_setopt($ch,CURLOPT_POST, true);curl_setopt($ch, CURLOPT_POSTFIELDS, logintype=uid u= .urlencode($user). psw= .$password);

$contents=curl_exec($ch);curl_close($ch);if( !preg_match(/Location: (.*)\\/cgi\\/index\\.php\\?check_time=(.*)\n/ ,$contents,$matches) )return0;

}else{

return 1;define(USERAGENT,$_SERVER[‘HTTP_USER_AGENT’] );define(COOKIEJAR, tempnam(/tmp,cookie) );define(TIMEOUT,500);echochecklogin(zhangying215,xtaj 227

打/tmp下面的co okie文件看一下

#Netscape HTTP Cookie File

#http://curl.haxx.s e/rfc/cookie_spec.html

#This file was generated by libcurl!Edit at your own risk.mail.sina.com.cn FALSE / FALSE 0 SINAMAIL-WEBFACE-SESSID65223c4bd8900284ed463d2a3e1 ac182

#HttpOnly_.sina.com.cn TRUE / FALSE 0 SUE es%3D8d96db0820c6c79922ad57d422f575e8%26ev

%3Dv0%26es2%3Dcddfb8400dc5ca95902367ddcd7f57dd

.sina.com.cn TRUE / FALSE 0 SUP cv%3D1%26bt%3D1286900433%26et%3D1286986833%26lt%3D1%26uid%3D1445632344%26user%3D%25E5%25BC

%25A0%25E6%2598%25A02001%26ag%3D2%26name%3Dzhangying20015%2540sina.com%26nick%3D%25E5%25BC%25A0%25E6%2598%25A02001%26sex%3D1%26ps

%3D0%26email%3Dzhangying20015%2540sina.com%26dob%3D 1982-07-18

#HttpOnly_.sina.com.cn TRUE / FALSE 0 SID BihcallomxMx-QZxzGrOlcSQx%2F0B%2F0cmr.NyQ%2F0B%2FcmGGalmarlmcHrcGl Smrmxmfxal_CBZ

%2F_afugCmmGirBYHm0Bc%40fr5ciZiGG5i

#HttpOnly_.sina.com.cn TRUE/FALSE 0 SPRIAL bfb4102951 fd5892a3fd5b42d442cd26#HttpOnly_.sina.com.cn TRUE/FALSE 0 SINA_USER%D5%C5%D2001

腾讯云2核4GB内存8M带宽 年74元

一般大厂都是通过首年才有可以享受爆款活动,然后吸引我们注册他们商家达到持续续费和购买的目的。一般只有大厂才能有这样的魄力和能力首年亏本,但是对于一般的公司和个人厂家确实难过,这几年确实看到不少的同类商家难以生存。这里我们可以看到有对应的套餐方案。不过这两个套餐都是100%CPU独享的,不是有某云商家限制CPU的。但是轻量服务器有个不好的就是带宽是较大且流量是限制的额,分别是1GB和1.2TB月流量...

美国高防云服务器 1核 1G 10M 38元/月 百纵科技

百纵科技:美国云服务器活动重磅来袭,洛杉矶C3机房 带金盾高防,会员后台可自助管理防火墙,添加黑白名单 CC策略开启低中高.CPU全系列E52680v3 DDR4内存 三星固态盘列阵。另有高防清洗!百纵科技官网:https://www.baizon.cn/联系QQ:3005827206美国洛杉矶 CN2 云服务器CPU内存带宽数据盘防御价格活动活动地址1核1G10M10G10G38/月续费同价点击...

酷番云-618云上秒杀,香港1核2M 29/月,高防服务器20M 147/月 50M 450/月,续费同价!

官方网站:点击访问酷番云官网活动方案:优惠方案一(限时秒杀专场)有需要海外的可以看看,比较划算29月,建议年付划算,月付续费不同价,这个专区。国内节点可以看看,性能高IO为主, 比较少见。平常一般就100IO 左右。优惠方案二(高防专场)高防专区主要以高防为主,节点有宿迁,绍兴,成都,宁波等,节点挺多,都支持防火墙自助控制。续费同价以下专场。 优惠方案三(精选物理机)西南地区节点比较划算,赠送5...

curl_init为你推荐
交换机routeToolgraphwin7如何关闭445端口如何关闭445端口,禁用smb协议360chrome360浏览器和谷歌chrome比哪个好用icloudiphone苹果6显示已停用请连接itunes什么意思chromeframechrome需要frame吗firefoxflash插件安装火狐浏览器后,老是提示安装flash player?morphvoxpro怎么用MorphVOX Pro变声器声音怎样调试android5.1安卓5.0和安卓5.1的区别在哪里?ios10.0.3小六升IOS11.0.3到底卡不卡,过来人给个建议
虚拟主机排名 免费域名注册网站 绍兴服务器租用 cybermonday burstnet 韩国俄罗斯 koss sockscap 国外空间 dropbox网盘 eq2 长沙服务器 ibox官网 新天域互联 静态空间 免费邮件服务器 空间登入 双线空间 114dns 江苏双线 更多