php的curl可以实现模拟http的各种请求,这也是php做网络爬虫的基础,也多用于接口api的调用。
这个时候有人就要发问了:为什么你特么不用file_get_contents?
curl的性能比它好,而且可以完成更多复杂的操作,不仅仅只是获取页面数据。
下面先分别介绍一些常用的函数。
主要是上面四个
下面直接上实例吧,相关解释都在注释里面
1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
2. 通过调用WebService查询北京的当前天气
3. 模拟需要登录的网址并抓取网页的内容
4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取
从FTP服务器下载一个文件到本地
6.下载网络上面的一个HTTPS的资源
有时候为了简单模拟一个http请求,这样就去用curl有点浪费,其实php自身已经可以实现这个功能,
需要在服务器端模拟 POST/GET 等请求,也就是在 PHP 程序中去实现模拟,改怎么做到呢?或者说,在 PHP 程序里,给你一个数组,如何将这个数组 POST/GET 到另外一个地址呢?当然,使用 CURL 很容易办到,那么如果不使用 CURL 库,又该怎么办呢?其实,在 PHP 里已经有相关的函数实现了,这个函数就是接下来要讲的 stream_context_create()。
直接 show you the code,这是最好的方法:
运行结果为:
一些要点讲解: