PHP利用cURL实现模拟登录与采集,提供大量示例。(关键词:php curl login)
了解PHP cURL使用请参考:《PHP cURL实现模拟登录与采集使用方法详解》
基于浏览器cURL命令快速生成PHP代码:基于cURL命令解析获得PHP代码
自动模拟登录+批量请求示例:模拟登录后批量下载笔记
PHP: >=5.4
git clone https://github.com/Zjmainstay/php-curl.git
cd php-curl
composer install
#测试
php demo/1_simpleAutoLogin.php
composer require zjmainstay/php-curl
#测试
cd vendor/zjmainstay/php-curl
composer install
php demo/1_simpleAutoLogin.php
require_once __DIR__.'/../src/CurlAutoLogin.php'; # 使用时注意路径
$autologin = new PHPCurl\CurlAutoLogin();
# 参考demo/0_simpleAutoLogin.php
//最后一次cookie存储文件
protected $lastCookieFile = '';
//登录成功后,锁定cookie的更新
protected $lockedLastCookieFile = false;
//日志路径
protected $logPath = '';
//全局opt,方便使用代理之类的请求
protected $globalOpts = [];
//最后一次请求参数,用于重放请求
protected $lastExecParams = [];
// ================== 1.常用方法 ==================
//根据curl信息执行并解析结果,核心方法常用方法之一
public function execCurl($curlContent, $callbackBefore = false, $callbackAfter = false, $storeParams = true)
//携带cookie执行curl命令,核心方法常用方法之一,直接利用curl命令里的header头cookie参数
public function execCurlWithCookie($curlContent, $callbackBefore = false, $callbackAfter = false)
// ================== 2.普通公用方法 ==================
//设置全局请求opt(方便使用代理之类的请求)
public function setGlobalOpts($opts = [])
//重放请求,依赖登录的场景出现登录失败的情况,重新登录后,调用此方法重试上一次的请求
public function repeatRequest()
//获取最后一次请求参数,用于重放请求
public function getLastExecParams()
//主动销毁最后一次请求参数
public function unsetLastExecParams()
//解析curl信息,返回结果包含url/header/post/opt/cookie,post是post提交的数据,opt是curl备用扩展
public function parseCurl($curlContent)
//设置日志路径
public function setLogPath($logPath)
//获取上一次存储cookie的文件
public function getLastCookieFile()
//获取最后一次存储的cookie内容
public function getLastCookieContent()
//手动追加cookie内容到最后一次存储的cookie文件
public function appendCookieContent($content)
//设置上一次存储cookie的文件
public function setLastCookieFile($cookieFile)
//清空上次存储的cookie
public function removeLastCookie()
//登录成功后,锁定上一次存储cookie的文件,避免覆盖
public function lockLastCookieFile()
//解锁上一次存储cookie的文件
public function unlockLastCookieFile()
//登录成功后,锁定cookie,可以基于get方式获取url信息
public function getUrl($url, $header = false)
//登录成功后,锁定cookie,可以基于post方式获取url信息
public function postUrl($url, $postData = false, $header = false)
//断言内容中包含某个字符(判断登录信息,如“退出”字眼)
public function assertContainStr($content, $substr)
//获取换行符,用于输出信息显示换行
public function getLineBreak()
//格式化header头cookie成文件存储格式
public function formatHeaderCookieToFileContent($headerCookie, $domain)
//从curl内容解析cookie内容并追加保存到cookie文件
public function addCookieFromCurl($curlContent, $domain)
// ================== 3.底层方法 ==================
//执行curl请求,底层核心方法,内置了请求的cookie存储与跟踪上一次请求的cookie,实现模拟登录cookie依赖
protected function _execCurl($parseCurlResult)
//记录日志,底层方法,出现异常时记录日志
protected function _log($msg)
//简易模拟登录示例,直接引用CurlAutoLogin类进行调用
0_simpleAutoLogin.php
//简易模拟登录示例,基于composer引用CurlAutoLogin类进行调用
//简介:包含execCurl回调$callbackBefore实现curl请求前替换用户名
1_simpleAutoLogin.php
//浏览器登录微信,利用登录后cookie进行后续访问
//简介:【代码已不可用,参考思路】
//方法一:利用execCurl前置回调添加cookie到header中
//方法二:直接调用parseCurl对curl命令进行解析,并组装包含cookie的header头进行请求
//方法三:直接调用execCurlWithCookie调用
2_wxqq.php
//预加载cookie,然后访问其他页面
//简介:模拟登录有时候依赖首页或者其他页面的cookie,所以需要调用execCurl先请求一次,存下该页面的cookie,再做后续的请求
3_preloadCookieAndVisit.php
//中国知网下载
//简介:增加CURLOPT_HEADER属性返回请求头信息,然后解析下载地址进行下载请求
7_cnki.net.php
//webqq发送消息
//简介:【功能已不可用】基于web2 qq 发送群消息和个人消息(注:频繁发送会导致账号锁定,慎用!!!)
8_webqq.php
//博客园模拟登录
//简介:【网站改版,功能已不可用】
//基于nodejs提供js加密处理,返回结果给php请求登录使用
11_cnblogLogin
//(验证码)坐车网登录
//简介:坐车网网页显示验证码,用户手动录入后提交给程序,实现模拟登录
12_zuocheWithCaptcha.php
//模拟登录360doc
//简介:360doc登录,中间有一层cookie依赖,类似demo 3_preloadCookieAndVisit.php
14_360doc.php
//为知笔记内容下载
//简介:利用js在控制台运行获取所有笔记采集链接,然后下载对应笔记
15_downloadWizNote.php
//页面采集通用方法
//简介:日常使用curl请求可用
16_commonCurl/curlPage.php
//(验证码)命令行下输入验证码登录dev.360.cn
//简介:命令行执行获取验证码,写入到文件,命令行等待录入验证码,录入后提交给程序,实现模拟登录
17_dev.360.cn_STDINCaptcha.php
//天眼查关键词搜索
//简介:【功能已不可用】天眼查关键词搜索,最终数据页有token依赖,提取后通过$callbackBefore传入
19_www.tianyancha.com.php
//(验证码)木蚂蚁用户登录
//简介:木蚂蚁用户登录,网页显示验证码,用户手动录入后提交给程序,实现模拟登录
20_u.mumayi.com_OnlineCaptcha.php
//环球外汇网即时行情数据采集
//简介:【页面改版已不需要这么复杂】
//加载页面,解析出js,调用phantomjs执行js获取cookie加密结果,交给php模拟程序调用
22_tools.cnforex.com-phantomjs-parse-js.php
//(验证码)好单库登录
//简介:命令行执行获取验证码,写入到文件,命令行等待录入验证码,录入后提交给程序,实现模拟登录
26_publish.haodanku.com.php
//阿里文学js解密
//简介:阿里文学网小说解析,基于phantomjs执行js进行内容解析
34_www.aliwx.com.cn
//图床图片上传
//简介:【网站502功能已不可用】访问初始页获取x-csrf-token,解析后通过$callbackBefore传入,实现模拟请求上传图片到图床网站
38_upload.otar.im_image_upload.php
//草料图片上传二维码解析
//简介:上传图片到草料,然后利用上传结果调用解析接口,获得解析结果
41_cli.im.php
//重放请求
//简介:首先模拟无登录态请求,异常后模拟登录,然后重放请求得到正常结果
48_request_repeat.php
//tophub.today抓取demo
//简介:知乎热榜网站抓取
61_tophub.today.php
//【精华推荐】为知笔记模拟登录后,批量下载笔记
//简介:本示例实现模拟登录与ares333/php-curl批量执行类库结合,演示如何模拟登录后,基于登录态进行批量下载笔记
62_curlmulti/62_wiz.cn.php
//基于curl解析得到PHP代码
parseCurlGetPhpCode.php