异步任务推送的实践
目录
- 初识Swoole
- 异步进程介绍
- 传统推送业务逻辑
- 异步任务推送逻辑
- 效率对比
初识Swoole
Swoole是PHP一个扩展,但和其他扩展只提供接口、函数不同,Swoole重新定义PHP,接管并重新处理数据,将处理好的数据返回给PHP,支持百万TCP连接,同时支持异步/同步/协程等功能
Swoole采用多进程架构模型,比多线程架构更方便,不存在线程安全问题,缺点是进程与进程通信没有线程方便,另外PHP-FPM,Nginx采用的也是多进程模型,学习起来还是容易接受。
异步Worker进程介绍
异步Worker进程是Swoole提供的一个非阻塞进程,投递一个异步任务到异步进程,执行完毕立即返回,异步进程可以继续处理新请求,进程间没有加锁争抢,性能异常优良。利用以上特性,可以用来处理耗时较长的事务。
传统推送业务逻辑
传统推送通过设置自动执行,或者手动执行读取运营后台设定数据,写入队列(可选),接着将数据推给第三方,第三方将推送结果告知程序,这个告知的过程通常以对方网络稳定决定了推送效率,推送短板也在这块。
异步任务进程推送逻辑
异步任务运用在从队列读取数据过程中,开启多个进程读取数据,接着发送数据给第三方,只要开启合适数量的进程,推送速度极快。
下面介绍用到技术
- EasySwoole框架
- Redis队列
- 定时器
- Task进程
话不多说,撸起代码就是干
1、注册定时器,写入任务
if ($workerId == 0) {
Timer::Loop(1 * 1000, function () {
PushLogic::addQueue();
});
}
<?php
namespace App\Logic;
use App\Logic\Queue;
class PushLogic
{
const REDIS_KEY = \'push_list\';
public static function addQueue($task)
{
Queue::push(self::REDIS_KEY, $task);
}
}
2、注册定时器 获取任务
if ($workerId == 1) {
Timer::Loop(5 * 1000, function () {
$share = ShareMemory::getInstance();
// 启用16个异步Task进程
if ($share->get(Sys::PUSH_TASK_NUM) < 16) {
AsyncTaskManager::getInstance()->add(PushTask::class);
}
});
}
3、封装异步执行逻辑
<?php
namespace App\Logic;
use App\Logic\Queue;
class PushLogic
{
conse REDIS_KEY = \'push_list\';
public static function handle($task)
{
// 进程数据隔离 文件锁 记录异步Task进程数量
$share = ShareMemory::getInstance();
$share->startTransaction();
$key = Sys::PUSH_TASK_NUM;
$share->set($key, $share->get($key) + 1);
$share->commit();
while (true) {
$task = Queue::pop(self::REDIS_KEY);
// 调用GCM或APNS逻辑
Gcm::send($task);
}
$share->startTransaction();
$share->set($key, $share->get($key) - 1);
$share->commit();
}
}
至此主要功能已处理完毕,具体推送结果可以根据实际情况存入Redis、Swoole内存表、数据库
注:推送结果不要存在全局变量或者静态变量,因为不同进程内存隔离
效率对比
- 系统:CenOS release 5.11
- CPU: 4核
- 内存:32G
- PHP:7.1
- 总终端数量:1百万
- 单次任务终端数量:1千
传统推送耗时:30分钟
异步多任务:3分钟
温馨提示
- EasySwoole框架是常驻内存,连接数据库需要采用断线重连,否则会出现MySQL server has gone away,可以参考这里的使用方法PHP-MySQLi-Database-Class
- 获取任务时,应避免所有异步任务进程处于忙的状态。
- 代码不要出现sleep/usleep等睡眠函数,会使进程陷入睡眠阻塞。
- 禁用exit/die,导致进程退出。
- 全局变量、静态变量、需要自行销毁,特别要注意array类型的值,必要时清理大数组,防止内存溢出。