实战:一种在http请求中使用protobuffer+nginx+lua收集打点日志的方案
背景
app打点日志的上报和收集，是互联网公司的基本需求。
一.方案选择
1.1 protobuffer vs json
探究一种以最高效的方式上报和解析打点数据是一个系统性的问题，需要解决的子问题有很多，例如降低网络传输成本，减少序列化反序列化的性能开销，可靠性和高峰期的水平扩展，以及非耦合的编码等等。
很多公司的打点日志会采用比较简单通用的json格式来上报，比如”第四范式”的先荐系统就是使用json格式作为数据上报格式的，这样做便于开发和理解，但是从处理性能方面来考虑并不是最好的选择。
附上protobuffer和json的序列化反序列化性能评测对比: http://www.52im.net/thread-772-1-1.html
在2019年的数据库峰会上，腾讯广告联盟的负责人曾介绍了广告数据平台的原始日志格式，用的就是protobuffer，并且为了方便直接查原始数据格式，自研了一个名为dragon的数据存储格式。
1.2 OpenResty （nginx+lua）
Nginx作为一款开源高性能且稳定的web服务器，经历了10年的发展，已经打败了Apache,IIS等巨头，成为了互联网界的新宠。
Nginx的异步非阻塞，以及模块化的特性，再加上lua脚本的轻量级的特性，让我们很方便的就能开发出一套可扩展且高可靠性的日志收集系统，开发人员只需要关注功能实现本身即可。
1.3 处理流程图
这里只画出了收集部分的步骤，通过Flume收集和处理日志的步骤请见我的另一篇博客:《将nginx收集的日志通过flume转到hive》
二.实现步骤
2.1 定义日志格式
由于每个客户端5秒发送一批日志，可能会包含1条或者多条，为了防止重复发送uuid、客户端版本号等在一次发送周期中不会改变的数据，可以抽取这部分客户端公共的属性作为独立字段；而如点击、播放、翻页等非公共的属性才通过protobuf数组的形式发送。
post日志的上传格式如下:
1) body就是事件体数组部分，每个事件单独一条数据；
2)其他的字段是可共用的公共属性部分，一批事件中这些属性相同。
3)token字段是信令字段，如果token错误，则可能是身份不明者伪造的上报数据。token的格式是(时间戳+密钥)的md5编码。密钥部分可以随意指定，客户端和服务端保持一致即可。出于安全考虑本处打码。
eventobj的格式定义:
event：{ 'eventtype': 'sv', #事件类型 'pg': 'home' #事件发生的一级页面 'spg': 'recommend' #事件发生的二级页面 'ts': 1527238632, #timestamp 为事件发生的unix时间戳（+当前时区），精确到秒 'arg': '' # 字符串类型，每个事件对应的其他参数，可能0个或者多个，0个的为空字符串，多个的话用符号&链接。 }
2.2 编写event.proto文件
本文中不会详细的介绍protobuffer的知识，只会针对该案例讲解操作步骤。如需要了解更多protobuffer的知识可以自行学习。
(有个比较坑的地方是工信部禁了developers.google.com，苦了找文档的各位童鞋。)
如下示例中指定了若干事件类型，若干一级页面和二级页面。文件名为event.proto。
syntax = "proto3"; //protobuff option java_outer_classname = "EventsProtos"; message Event { enum T { // event type SCANV = 0; // sv, scan video PLAYV = 1; // pv, play video LIKEV = 6;//lv, like video CLIKEV = 7; // clv, canceld like video SHAREV = 8; //shv, share video } enum Pg{ // first level page type HOME = 0; // SEARCH = 1; // UPLOAD = 2; // } enum Spg{ // second level page type RECOMMEND = 0; //home FRESH = 1; // home HOT = 2; //home } T eventtype = 1; Pg pg = 2; Spg spg = 3; int32 ts = 4; string arg = 5; } message Events { repeated Event events = 1; }
2.3 生成protobuffer客户端文件。
EventsProtos.java 为Android 端用， Events.pbobjc.h Events.pbobjc.m 为ios端用，
2.4 让OpenResty的lua模块支持protobuffer
1 mkdir /root/project/ 2 mkdir /root/project/lua-protobuf 3 git clone https://github.com/starwing/lua-protobuf lua-protobuf/ 4 cd lua-protobuf/ 5 gcc -O2 -I/usr/local/openresty/luajit/include/luajit-2.1/ -fPIC -shared -Wl,-rpath=./ pb.c -o pb.so 6 cp pb.so /usr/local/openresty/lualib/ 7 cp serpent.lua /usr/local/openresty/lualib/ 8 cp protoc.lua /usr/local/openresty/lualib/