Nodejs高并发的原理
写在前面
我们先来看几个常见的说法
- nodejs是单线程 + 非阻塞I/O模型
- nodejs适合高并发
- nodejs适合I/O密集型应用，不适合CPU密集型应用
在具体分析这几个说法是不是、为什么之前，我们先来做一些准备工作
从头聊起
一个常见web应用会做哪些事情
- 运算（执行业务逻辑、数学运算、函数调用等。主要工作在CPU进行）
- I/O（如读写文件、读写数据库、读写网络请求等。主要工作在各种I/O设备，如磁盘、网卡等）
一个典型的传统web应用实现
- 多进程，一个请求fork一个（子）进程 + 阻塞I/O（即blocking I/O或BIO）
- 多线程，一个请求创建一个线程 + 阻塞I/O
多进程web应用示例伪代码
listenFd = new Socket(); // 创建监听socket
Bind(listenFd, 80); // 绑定端口
Listen(listenFd); // 开始监听
for ( ; ; ) {
// 接收客户端请求，通过新的socket建立连接
connFd = Accept(listenFd);
// fork子进程
if ((pid = Fork()) === 0) {
// 子进程中
// BIO读取网络请求数据，阻塞，发生进程调度
request = connFd.read();
// BIO读取本地文件，阻塞，发生进程调度
content = ReadFile('test.txt');
// 将文件内容写入响应
Response.write(content);
}
}
多线程应用实际上和多进程类似，只不过将一个请求分配一个进程换成了一个请求分配一个线程。线程对比进程更轻量，在系统资源占用上更少，上下文切换（ps：所谓上下文切换，稍微解释一下：单核心CPU的情况下同一时间只能执行一个进程或线程中的任务，而为了宏观上的并行，则需要在多个进程或线程之间按时间片来回切换以保证各进、线程都有机会被执行）的开销也更小；同时线程间更容易共享内存，便于开发
上文中提到了web应用的两个核心要点，一个是进（线）程模型，一个是I/O模型。那阻塞I/O到底是什么？又有哪些其他的I/O模型呢？别着急，首先我们看一下什么是阻塞
什么是阻塞？什么是阻塞I/O？
简而言之，阻塞是指函数调用返回之前，当前进（线）程会被挂起，进入等待状态，在这个状态下，当前进（线）程暂停运行，引起CPU的进（线）程调度。函数只有在内部工作全部执行完成后才会返回给调用者
所以阻塞I/O是，应用程序通过API调用I/O操作后，当前进（线）程将会进入等待状态，代码无法继续往下执行，这时CPU可以进行进（线）程调度，即切换到其他可执行的进（线）程继续执行，当前进（线）程在底层I/O请求处理完后才会返回并可以继续执行
多进（线）程 + 阻塞I/O模型有什么问题？
在了解了什么是阻塞和阻塞I/O后，我们来分析一下传统web应用多进（线）程 + 阻塞I/O模型有什么弊端。
因为一个请求需要分配一个进（线）程，这样的系统在并发量大时需要维护大量进（线）程，且需要进行大量的上下文切换，这都需要大量的CPU、内存等系统资源支撑，所以在高并发请求进来时CPU和内存开销会急剧上升，可能会迅速拖垮整个系统导致服务不可用
nodejs应用实现
接下来我们看看nodejs应用是如何实现的。
- 事件驱动，单线程（主线程）
- 非阻塞I/O
在官网上可以看到，nodejs最主要的两大特点，一个是单线程事件驱动，一个是“非阻塞”I/O模型。单线程 + 事件驱动比较好理解，前端同学应该都很熟悉js的单线程和事件循环这套机制了，那我们主要来研究一下这个“非阻塞I/O”是怎么一回事。首先来看一段nodejs服务端应用常见的代码，
const net = require('net');
const server = net.createServer();
const fs = require('fs');
server.listen(80); // 监听端口
// 监听事件建立连接
server.on('connection', (socket) => {
// 监听事件读取请求数据
socket.on('data', (data) => {
// 异步读取本地文件
fs.readFile('test.txt', (err, data) => {
// 将读取的内容写入响应
socket.write(data);
socket.end();
})
});
});
可以看到在nodejs中，我们可以以异步的方式去进行I/O操作，通过API调用I/O操作后会马上返回，紧接着就可以继续执行其他代码逻辑，那为什么nodejs中的I/O是“非阻塞”的呢？回答这个问题之前我们再做一些准备工作，
read操作基本步骤
首先看下一个read操作需要经历哪些步骤
- 用户程序调用I/O操作API，内部发出系统调用，进程从用户态转到内核态
- 系统发出I/O请求，等待数据准备好（如网络I/O，等待数据从网络中到达socket；等待系统从磁盘上读取数据等）
- 数据准备好后，复制到内核缓冲区
- 从内核空间复制到用户空间，用户程序拿到数据
接下来我们看一下操作系统中有哪些I/O模型
参考nodejs进阶视频讲解：进入学习
几种I/O模型
阻塞式I/O
非阻塞式I/O
I/O多路复用（进程可同时监听多个I/O设备就绪）
信号驱动I/O
异步I/O
那么nodejs里到底使用了哪种I/O模型呢？是上图中的“非阻塞I/O”吗？别着急，先接着往下看，我们来了解下nodejs的体系结构
nodejs体系结构，线程、I/O模型分析
最上面一层是就是我们编写nodejs应用代码时可以使用的API库，下面一层则是用来打通nodejs和它所依赖的底层库的一个中间层，比如实现让js代码可以调用底层的c代码库。来到最下面一层，可以看到前端同学熟悉的V8，还有其他一些底层依赖。注意，这里有一个叫libuv的库，它是干什么的呢？从图中也能看出，libuv帮助nodejs实现了底层的线程池、异步I/O等功能。libuv实际上是一个跨平台的c语言库，它在windows、linux等不同平台下会调用不同的实现。我这里主要分析linux下libuv的实现，因为我们的应用大部分时候还是运行在linux环境下的，且平台间的差异性并不会影响我们对nodejs原理的分析和理解。好了，对于nodejs在linux下的I/O模型来说，libuv实际上提供了两种不同场景下的不同实现，处理网络I/O主要由epoll函数实现（其实就是I/O多路复用，在前面的图中使用的是select函数来实现I/O多路复用，而epoll可以理解为select函数的升级版，这个暂时不做具体分析），而处理文件I/O则由多线程（线程池） + 阻塞I/O模拟异步I/O实现
下面是一段我写的nodejs底层实现的伪代码帮助大家理解
listenFd = new Socket(); // 创建监听socket
Bind(listenFd, 80); // 绑定端口
Listen(listenFd); // 开始监听
for ( ; ; ) {
// 阻塞在epoll函数上，等待网络数据准备好
// epoll可同时监听listenFd以及多个客户端连接上是否有数据准备就绪
// clients表示当前所有客户端连接，curFd表示epoll函数最终拿到的一个就绪的连接
curFd = Epoll(listenFd, clients);
if (curFd === listenFd) {
// 监听套接字收到新的客户端连接，创建套接字
int connFd = Accept(listenFd);
// 将新建的连接添加到epoll监听的list
clients.push(connFd);
}
else {
// 某个客户端连接数据就绪，读取请求数据
request = curFd.read();
// 这里拿到请求数据后可以发出data事件进入nodejs的事件循环
...
}
}
// 读取本地文件时，libuv用多线程（线程池） + BIO模拟异步I/O
ThreadPool.run((callback) => {
// 在线程里用BIO读取文件
String content = Read('text.txt');
// 发出事件调用nodejs提供的callback
});
通过I/O多路复用 + 多线程模拟的异步I/O配合事件循环机制，nodejs就实现了单线程处理并发请求并且不会阻塞。所以回到之前所说的“非阻塞I/O”模型，实际上nodejs并没有直接使用通常定义上的非阻塞I/O模型，而是I/O多路复用模型 + 多线程BIO。我认为“非阻塞I/O”其实更多是对nodejs编程人员来说的一种描述，从编码方式和代码执行顺序上来讲，nodejs的I/O调用的确是“非阻塞”的
总结
至此我们应该可以了解到，nodejs的I/O模型其实主要是由I/O多路复用和多线程下的阻塞I/O两种方式一起组成的，而应对高并发请求时发挥作用的主要就是I/O多路复用。好了，那最后我们来总结一下nodejs线程模型和I/O模型对比传统web应用多进（线）程 + 阻塞I/O模型的优势和劣势
- nodejs利用单线程模型省去了系统维护和切换多进（线）程的开销，同时多路复用的I/O模型可以让nodejs的单线程不会阻塞在某一个连接上。在高并发场景下，nodejs应用只需要创建和管理多个客户端连接对应的socket描述符而不需要创建对应的进程或线程，系统开销上大大减少，所以能同时处理更多的客户端连接
- nodejs并不能提升底层真正I/O操作的效率。如果底层I/O成为系统的性能瓶颈，nodejs依然无法解决，即nodejs可以接收高并发请求，但如果需要处理大量慢I/O操作（比如读写磁盘），仍可能造成系统资源过载。所以高并发并不能简单的通过单线程 + 非阻塞I/O模型来解决
- CPU密集型应用可能会让nodejs的单线程模型成为性能瓶颈
- nodejs适合高并发处理少量业务逻辑或快I/O（比如读写内存）