线程数与多核CPU的关系,VMware中核数的设置
-
CPU数,核数,processor数的概念
-
CPU数
- 独立的中央处理单元,体现在主板上就是有多少个CPU槽位
-
CPU cores
- 在每一个CPU上,都可能有多核(core),每个核中都有独立的ALU,FPU,Cache等组件,可以理解为CPU的物理核数。(我们常说4核8线程中的核)
-
processor
- 每一个物理核可以模拟出多个逻辑核,”超线程”技术就是通过采用特殊的指令,把逻辑内核模拟为物理超线程,这样的核就是processor.是一个处理数据的通道,流水线。可以理解为逻辑核(比如我们常说的4核8线程中的线程)
-
查看计算机的processor数(虚拟核数)
-
在linux中使用top 然后输入1,从CPU0到CPUn显示的就是CPU的虚拟核数(processor)
-
-
查看物理核数
-
在linux中输入 cat /proc/cpuinfo 就可以看到CPU cores 和 processor的概念
-
-
-
关于进程和线程
-
进程
- 是CPU调度和分配的基本单位
-
线程
- 是操作系统进行资源(包括CPU,内存,磁盘IO)分配的最小单位
-
关系
- 打开微信,浏览器都是一个进程,一个进程中可能有多个子任务,比如微信接受信息,发送信息,这些子任务都是线程
- 进程之间无法共享资源,进行通信。但是线程之间可以通信,共享进程的资源
- 开启一个进程,就是打来一个软件,消耗的资源多。但是线程相较进程就会节省很多资源。
-
线程之间的切换
-
分时
- 将时间平均分配,各个线程之间轮流使用
-
抢占
- 优先级高的线程抢到资源的概率大
-
-
线程开销
- 上下文切换,保存当前线程的执行环境,并恢复要执行线程的环境。
- 线程创建和消亡的开销
- 线程需要保存维持线程本地栈,会消耗内存
-
当线程多到一定的程度时,就会拖慢系统性能,因为多线程的切换需要资源。所以在线程数应该在性能瓶颈的90%。
-
-
多核下线程数量的选择
-
Master-worker模式
-
针对多任务,我们通常采用Master-worker模型。Master负责分配任务,worker负责执行任务。如果Worker挂掉,就要Master负责重新调度。Hadoop集群即使这样NameNode管理DataNode.这是由线程切换到节点。
-
-
计算密集型
- 程序主要是复杂的逻辑判断和复杂的运算。比如我们常见的机器学习之类的。
- CPU利用里高,不应开太多的线程。因为线程太多会因为线程的上下文切换浪费资源。
- 计算密集型的任务同时进行的数量应当等于CPU的核心数(processo数,虚拟内核也算)
-
IO密集型
- 程序主要是IO操作,比如磁盘IO和网络IO。比如Hadoop的MR。
- 因为IO操作会阻塞线程,CPU大量的时间在等待IO操作的完成,因此CPU的利用率不高,可以多开线程,当IO阻塞时就切换到其他就绪的线程,提高CPU的利用率
-
如果磁盘IO的性能超过了总线的能力,此时的瓶颈就是IO而不再是CPU,线程开的多也没有意义。因为总线被打满了,数据过不来。
-
-
关于VMware虚拟机CPU核数的设置
- 机器设置:E5-2660 V2 两颗,每颗10核,20线程
-
VMware设置界面
-
查看VMware中的各种情况(注意:这里显示的都是ID数,不是个数)
- CPU个数 cat /proc/cpuinfo | grep “physical id”
- CPU core cat /proc/cpuinfo | grep “core id”
- CPU processor cat /proc/cpuinfo | grep “processor”
- 对比
设置 |
vmCPU个数 |
vmCPU core |
vmCPU processor |
结论 |
处理器数量:1 每个处理器的内核数量:4 |
1 |
4 |
4 |
1U4核4线程 |
处理器数量:2 每个处理器的内核数量:2 |
2 |
2 |
4 |
2U1核2线程 |
处理器数量:4 每个处理器的内核数量:2 |
4 |
2 |
8 |
4U2核2线程 |
可见:VMware中的:处理器数量(P)实际代表的是虚拟机的CPU个数
每个处理器的内核数量(C)实际代表的是虚拟机CPU的core
-
VMware设置内核数量的最佳实践
- 虚拟机的CPU数设置应该是小于物理机的数量。处理器数量*每个处理器内核数量<物理机的processor数量
- 如果虚拟机的processor数大于物理机的processor数,虚拟机化管理系统首先按照时间片轮流调度一遍,然后如果还有剩余的物理CPU资源,就分给需要计算的虚拟CPU
-
参考资料【感谢你的努力,让我有进步】
- http://blog.guoyb.com/2018/08/18/cpu-cores/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
- http://www.cnblogs.com/-new/p/7234332.html
- http://www.cnblogs.com/52mm/p/p2.html
- https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001397567993007df355a3394da48f0bf14960f0c78753f000
版权声明:本文为yanghuabin原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。