mysql数据库的安装及体系说明
第1章 MySQL介绍
1.1 数据的定义
数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合,是可识别、抽象的符号
1.2 数据库管理系统
作用:存储数据、管理数据(查询数据、备份恢复、安全、性能等)
1.2.1 RDBMS及NoSQL的特性对比
种类 |
RDBMS(关系型数据库) |
NoSQL(非关系型) |
特点 |
强大查询功能 强一致性 二级索引 事务支持等 |
灵活模式 扩展性 高性能 分布式支持 |
典型产品 |
Oracle、MySQL、sqlserver、db2 |
Redis(持久化缓存)、MongoDB(最接近关系型数据的NoSQL)、Memcached、hbase、Neo4j |
功能特点介绍 |
01.数据存取是通过SQL 02.最大特点:数据安全性方面强(ACID) |
01.关系型数据库的补充,现在也有部分替代的趋势 02.关注高性能,高并发,灵活性,忽略和上述无关的功能 |
1.2.2 NoSQL的分类、特点、典型产品
键值(KV)存储:Memcached、Redis
列存储(column-oriented):HBASE(新浪,360)、Cassandra(200台服务器集群)
文档数据库(document-oriented):MongoDB(最接近关系型数据库的NoSQL)
图形存储(Graph):Neo4j
1.2.2.1 Oracle公司产品介绍
01.Oracle数据库版本介绍 7--8i--9i--10g—11g--12c--18c(?) 02.Oracle的市场应用 市场份额第一,趋势递减 市场空间,传统企业 传统企业也在互联网化 03.MySQL数据库版本介绍 5.0--5.1--5.5--5.6--5.7--8.0 04.MySQL的市场应用 中、大型互联网公司 市场空间:互联网领域第一 趋势明显
同源产品:MariaDB、perconaDB
1.2.2.2 其他公司产品介绍
01.微软:SQL Server
微软和sysbase合作开发的产品,后自己开发windows平台
3/4线小公司,传统行业在用
02.IBM:DB2
市场占有量小
目前只有:国有银行(人行、中国银行、工商银行等)、中国移动应用
03.PostgreSQL
04.MongoDB
05.Redis
后三者广泛应用在大型互联网公司
1.2.3 Redis特点
01.依然高性能该并发
02.数据持久化的功能
03.支持多数据类型,主从复制和集群
04.管理不再使用SQL
第2章 Mysql安装
2.1 安装方式介绍
01.RPM/Yum:安装方便、速度快,无法定制
02.二进制:无需安装,解压即可使用,但不能定制功能
03.编译安装:可定制,安装慢
5.5之前:./configure make make install
5.5之后:cmake gmake
04.先编译再制作rpm、yum库,然后yum安装
特点:简单、速度快、可定制,比较复杂,制作时间长
2.1.1 企业选择安装方式
中小企业:以上方式都可以,运维偏向编译,dba偏向选择二进制
大型企业:可以选择04
2.2 准备环境
01.克隆模板机(尽量使用centos6)→克隆完做快照
1 iptables -L #查看已添加的iptables规则 2 iptables -F #清除已有iptables规则 3 /etc/init.d/iptables stop 4 chkconfig iptables off 5 6 getenforce
02.设置IP地址为10.0.0.52 主机名db02
A.网卡地址修改IP=10.0.0.52
1 sed -i 's#200#52#g' /etc/sysconfig/network-scripts/ifcfg-eth[01] 2 grep '52' /etc/sysconfig/network-scripts/ifcfg-eth[01]
B.修改系统主机名称
1 hostname db02 2 sed -i 's#oldboyedu-40#db02#g' /etc/sysconfig/network 3 grep "db02" /etc/sysconfig/network
C.重启网络生效
1 /etc/init.d/network restart
03.设置hosts解析
1 echo “10.0.0.52 db02“ >>/etc/hosts
04.添加单独的磁盘用来存放mysql软件和数据(/dev/sdb=20G)
1 mkfs.ext4 /dev/sdb 2 mkdir /application 3 mount /dev/sdb /application 4 blkid #查询磁盘的uuid,这里用来查询/dev/sdb的信息 5 6 echo "UUID=xxx /application ext4 defaults 0 0 " >>/etc/fstab
2.3 软件安装
2.3.1 安装依赖包
1 yum install -y ncurses-devel libaio-devel 2 yum install cmake –y #安装cmake 3 rpm -qa ncurses-devel libaio-devel cmake
1 vim /etc/yum.conf 2 3 keepcache=1 #将网络yum源使用过的软件包保存下来 4 cachedir=/var/cache/$basearch/$releasever #保存在这个位置
2.3.2 创建mysql管理用户
1 useradd -s /sbin/nologin -u 999 –M mysql #无需登录,生产环境中建议手动定义UID及GID 2 id mysql
2.3.3 解压安装mysql
1 mkdir -p /home/oldboy/tools/ 2 cd /home/oldboy/tools/ 3 wget -q http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36.tar.gz 4 ls -l mysql-5.6.36.tar.gz #尽量去官方下载或rz直接上传软件包
1 tar xf mysql-5.6.36.tar.gz 2 cd mysql-5.6.36 3 cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.6.36 \ #代码预编译->程序存放位置 4 -DMYSQL_DATADIR=/application/mysql-5.6.36/data \ 5 -DMYSQL_UNIX_ADDR=/application/mysql-5.6.36/tmp/mysql.sock \ 6 -DDEFAULT_CHARSET=utf8 \ 7 -DDEFAULT_COLLATION=utf8_general_ci \ 8 -DWITH_EXTRA_CHARSETS=all \ 9 -DWITH_INNOBASE_STORAGE_ENGINE=1 \ 10 -DWITH_FEDERATED_STORAGE_ENGINE=1 \ 11 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \ 12 -DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \ 13 -DWITH_ZLIB=bundled \ 14 -DWITH_SSL=bundled \ 15 -DENABLED_LOCAL_INFILE=1 \ 16 -DWITH_EMBEDDED_SERVER=1 \ 17 -DENABLE_DOWNLOADS=1 \ 18 -DWITH_DEBUG=0 19 20 make && make install #如果是多核cpu可指定make -jcpu核数,加快编译速度 21 ln -s /application/mysql-5.6.36/ /application/mysql
#补充:如果系统里有曾经安装的数据库文件和启动程序最好停掉或删除,以免冲突
说明:在装系统时不要安装有关虚拟化的选择,因为这样会导致安装KVM的过程中依赖iptable,删除所有iptables规则后重启网络会自动添加上
若上述操作未出现错误(可使用echo $?查看返回值),cd /application/mysql/若其下有内容则表示MySQL安装成功。至此,数据库安装完成
2.4 初始化及配置数据库
1 cp support-files/my*.cnf /etc/my.cnf
初始化系统库对象(程序位置、数据存放位置及使用的用户)
1 /application/mysql/scripts/mysql_install_db –basedir=/application/mysql/ –datadir=/application/mysql/data –user=mysql
提示:如果以前操作系统中安装过rpm格式的mysql,系统中可能会遗留/etc/my.cnf文件,则需将它删除/更名,否则该文件会干扰MySQL的正确配置,造成无法启动
说明:初始化mysql数据库文件会有很多信息提示,若出现两个OK的字样即表示初始化成功,否则就要解决初始化的问题
1 chown -R mysql.mysql /application/mysql/ 2 cp /application/mysql/support-files/mysql.server /etc/init.d/mysqld #拷贝mysql启动脚本到命令路径 3 chmod 700 /etc/init.d/mysqld
2.5 启动服务并测试
1 chkconfig mysqld on 2 chkconfig —list mysqld 3 /etc/init.d/mysqld start
注意:此时数据库启动会提示找不到xx/tmp/mysql.sock,因为5.6.36版本不会自动创建tmp目录,需手动创建mkdir -p /application/mysql/tmp
1 netstat -lntup|grep 3306 2 cd /application/mysql/bin 3 ./mysql
2.6 设置mysql全局变量
1 echo 'PATH=/application/mysql/bin/:$PATH' >>/etc/profile 2 tail -1 /etc/profile 3 source /etc/profile 4 echo $PATH 5 mysql
说明:数据库分为系统数据和管理数据
2.6.1 排错方法
01.输出
02.错误日志
1 tail –100 /application/mysql/data/db02.err #日志需定期切割,否则会导致日志过大无法查看
2.6.2 设置mysql数据库密码并登录
01.设置密码
1 which mysqladmin 2 mysqladmin -u root password 'oldboy123' #设置密码oldboy123 3 mysqladmin -u root -p password '新密码' #更改密码
注意:此时命令回车后需验证旧密码,输入旧密码后即更改成功
02.登录测试
1 mysql -uroot -poldboy123
2.6.2.1 生产环境中如何更安全的登录数据库
1 mysql -uroot –p 2 #此时回车后只需输入密码即可登录,且密码不会被打印到屏幕上
2.6.3 删除用户及无用数据库(基本优化)
1 show databases; #查看数据库及用户 2 select user,host from mysql.user;
#删除用户
1 drop user ''@'db02'; 2 drop user ''@'localhost'; 3 drop user 'root'@'db02'; 4 drop user 'root'@'::1'; 5 select user,host from mysql.user; #此时数据库仅有root 127.0.0.1及root localhost用户
#删除数据库
1 drop database test; 2 show databases;
注意:删除无密码无用户名的用户,即存在安全隐患,其查看方法如下
1 select user,host,password from mysql.user
提示:在数据库中的use mysql相当于命令行中的/application/mysql/data目录,在此目录下创建目录(表)即可在数据库中看到
2.7 ‼常见问题
故障:
1 ERROR! The server quit without updating PID file
解决:
1.权限chown -R mysql.mysql
2.killall mysqld
3.重新初始化数据
4.运行1年了,出问题(非法断电/关机或者非法关闭数据库,如kill -9)
第3章 Mysql体系及原理说明
3.1 Mysql客户端-服务器结构
Mysql是一个典型的C/S服务结构:即client+server(服务器及客户端)两部分
01.mysql自带的客户端程序/application/mysql/bin
1 mysql
2 mysqladmin
3 mysqldump等
4 API接口:php-mysql
02.服务端程序mysqld,即二进制程序(后台的守护进程)
单进程多线程的服务结构
3.1.1 数据库连接方式
01.通过TCP/IP方式(用户;密码;IP地址;端口)
1 mysql -uroot -poldboy123 -h 10.0.0.52 -P 3306
02.通过socket套接字(用户;密码;socket路径)
1 mysql -uroot -poldboy123 -S /application/mysql/tmp/mysql.sock
注意:端口号和socket均为启动完成后自动创建,mysql -uroot -poldboy123默认使用socket方式登录
3.2 Mysql实例
01.mysql在启动过程
a.启动后台守护进程,并生成工作线程xxx
b.预分配内存结构供MySQL处理数据使用
02.Mysql实例:即mysql后台进程+线程结构+预分配的内存结构
说明:在处理能力上,数据库以守护进程mysqld的方式先载入内存,程序等待请求的到来再进行处理;同时也把将来可能用到的内存结构一并分配完成
3.3 Mysqld服务器程序构成
服务器程序构成概览:
服务器程序 |
功能及作用 |
备注 |
连接层 |
通信协议、连接线程、用户验证合法性 |
|
SQL层(核心) |
判断语句语法 解析器、查询执行 授权、查询高速缓存 优化器、查询日志记录(记录成功SQL的执行) |
二维表逻辑结构 结构化的查询语言(数据库内部的逻辑语言) |
存储引擎层 |
存储/检索数据、通过索引查找数据 数据的不同存储方式 不同的管理方式:事务(增删改)、备份恢复、高级功能(高可用、读写分离架构) |
将抽象(逻辑)数据存放到数据文件中去 基于磁盘、内存、网络 InnoDB/MyISAM、MEMORY、NDB
|
3.3.1 SQL层
3.3.1.1 分类
DDL数据库定义语言
DCL数据库控制语言
DML数据库操作语言
DQL数据查询语言
3.3.2 存储引擎层
01.依赖于存储引擎的功能
1 存储介质
2 事务功能
3 锁定
4 备份和恢复
5 优化
02.特殊功能
1 a.全文搜索 2 b.引用完整性 3 c.空间数据处理
03.双层处理
上层包括SQL解析器和优化器、下层包含一组存储引擎
04.SQL 层不依赖于存储引擎
引擎不影响SQL处理
3.3.3 总结Mysql的执行过程(连接层->SQL层->存储引擎层)
1)用户通过TCP/IP或者socket请求连接mysql 2)经过连接层判断连接合法性,分配连接相应线程 3)连接层线程将用户需要执行的SQL语句送到SQL层处理 4)SQL层经过语句、语义、语法、SQL类型、权限等判断 5)查询缓存查找,若找到直接返回给用户数据;若未找到则将SQL交给解析器解析,生成执行计划 6)优化器读取执行计划,判断并选择代价最小的执行计划 7)执行计划执行,生成获取数据的方法方案,交由存储引擎层继续处理 8)存储引擎层根据上层提供的方法,获取磁盘数据返回用户 9)此次查询信息会缓存到查询缓存中
3.4 Mysql逻辑结构(数据库内部结构)
出现原因:为了用户能够读懂数据出现的,用来更好的理解数据
即管理数据的一种方式
对象:
库show databases; use mysql;
表show tables;
记录(行select user,host,password from user、列desc user)
3.4.1 Mysql物理结构
库(目录)、表(多个文件)->行记录MYD、列结构frm、索引MYI
1 [root@db02 ~]# cd /application/mysql/data/ 2 [root@db02 data]# ls 3 auto.cnf(数据库唯一值) db02.err(错误日志) db02.pid(mysqld进程号) ibdata1 ib_logfile0 ib_logfile1 mysql performance_schema
注意:上述文件切勿进行物理操作,如rm.mv.vi.vim
3.4.2 Mysql存储方式
01.存储方式
程序文件随数据目录一起存储在服务器安装目录下,执行各种客户机程序、管理程序和实用程序时将创建程序可执行文件和日志文件,首要使用磁盘空间的是数据目录。
A.服务器日志文件和状态文件:
包含有关服务器处理的语句的信息,日志可用于进行故障排除、监视、复制和恢复
B.InnoDB日志文件:
(适用于所有数据库)驻留在数据目录级别
C.InnoDB系统表空间:
包含数据字典、撤消日志和缓冲区;每个数据库在数据目录下均具有单一目录(无论在数据库中创建何种类型的表)
02.存储内容
A.数据文件: 特定于存储引擎的数据文件。这些文件也可能包含元数据或索引信息,具体取决于所使用的存储引擎 B.格式文件(.frm): 包含每个表和/或视图结构的说明,位于相应的数据库目录中 C.触发器: 与某个表关联并在该表发生特定事件时激活的命名数据库对象 数据目录的位置取决于配置、操作系统、安装包和分发,典型位置是/var/lib/mysql MySQL在磁盘上存储系统数据库(mysql),mysql包含诸如用户、特权、插件、帮助列表、事件、时区实现和存储例程之类的信息。
3.4.3 体系结构小结
3.4.3.1 SQL优化相关的理念
解析器:执行计划-数据库执行sql的一种方式
优化器:知道基本规则,直接影响将来选择哪个执行计划
查询缓存:生产环境中,一般会用redis memcached来代替
3.4.3.2 逻辑结构<—>物理结构对应关系
库<=>data即一个目录,为了存放多张表
表<=>data在相应的库中,用多个文件来表示
myisam表:3文件(.myd数据文件、.myi索引文件、frm表/列结构定义文件)
innodb:2个/1个,即共享表空间:ibdata1->系统的元数据(基表)–>information_schema视图
独立表空间:5.6以后默认的表的存储方式
独立表空间实例
#创建库->切换库->创建表->写入数据->查看列信息
1 mysql> 2 create database oldboy; 3 use oldboy; 4 create table t1(id int); 5 insect id from t1; 6 desc t1; 7 exit 8 9 [root@db02 data]# cd oldboy/ 10 [root@db02 oldboy]# ls 11 db.opt t1.frm t1.ibd
3.4.3.3 如何使用磁盘(物理结构)
a.多个库多个目录,目录下存放了多个表的存储文件
b.auto.cnf
ibdataN
ib_logfileN
db02.err
xx.pid等
此笔记是本人学习摘记整理而成,此为初稿(尚有诸多不完善之处),原创作品允许转载,转载时请务必以超链接形式标明文章原始出处,作者信息和本声明,否则将追究法律责任。http://www.cnblogs.com/bananaaa/