数据库简单介绍
一 数据库管理软件的由来
基于我们之前所学，数据要想永久保存，都是保存于文件中，毫无疑问，一个文件仅仅只能存在于某一台机器上。
如果我们暂且忽略直接基于文件来存取数据的效率问题，并且假设程序所有的组件都运行在一台机器上，那么用文件存取数据，并没有问题。
很不幸，这些假设都是你自己意淫出来的，上述假设存在以下几个问题。。。。。。
1、程序所有的组件就不可能运行在一台机器上
#因为这台机器一旦挂掉则意味着整个软件的崩溃，并且程序的执行效率依赖于承载它的硬件，而一台机器机器的性能总归是有限的，受限于目前的硬件水平，就一台机器的性能垂直进行扩展是有极限的。
#于是我们只能通过水平扩展来增强我们系统的整体性能，这就需要我们将程序的各个组件分布于多台机器去执行。
2、数据安全问题
#根据1的描述，我们将程序的各个组件分布到各台机器，但需知各组件仍然是一个整体，言外之意，所有组件的数据还是要共享的。但每台机器上的组件都只能操作本机的文件，这就导致了数据必然不一致。 #于是我们想到了将数据与应用程序分离：把文件存放于一台机器，然后将多台机器通过网络去访问这台机器上的文件（用socket实现），即共享这台机器上的文件,共享则意味着竞争，会发生数据不安全，需要加锁处理。。。。
3、并发
根据2的描述，我们必须写一个socket服务端来管理这台机器（数据库服务器）上的文件，然后写一个socket客户端，完成如下功能：
#1.远程连接（支持并发） #2.打开文件 #3.读写（加锁） #4.关闭文件
总结：
#我们在编写任何程序之前，都需要事先写好基于网络操作一台主机上文件的程序（socket服务端与客户端程序），于是有人将此类程序写成一个专门的处理软件，这就是mysql等数据库管理软件的由来，但mysql解决的不仅仅是数据共享的问题，还有查询效率，安全性等一系列问题，总之，把程序员从数据管理中解脱出来，专注于自己的程序逻辑的编写。
二 数据库概述
1 什么是数据（Data）
描述事物的符号记录称为数据，描述事物的符号既可以是数字，也可以是文字、图片，图像、声音、语言等，数据由多种表现形式，它们都可以经过数字化后存入计算机
在计算机中描述一个事物，就需要抽取这一事物的典型特征，组成一条记录，就相当于文件里的一行内容，如：
1 egon,male,18,1999,山东,计算机系,2017,oldboy
单纯的一条记录并没有任何意义，如果我们按逗号作为分隔，依次定义各个字段的意思，相当于定义表的标题
1 name,sex,age,birth,born_addr,major,entrance_time,school #字段 2 egon,male,18,1999,山东,计算机系,2017,oldboy #记录
这样我们就可以了解egon，性别为男，年龄18岁，出生于1999年，出生地为山东，2017年考入老男孩计算机系
2 什么是数据库（DataBase，简称DB）
数据库即存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定的格式存放的
过去人们将数据存放在文件柜里，现在数据量庞大，已经不再适用
数据库是长期存放在计算机内、有组织、可共享的数据即可。
数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种 用户共享
3 什么是数据库管理系统（DataBase Management System 简称DBMS）
在了解了Data与DB的概念后，如何科学地组织和存储数据，如何高效获取和维护数据成了关键
这就用到了一个系统软件—数据库管理系统
如MySQL、Oracle、SQLite、Access、MS SQL Server
mysql主要用于大型门户，例如搜狗、新浪等，它主要的优势就是开放源代码，因为开放源代码这个数据库是免费的，他现在是甲骨文公司的产品。
oracle主要用于银行、铁路、飞机场等。该数据库功能强大，软件费用高。也是甲骨文公司的产品。
sql server是微软公司的产品，主要应用于大中型企业，如联想、方正等。
4 数据库服务器、数据管理系统、数据库、表与记录的关系（重点理解！！！）
记录：1 刘海龙 324245234 22（多个字段的信息组成一条记录，即文件中的一行内容）
表：student,scholl,class_list（即文件）
数据库：oldboy_stu（即文件夹）
数据库管理系统：如mysql（是一个软件）
数据库服务器：一台计算机（对内存要求比较高）
总结：
数据库服务器-：运行数据库管理软件
数据库管理软件：管理-数据库
数据库：即文件夹，用来组织文件/表
表：即文件，用来存放多行内容/多条记录
5 数据库管理技术的发展历程(了解)
一 人工管理阶段
20世纪50年代中期以前，计算机主要用于科学计算。
当时的硬件水平：外存只有纸带、卡片、磁带，没有磁盘等直接存取的存储设备
当时的软件状况：没有操作系统，没有管理数据的软件，数据的处理方式是批处理。
人工管理数据具有以下特点：
1 数据不保存：计算机主要用于科学计算，数据临时用，临时输入，不保存
2 应用程序管理数据：数据要有应用程序自己管理，应用程序需要处理数据的逻辑+物理结构，开发负担很重
3 数据不共享：一组数据只对应一个程序，多个程序之间涉及相同数据时，必须各自定义，造成数据大量冗余
4 数据不具有独立性：数据的逻辑结构或物理结构发生变化后，必须对应用程序做出相应的修改，开发负担进一步加大
二 文件系统阶段
20世纪50年代后期到60年代中期
硬件水平：有了磁盘、磁鼓等可直接存取的存储设备
软件水平：有了操作系统，并且操作系统中已经有了专门的数据管理软件，即文件系统；处理方式上不仅有了批处理，而且能够联机实时处理
文件系统管理数据具有以下优点:
1 数据可以长期保存：计算机大量用于数据处理，因而数据需要长期保存，进行增删改查操作
2 由文件系统管理数据：文件系统这个软件，把数据组织成相对独立的数据文件，利用按文件名，按记录进行存取。实现了记录内的结构性，但整体无结构。并且程序与数据之间由文件系统提供存取方法进行转换，是应用程序与数据之间有了一定的独立性，程序员可以不必过多考虑物理细节。
文件系统管理数据具有以下缺点：
1 数据共享性差，冗余度大：一个文件对应一个应用程序，不同应用有相同数据时，也必须建立各自的文件，不能共享相同的数据，造成数据冗余，浪费空间，且相同的数据重复存储，各自管理，容易造成数据不一致性
2 数据独立性差：一旦数据的逻辑结构改变，必须修改应用程序，修改文件结构的定义。应用程序的改变，也将引起文件的数据结构的改变。因此数据与程序之间缺乏独立性。可见，文件系统仍然是一个不具有弹性的无结构的数据集合，即文件之间是孤立的，不能反映现实世界事物之间的内存联系。
三 数据系统阶段
20世纪60年代后期以来，计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增长，同时多种应用，多种语言互相覆盖地共享数据结合要求越来越强烈
硬件水平：有了大容量磁盘，硬件架构下降
软件水平：软件价格上升（开发效率必须提升，必须将程序员从数据管理中解放出来），分布式的概念盛行。
数据库系统的特点：
1 数据结构化（如上图odboy_stu）
2 数据共享，冗余度低，易扩充
3 数据独立性高
4 数据由DBMS统一管理和控制
a：数据的安全性保护
b：数据的完整性检查
c：并发控制
d：数据库恢复
三 mysql介绍
MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下公司。MySQL 最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。
mysql是什么
#mysql就是一个基于socket编写的C/S架构的软件 #客户端软件 mysql自带：如mysql命令，mysqldump命令等 python模块：如pymysql
数据库管理软件分类
#分两大类：
关系型：如sqllite，db2，oracle，access，sql server，MySQL，注意：sql语句通用
非关系型：mongodb，redis，memcache
#可以简单的理解为：
关系型数据库需要有表结构
非关系型数据库是key-value存储的，没有表结构
四 下载安装
Linux版本
#二进制rpm包安装 yum -y install mysql-server mysql
1 1.解压tar包 2 cd /software 3 tar -xzvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz 4 mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql-5.6.21 5 6 2.添加用户与组 7 groupadd mysql 8 useradd -r -g mysql mysql 9 chown -R mysql:mysql mysql-5.6.21 10 11 3.安装数据库 12 su mysql 13 cd mysql-5.6.21/scripts 14 ./mysql_install_db --user=mysql --basedir=/software/mysql-5.6.21 --datadir=/software/mysql-5.6.21/data 15 16 4.配置文件 17 cd /software/mysql-5.6.21/support-files 18 cp my-default.cnf /etc/my.cnf 19 cp mysql.server /etc/init.d/mysql 20 vim /etc/init.d/mysql #若mysql的安装目录是/usr/local/mysql,则可省略此步 21 修改文件中的两个变更值 22 basedir=/software/mysql-5.6.21 23 datadir=/software/mysql-5.6.21/data 24 25 5.配置环境变量 26 vim /etc/profile 27 export MYSQL_HOME="/software/mysql-5.6.21" 28 export PATH="$PATH:$MYSQL_HOME/bin" 29 source /etc/profile 30 31 6.添加自启动服务 32 chkconfig --add mysql 33 chkconfig mysql on 34 35 7.启动mysql 36 service mysql start 37 38 8.登录mysql及改密码与配置远程访问 39 mysqladmin -u root password \'your_password\' #修改root用户密码 40 mysql -u root -p #登录mysql,需要输入密码 41 mysql>GRANT ALL PRIVILEGES ON *.* TO \'root\'@\'%\' IDENTIFIED BY \'your_password\' WITH GRANT OPTION; #允许root用户远程访问 42 mysql>FLUSH PRIVILEGES; #刷新权限
源码安装mysql
1 1. 解压 2 tar zxvf mariadb-5.5.31-linux-x86_64.tar.gz 3 mv mariadb-5.5.31-linux-x86_64 /usr/local/mysql //必需这样，很多脚本或可执行程序都会直接访问这个目录 4 5 2. 权限 6 groupadd mysql //增加 mysql 属组 7 useradd -g mysql mysql //增加 mysql 用户 并归于mysql 属组 8 chown mysql:mysql -Rf /usr/local/mysql // 设置 mysql 目录的用户及用户组归属。 9 chmod +x -Rf /usr/local/mysql //赐予可执行权限 10 11 3. 拷贝配置文件 12 cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf //复制默认mysql配置 文件到/etc目录 13 14 4. 初始化 15 /usr/local/mysql/scripts/mysql_install_db --user=mysql //初始化数据库 16 cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql //复制mysql服务程序 到系统目录 17 chkconfig mysql on //添加mysql 至系统服务并设置为开机启动 18 service mysql start //启动mysql 19 20 5. 环境变量配置 21 vim /etc/profile //编辑profile,将mysql的可执行路径加入系统PATH 22 export PATH=/usr/local/mysql/bin:$PATH 23 source /etc/profile //使PATH生效。 24 25 6. 账号密码 26 mysqladmin -u root password \'yourpassword\' //设定root账号及密码 27 mysql -u root -p //使用root用户登录mysql 28 use mysql //切换至mysql数据库。 29 select user,host,password from user; //查看系统权限 30 drop user \'\'@\'localhost\'; //删除不安全的账户 31 drop user root@\'::1\'; 32 drop user root@127.0.0.1; 33 select user,host,password from user; //再次查看系统权限，确保不安全的账户均被删除。 34 flush privileges; //刷新权限 35 36 7. 一些必要的初始配置 37 1）修改字符集为UTF8 38 vi /etc/my.cnf 39 在[client]下面添加 default-character-set = utf8 40 在[mysqld]下面添加 character_set_server = utf8 41 2）增加错误日志 42 vi /etc/my.cnf 43 在[mysqld]下面添加： 44 log-error = /usr/local/mysql/log/error.log 45 general-log-file = /usr/local/mysql/log/mysql.log 46 3) 设置为不区分大小写，linux下默认会区分大小写。 47 vi /etc/my.cnf 48 在[mysqld]下面添加： 49 lower_case_table_name=1 50 51 修改完重启：#service mysql restart
源码安装mariadb
Window版本
1 #1、下载：MySQL Community Server 5.7.16 2 http://dev.mysql.com/downloads/mysql/ 3 4 #2、解压 5 如果想要让MySQL安装在指定目录，那么就将解压后的文件夹移动到指定目录，如：C:\mysql-5.7.16-winx64 6 7 #3、添加环境变量 8 【右键计算机】--》【属性】--》【高级系统设置】--》【高级】--》【环境变量】--》【在第二个内容框中找到 变量名为Path 的一行，双击】 --> 【将MySQL的bin目录路径追加到变值值中，用 ； 分割】 9 10 #4、初始化 11 mysqld --initialize-insecure 12 13 #5、启动MySQL服务 14 mysqld # 启动MySQL服务 15 16 #6、启动MySQL客户端并连接MySQL服务 17 mysql -u root -p # 连接MySQL服务器
安装
1 上一步解决了一些问题，但不够彻底，因为在执行【mysqd】启动MySQL服务器时，当前终端会被hang住，那么做一下设置即可解决此问题： 2 3 4 5 注意：--install前，必须用mysql启动命令的绝对路径 6 # 制作MySQL的Windows服务，在终端执行此命令： 7 "c:\mysql-5.7.16-winx64\bin\mysqld" --install 8 9 # 移除MySQL的Windows服务，在终端执行此命令： 10 "c:\mysql-5.7.16-winx64\bin\mysqld" --remove 11 12 13 14 注册成服务之后，以后再启动和关闭MySQL服务时，仅需执行如下命令： 15 # 启动MySQL服务 16 net start mysql 17 18 # 关闭MySQL服务 19 net stop mysql
将MySQL服务制作成windows服务
五 mysql软件基本管理
1. 启动查看
1 [root@egon ~]# systemctl start mariadb #启动 2 [root@egon ~]# systemctl enable mariadb #设置开机自启动 3 Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service. 4 [root@egon ~]# ps aux |grep mysqld |grep -v grep #查看进程，mysqld_safe为启动mysql的脚本文件，内部调用mysqld命令 5 mysql 3329 0.0 0.0 113252 1592 ? Ss 16:19 0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr 6 mysql 3488 0.0 2.3 839276 90380 ? Sl 16:19 0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock 7 [root@egon ~]# netstat -an |grep 3306 #查看端口 8 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 9 [root@egon ~]# ll -d /var/lib/mysql #权限不对，启动不成功，注意user和group 10 drwxr-xr-x 5 mysql mysql 4096 Jul 20 16:28 /var/lib/mysql
linux平台下查看
1 安装完mysql 之后，登陆以后，不管运行任何命令，总是提示这个 2 mac mysql error You must reset your password using ALTER USER statement before executing this statement. 3 解决方法： 4 step 1: SET PASSWORD = PASSWORD(\'your new password\'); 5 step 2: ALTER USER \'root\'@\'localhost\' PASSWORD EXPIRE NEVER; 6 step 3: flush privileges;
You must reset your password using ALTER USER statement before executing this statement.
2. 登录，设置密码
初始状态下，管理员root，密码为空，默认只允许从本机登录localhost 设置密码 [root@egon ~]# mysqladmin -uroot password "123" 设置初始密码 由于原密码为空，因此-p可以不用 [root@egon ~]# mysqladmin -uroot -p"123" password "456" 修改mysql密码,因为已经有密码了，所以必须输入原密码才能设置新密码 命令格式: [root@egon ~]# mysql -h172.31.0.2 -uroot -p456 [root@egon ~]# mysql -uroot -p [root@egon ~]# mysql 以root用户登录本机，密码为空
3. 忘记密码
linux平台下，破解密码的两种方式
[root@egon ~]# rm -rf /var/lib/mysql/mysql #所有授权信息全部丢失！！！ [root@egon ~]# systemctl restart mariadb [root@egon ~]# mysql
方法二：启动时，跳过授权库
[root@egon ~]# vim /etc/my.cnf #mysql主配置文件
[mysqld]
skip-grant-table
[root@egon ~]# systemctl restart mariadb
[root@egon ~]# mysql
MariaDB [(none)]> update mysql.user set password=password("123") where user="root" and host="localhost";
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> \q
[root@egon ~]# #打开/etc/my.cnf去掉skip-grant-table,然后重启
[root@egon ~]# systemctl restart mariadb
[root@egon ~]# mysql -u root -p123 #以新密码登录
windows平台下，5.7版本mysql，破解密码的两种方式：
方式一
方式一 #1 关闭mysql #2 在cmd中执行：mysqld --skip-grant-tables #3 在cmd中执行：mysql #4 执行如下sql： update mysql.user set authentication_string=password(\'\') where user = \'root\'; flush privileges; #5 tskill mysqld #或taskkill -f /PID 7832 #6 重新启动mysql
方式二
方式二 #1. 关闭mysql，可以用tskill mysqld将其杀死 #2. 在解压目录下，新建mysql配置文件my.ini #3. my.ini内容,指定 [mysqld] skip-grant-tables #4.启动mysqld #5.在cmd里直接输入mysql登录，然后操作 update mysql.user set authentication_string=password(\'\') where user=\'root and host=\'localhost\'; flush privileges; #6.注释my.ini中的skip-grant-tables，然后启动myqsld，然后就可以以新密码登录了
4. 在windows下，为mysql服务指定配置文件
强调：配置文件中的注释可以有中文，但是配置项中不能出现中文
1 #在mysql的解压目录下，新建my.ini,然后配置 2 #1. 在执行mysqld命令时，下列配置会生效，即mysql服务启动时生效 3 [mysqld] 4 ;skip-grant-tables 5 port=3306 6 character_set_server=utf8 7 default-storage-engine=innodb 8 innodb_file_per_table=1 9 10 11 #解压的目录 12 basedir=E:\mysql-5.7.19-winx64 13 #data目录 14 datadir=E:\my_data #在mysqld --initialize时，就会将初始数据存入此处指定的目录，在初始化之后，启动mysql时，就会去这个目录里找数据 15 16 17 18 #2. 针对客户端命令的全局配置，当mysql客户端命令执行时，下列配置生效 19 [client] 20 port=3306 21 default-character-set=utf8 22 user=root 23 password=123 24 25 #3. 只针对mysql这个客户端的配置，2中的是全局配置，而此处的则是只针对mysql这个命令的局部配置 26 [mysql] 27 ;port=3306 28 ;default-character-set=utf8 29 user=egon 30 password=4573 31 32 33 #！！！如果没有[mysql],则用户在执行mysql命令时的配置以[client]为准
my.ini
5. 统一字符编码
#1. 修改配置文件 [mysqld] default-character-set=utf8 [client] default-character-set=utf8 [mysql] default-character-set=utf8 #mysql5.5以上：修改方式有所改动 [mysqld] character-set-server=utf8 collation-server=utf8_general_ci [client] default-character-set=utf8 [mysql] default-character-set=utf8 #2. 重启服务 #3. 查看修改结果： \s show variables like \'%char%\'
六 初识sql语句
有了mysql这个数据库软件，就可以将程序员从对数据的管理中解脱出来，专注于对程序逻辑的编写
mysql服务端软件即mysqld帮我们管理好文件夹以及文件，前提是作为使用者的我们，需要下载mysql的客户端，或者其他模块来连接到mysqld，然后使用mysql软件规定的语法格式去提交自己命令，实现对文件夹或文件的管理。该语法即sql（Structured Query Language 即结构化查询语言）
SQL语言主要用于存取数据、查询数据、更新数据和管理关系数据库系统,SQL语言由IBM开发。SQL语言分为3种类型： #1、DDL语句 数据库定义语言： 数据库、表、视图、索引、存储过程，例如CREATE DROP ALTER #2、DML语句 数据库操纵语言： 插入数据INSERT、删除数据DELETE、更新数据UPDATE、查询数据SELECT #3、DCL语句 数据库控制语言： 例如控制用户的访问权限GRANT、REVOKE
1 #1. 操作文件夹 2 增：create database db1 charset utf8; 3 查：show databases; 4 改：alter database db1 charset latin1; 5 删除: drop database db1; 6 7 8 #2. 操作文件 9 先切换到文件夹下：use db1 10 增：create table t1(id int,name char); 11 查：show tables 12 改：alter table t1 modify name char(3); 13 alter table t1 change name name1 char(2); 14 删：drop table t1; 15 16 17 #3. 操作文件中的内容/记录 18 增：insert into t1 values(1,\'egon1\'),(2,\'egon2\'),(3,\'egon3\'); 19 查：select * from t1; 20 改：update t1 set name=\'sb\' where id=2; 21 删：delete from t1 where id=1; 22 23 清空表： 24 delete from t1; #如果有自增id，新增的数据，仍然是以删除前的最后一样作为起始。 25 truncate table t1;数据量大，删除速度比上一条快，且直接从零开始， 26 27 auto_increment 表示：自增 28 primary key 表示：约束（不能重复且不能为空）；加速查找
常用练习