回城传送–》《32天SQL筑基》
@[toc]

零、前言

今天是学习 SQL 打卡的第 0 天，每天我会提供一篇文章供群成员阅读（ 不需要订阅付钱 ）。

希望大家先自己思考，如果实在没有想法，再看下面的解题思路，自己再实现一遍。在小虚竹JAVA社区 中对应的 【打卡贴】打卡，今天的任务就算完成了，养成每天学习打卡的好习惯。

​ 虚竹哥会组织大家一起学习同一篇文章，所以有什么问题都可以在群里问，群里的小伙伴可以迅速地帮到你，一个人可以走得很快，一群人可以走得很远，有一起学习交流的战友，是多么幸运的事情。

​ 我的学习策略很简单，题海策略+ 费曼学习法。如果能把这些题都认认真真自己实现一遍，那意味着 SQL 已经筑基成功了。后面的进阶学习，可以继续跟着我，一起走向架构师之路。

今天的学习内容是：SQL快速入门-了解MYSQL今生和未来（5.7和8.0）

一、MYSQL是什么

数据库是什么

数据库是存放数据的仓库。它的存储空间很大，可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放，是有一定的规则的，否则查询的效率会很低。当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等。除了文本类型的数据，图像、音乐、声音都是数据。

数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库的概念实际包括两层意思：
（1）数据库是一个实体，它是能够合理保管数据的“仓库”，用户在该“仓库”中存放要管理的事务数据，“数据”和“库”两个概念结合成为数据库。
（2）数据库是数据管理的新方法和技术，它能更合适的组织数据、更方便的维护数据、更严密的控制数据和更有效的利用数据。

数据库作为最重要的基础软件，是确保计算机系统稳定运行的基石。

发展现状

在数据库的发展历史上，数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展，数据库技术在各个方面的快速的发展。特别是关系型数据库已经成为目前数据库产品中最重要的一员，80年代以来， 几乎所有的数据库厂商新出的数据库产品都支持关系型数据库，即使一些非关系数据库产品也几乎都有支持关系数据库的接口。这主要是传统的关系型数据库可以比较好的解决管理和存储关系型数据的问题。

随着云计算的发展和大数据时代的到来，关系型数据库越来越无法满足需要，这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理，以此同时，分布式技术等新技术的出现也对数据库的技术提出了新的要求，于是越来越多的非关系型数据库就开始出现，这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同， 它们更强调数据库数据的高并发读写和存储大数据，这类数据库一般被称为NoSQL（Not only SQL）数据库。 而传统的关系型数据库在一些传统领域依然保持了强大的生命力。

关系型数据库和非关系型数据库是什么

关系数据库是什么

关系型数据库，存储的格式可以直观地反映实体间的关系。关系型数据库和常见的表格比较相似，关系型数据库中表与表之间是有很多复杂的关联关系的。 常见的关系型数据库有Mysql，SqlServer，Oracle等。在轻量或者小型的应用中，使用不同的关系型数据库对系统的性能影响不大，但是在构建大型应用时，则需要根据应用的业务需求和性能需求，选择合适的关系型数据库。

标准SQL语句

虽然关系型数据库有很多，但是大多数都遵循SQL（结构化查询语言，Structured Query Language）标准。 常见的操作有查询，新增，更新，删除，求和，排序等。

非关系型数据库是什么

非关系型数据库，指的是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。随着近些年技术方向的不断拓展，大量的NoSql数据库如MongoDB、Redis、Memcache出于简化数据库结构、避免冗余、影响性能的表连接、摒弃复杂分布式的目的被设计。

适合场景

NoSQL数据库适合追求速度和可扩展性、业务多变的应用场景。对于非结构化数据的处理更合适，如文章、评论，这些数据如全文搜索、机器学习通常只用于模糊处理，并不需要像结构化数据一样，进行精确查询，而且这类数据的数据规模往往是海量的，数据规模的增长往往也是不可能预期的，而NoSQL数据库的扩展能力几乎也是无限的，所以NoSQL数据库可以很好的满足这一类数据的存储。NoSQL数据库利用key-value可以大量的获取大量的非结构化数据，并且数据的获取效率很高，但用它查询结构化数据效果就比较差。

分类

目前NoSQL数据库仍然没有一个统一的标准，它现在有四种大的分类：
（1）键值对存储（key-value）：代表软件Redis，它的优点能够进行数据的快速查询，而缺点是需要存储数据之间的关系。
（2）列存储：代表软件Hbase，它的优点是对数据能快速查询，数据存储的扩展性强。而缺点是数据库的功能有局限性。
（3）文档数据库存储：代表软件MongoDB，它的优点是对数据结构要求不特别的严格。而缺点是查询性的性能不好，同时缺少一种统一查询语言。
（4）图形数据库存储：代表软件InfoGrid，它的优点可以方便的利用图结构相关算法进行计算。而缺点是要想得到结果必须进行整个图的计算，而且遇到不适合的数据模型时，图形数据库很难使用。

关系型数据库和非关系型数据库区别

存储方式

传统的关系型数据库采用表格的储存方式， 数据以行和列的方式进行存储，要读取和查询都十分方便。而非关系型数据不适合这样的表格存储方式，通常以数据集的方式，大量的数据集中存储在一起，类似于键值对、图结构或者文档。

存储结构

关系型数据库按照结构化的方法存储数据， 定义好表和字段，然后按表结构存储数据。好处就是由于数据的形式和内容存之前已经按结构定义好了，数据表的可靠性和稳定性都比较高，但带来的问题就是一旦存入数据后，如果需要修改数据表的结构就会十分困难。

非关系型数据库由于面对的是大量非结构化的数据的存储，它采用的是动态结构，对于数据类型和结构的改变非常的适应，可以根据数据存储的需要灵活的改变数据库的结构。

扩展方式

扩展方式是NoSQL数据库与关系型数据库差别最大的地方。
由于关系型数据库将数据存储在数据表中，数据操作的瓶颈出现在多张数据表的操作中，而且数据表越多这个问题越严重，如果要缓解这个问题，只能提高处理能力，也就是选择速度更快性能更高的计算机，这样的方法虽然可以一定的拓展空间，但这样的拓展空间一定有非常有限的，也就是关系型数据库只具备纵向扩展能力。

NoSQL数据库由于使用的是数据集的存储方式，它的存储方式一定是分布式的，它可以采用横向的方式来开展数据库，也就是可以添加更多数据库服务器到资源池，然后由这些增加的服务器来负担数据量增加的开销。

查询方式

关系型数据库采用结构化查询语言（即SQL）来对数据库进行查询，SQL早已获得了各个数据库厂商的支持，成为数据库行业的标准，它能够支持数据库的CRUD（增加，查询，更新，删除）操作，具有非常强大的功能，SQL可以采用类似索引的方法来加快查询操作。

NoSQL数据库使用的是非结构化查询语言（UnQL），它以数据集（像文档）为单位来管理和操作数据，由于它没有一个统一的标准，所以每个数据库厂商提供产品标准是不一样的，NoSQL中的文档Id与关系型表中主键的概念类似，NoSQL数据库采用的数据访问模式相对SQL更简单而精确。

事务性

关系型数据库强调ACID规则（原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）），可以满足对事务性要求较高或者需要进行复杂数据查询的数据操作，而且可以充分满足数据库操作的高性能和操作稳定性的要求。并且关系型数据库十分强调数据的强一致性，对于事务的操作有很好的支持。关系型数据库可以控制事务原子性细粒度，并且一旦操作有误或者有需要，可以马上回滚事务。

而NoSQL数据库强调BASE原则（基本可用（Basically Available）、软状态（Soft-state）、最终一致性（Eventual Consistency）），它减少了对数据的强一致性支持，从而获得了基本一致性和柔性可靠性，并且利用以上的特性达到了高可靠性和高性能，最终达到了数据的最终一致性。NoSQL数据库虽然对于事务操作也可以使用，但由于它是一种基于节点的分布式数据库，对于事务的操作不能很好的支持，也很难满足其全部的需求，所以NoSQL数据库的性能和优点更多的体现在大数据的处理和数据库的扩展方面。

读写性能

关系型数据库十分强调数据的一致性，并为此降低读写性能付出了巨大的代价，虽然关系型数据库存储数据和处理数据的可靠性很不错，但一旦面对海量数据的处理的时候效率就会变得很差，特别是遇到高并发读写的时候性能就会下降的非常厉害。

NoSQL数据库相对关系型数据库优势最大的恰恰是应对大数据方面，也就是对于大量的每天都产生非结构化的数据能够高性能的读写，这是因为NoSQL数据库是按key-value类型进行存储的，以数据集的方式存储的，因此无论是扩展还是读写都非常容易，并且NoSQL数据库不需要关系型数据库繁琐的解析，所以NoSQL数据库大数据管理、检索、读写、分析以及可视化方面具有关系型数据库不可比拟的优势。

授权方式

关系型数据库常见的有Oracle，SQLServer，DB2，Mysql，除了Mysql大多数的关系型数据库如果要使用都需要支付一笔价格高昂的费用，即使是免费的Mysql性能也受到了诸多的限制。

而对于NoSQL数据库，比较主流的有redis，HBase，MongoDb，memcache等产品，通常都采用开源的方式，不需要像关系型数据库那样，需要一笔高昂的花费。

MYSQL数据库

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，现在属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型和大型网站的开发都选择 MySQL 作为网站数据库。

系统特性

• 1． MySQL使用 C和 C++编写，并使用了多种编译器进行测试，保证了源代码的可移植性。
• 2．支持 AIX、FreeBSD、HP-UX、Linux、Mac OS、NovellNetware、OpenBSD、OS/2 Wrap、Solaris、Windows等多种操作系统。
• 3．为多种编程语言提供了 API。这些编程语言包括 C、C++、Python、Java、Perl、PHP、Eiffel、Ruby,.NET和 Tcl 等。
• 4．支持多线程，充分利用 CPU 资源。
• 5．优化的 SQL查询算法，有效地提高查询速度。
• 6．既能够作为一个单独的应用程序应用在客户端服务器网络环境中，也能够作为一个库而嵌入到其他的软件中。
• 7．提供多语言支持，常见的编码如中文的 GB 2312、BIG5，日文的 Shift_JIS等都可以用作数据表名和数据列名。
• 8．提供 TCP/IP、ODBC 和 JDBC等多种数据库连接途径。
• 9．提供用于管理、检查、优化数据库操作的管理工具。
• 10．支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
• 11．支持多种存储引擎。
• 12．MySQL 是开源的，所以你不需要支付额外的费用。
• 13．MySQL 使用标准的 SQL数据语言形式。
• 14．MySQL 对 PHP 有很好的支持，PHP是比较流行的 Web 开发语言。
• 15．MySQL是可以定制的，采用了 GPL协议，你可以修改源码来开发自己的 MySQL 系统。
• 16．在线 DDL/更改功能，数据架构支持动态应用程序和开发人员灵活性（5.6新增）
• 17．复制全局事务标识，可支持自我修复式集群（5.6新增）
• 18．复制无崩溃从机，可提高可用性（5.6新增）
• 19．复制多线程从机，可提高性能（5.6新增）
• 20．密码过期策略（5.7 新增）
• 21．用户锁（5.7新增）
• 22．原生JSON支持（5.7新增）
• 23．多源复制（5.7新增）
• 24．支持两类生成列：虚拟生成列和存储生成列（5.7新增）
• 25．引入系统库（sys schema）（5.7新增）
• 26．隐藏索引和降序索引（8.x 新增）
• 27．更完善的JSON支持（8.x 新增）
• 28．原子数据定义语句（8.x 新增）
• 29．数据库的缺省编码将改为 utf8mb4（8.x 新增）
• 30．通用表达式CTE（8.x 新增）
• 31．窗口函数 （8.x 新增）
• 32．正则表达式支持（8.x 新增）
• 33．正则表达式支持（8.x 新增）
• 34．备份锁（8.x 新增）
• 35．增强的MySQL复制（8.x 新增）

应用架构

单点（Single），适合小规模应用
复制（Replication），适合中小规模应用
集群（Cluster），适合大规模应用

MYSQL几个版本发版时间

MySQL 8.0.0 (2016-09-12)
MySQL 5.7.1 (2013-04-23)
MySQL 5.6.2 (2011-04-11)

二、MYSQL5.7重要功能

密码过期策略

MySQL 5.7 支持用户设置密码过期策略，要求用户在一定时间过后必须修改密码。

用户锁

MySQL 5.7 为管理员提供了暂时禁用某个用户的功能，使被锁定的用户无法访问和使用数据库。

原生JSON支持

随着非结构化数据存储需求的持续增长，各种非结构化数据存储的数据库应运而生（如 MongoDB），各大关系型数据库也不甘示弱，纷纷提供对 JSON 的支持，以应对非结构化数据库的挑战。

MySQL 5.7 也提供了对 JSON 的支持，在服务器端提供了一组便于操作 JSON 的函数。存储的方法是将 JSON 编码成 BLOB 后再由存储引擎进行处理。这样，MySQL 就同时拥有了关系型数据库和非关系型数据库的优点，并且可以提供完整的事务支持。

多源复制

MySQL 5.7之前只能实现一主一从、一主多从或者多主多从的复制，如果想实现多主一从的复制，只好使用MariaDB，但是MariaDB又与官方的MySQL版本不兼容的，在MySQL 5.7版本已经可以实现多主一从的复制了。MySQL 5.7版本相比之前的版本，无论在功能还是性能、安全等方面都已经提升了不少，值得大家去研究和使用。
多源复制的好处：
一、在从服务器进行数据汇总，如果我们的主服务器进行了分库分表的操作，为了实现后期的一些数据统计功能，往往需要把数据汇总在一起再统计。

二、如果我们想在从服务器时时对主服务器的数据进行备份，在MySQL 5.7之前每一个主服务器都需要一个从服务器，这样很容易造成资源浪费，同时也加大了DBA的维护成本，但MySQL 5.7引入多源复制，可以把多个主服务器的数据同步到一个从服务器进行备份。

支持两类生成列：虚拟生成列和存储生成列

生成列是通过数据库中的其他列计算得到的一列。当为生成列创建索引时，可以便捷地加快查询速度。MySQL 5.7 支持虚拟生成列和存储生成列。虚拟生成列仅将数据保存在表的元数据中，作为缺省的生成列类型；存储生成列则是将数据永久保存在磁盘上，需要更多的磁盘空间。

引入系统库（sys schema）

系统库中包含一系列视图、函数和存储过程，通过多线程、多进程、组合事务提交和基于行的优化方式将复制功能提高 5 倍以上，用户向外扩充其跨商品系统的工作负载时，得以大幅提升复制的效能和效率。

三、MYSQL8.x新特性

隐藏索引和降序索引

在查询中，正确地使用索引可以提高查询的效率。MySQL 8中新增了隐藏索引和降序索引。隐藏索引可以用来测试去掉索引对查询性能的影响。在查询中混合存在多列索引时，使用降序索引可以提高查询的性能。

更完善的JSON支持

MySQL从5.7开始支持原生JSON数据的存储，MySQL 8对这一功能做了优化，增加了聚合函数JSON_ARRAYAGG()和JSON_OBJECTAGG()，将参数聚合为JSON数组或对象，新增了行内操作符 ->>，是列路径运算符 ->的增强，对JSON排序做了提升，并优化了JSON的更新操作。

InnoDB的变化

InnoDB是MySQL默认的存储引擎，是事务型数据库的首选引擎，支持事务安全表（ACID），支持行锁定和外键。在MySQL 8 版本中，InnoDB在自增、索引、加密、死锁、共享锁等方面做了大量的改进和优化，并且支持原子数据定义语言（DDL），提高了数据安全性，对事务提供更好的支持。

原子数据定义语句

MySQL 8开始支持原子数据定义语句（Automic DDL），即原子DDL。目前，只有InnoDB存储引擎支持原子DDL。原子数据定义语句（DDL）将与DDL操作相关的数据字典更新、存储引擎操作、二进制日志写入结合到一个单独的原子事务中，这使得即使服务器崩溃，事务也会提交或回滚。 使用支持原子操作的存储引擎所创建的表，在执行DROP TABLE、CREATE TABLE、ALTER TABLE、 RENAME TABLE、TRUNCATE TABLE、CREATE TABLESPACE、DROP TABLESPACE等操作时，都支持原子操作，即事务要么完全操作成功，要么失败后回滚，不再进行部分提交。 对于从MySQL 5.7复制到MySQL 8 版本中的语句，可以添加IF EXISTS或IF NOT EXISTS语句来避免发生错误。

数据库的缺省编码将改为 utf8mb4

MySQL 8中默认的字符集由latin1更改为utf8mb4。

优化器增强

MySQL优化器开始支持隐藏索引和降序索引。隐藏索引不会被优化器使用，验证索引的必要性时不需要删除索引，先将索引隐藏，如果优化器性能无影响就可以真正地删除索引。降序索引允许优化器对多个列进行排序，并且允许排序顺序不一致。

通用表达式CTE

公用表表达式（Common Table Expressions）简称为CTE，MySQL现在支持递归和非递归两种形式的CTE。CTE通过在SELECT语句或其他特定语句前使用WITH语句对临时结果集进行命名。

窗口函数

MySQL 8开始支持窗口函数。在之前的版本中已存在的大部分聚合函数在MySQL 8中也可以作为窗口函数来使用。

正则表达式支持

MySQL在8.0.4以后的版本中采用支持Unicode的国际化组件库实现正则表达式操作，这种方式不仅能提供完全的Unicode支持，而且是多字节安全编码。MySQL增加了REGEXP_LIKE()、EGEXP_INSTR()、REGEXP_REPLACE()和 REGEXP_SUBSTR()等函数来提升性能。另外，regexp_stack_limit和regexp_time_limit 系统变量能够通过匹配引擎来控制资源消耗。

备份锁

新的备份锁允许在线备份期间执行数据操作语句，同时阻止可能造成快照不一致的操作。新备份锁由 LOCK INSTANCE FOR BACKUP 和 UNLOCK INSTANCE 语法提供支持，执行这些操作需要备份管理员特权。

增强的MySQL复制

MySQL 8复制支持对JSON文档进行部分更新的二进制日志记录，该记录使用紧凑的二进制格式，从而节省记录完整JSON文档的空间。当使用基于语句的日志记录时，这种紧凑的日志记录会自动完成，并且可以通过将新的binlog_row_value_options系统变量值设置为PARTIAL_JSON来启用。

四、总结

本文带大家重头复习了什么是数据库，数据库也是在不断地发展，从关系型数据库到非关系型数据库，列举了一些它们比较大的区别供大家体验。MySQL是一个非常好用的关系型数据库，简单介绍了mysql的系统特性，应用架构，5.7版本和8版本的新特性。
由于MySQL 5.6已经停止版本更新了，对于 MySQL 5.7 版本，其将于 2023年 10月31日 停止支持。后续官方将不再进行后续的代码维护。所以有必要开始学习mysql8 版本。
后面的文章会以mysql 8版本 数据库来跟大家一起学习，一起加油哈～

五、参考

数据库介绍
MYSQL 介绍
mysql8 新特性

我是虚竹哥，我们明天见～