【Python使用】嘿马头条项目从到完整开发教程第2篇:数据库,理解ORM【附代码文档】
教程总体简介:2. 目标 ToutiaoWeb虚拟机使用说明 Pycharm远程开发 产品与开发 1 产品介绍 2 原型图与UI图 3 技术架构 4 开发 数据库 APScheduler定时任务 定时修正统计数据 RPC简介 1. 什么是RPC 2. 背景与用途 3. 概念说明 4. 优缺点 gRPC 简介 架构 使用方法 Protocol Buffers 1 文档结构 2 注释 3 数据类型 3.2 枚举 4 消息类型 4.1 字段编号 4.2 指定字段规则 4.3 添加更多消息类型 4.4 保留字段 4.5 默认值 4.6 嵌套类型 5 map映射 6 oneof 7 定义服务 推荐系统接口定义 接口原型 使用Protobuf 定义的接口如下 代码生成 补全服务端 编写客户端 头条首页新闻推荐接口编写 即时通讯简介 需求场景 传统的推送实现 WebSocket Socket.IO 1 简介 2 Python服务器端开发 安装 创建服务器 事件处理 头条聊天服务实现 头条在线消息推送实现 需求 实现 Elasticsearch 简介与原理 2 搜索的原理——倒排索引(反向索引)、分析、相关性排序 概念与集群 概念 IK中文分析器 索引与类型 索引 类型和映射 文档 索引文档(保存文档数据) 获取指定文档 判断文档是否存在 更新文档 删除文档 Logstash导入数据 查询 1 基本查询 2 高级查询 头条全文检索实现 elasticsearch python客户端使用 头条项目搜索接口视图实现 添加ES新文章索引数据 联想提示 1 拼写纠错 2 自动补全 头条suggest查询实现 思路 单元测试 为什么要测试 测试的分类 单元测试的基本写法 Gunicorn Supervisor 配置 启动 部署相关 理解ORM 作用 思考: 使用ORM的方式选择 SQLAlchemy映射构建 2 安装 3 数据库连接设置 4 模型类字段与选项 5 构建模型类映射 分布式ID 1 方案选择 2 黑马头条 Redis 2 Redis持久化 5 用途 6 相关补充阅读 Git工用流 Gitflow工作流 1 工作方式 2 历史分支 3 功能分支 4 发布分支 5 维护分支 6 示例 头条项目目录 调试方法 JWT & JWS & JWE Json Web Token(JWT) JSON Web Signature(JWS) JWT的Python库 用例 头条项目实施方案 JWT禁用问题 JWT认证方案 OSS对象存储 CDN 缓存 缓存架构 缓存数据 缓存数据的保存方式 缓存有效期与淘汰策略 有效期 TTL (Time to live) 缓存淘汰 eviction Redis淘汰策略的配置 缓存模式 1) Cache Aside 缓存问题 1 缓存穿透 2 缓存雪崩 头条项目缓存与存储设计 缓存设计 1 User Cache 3 Article Cache 4 Announcement Cache 持久存储设计 1 阅读历史 2 搜索历史 3 统计数据
完整笔记资料代码:https://gitee.com/yinuo112/Backend/tree/master/Python/嘿马头条项目从到完整开发教程/note.md
感兴趣的小伙伴可以自取哦~
全套教程部分目录:
部分文件图片:
数据库
-
数据库设计
-
SQLAlchemy
-
数据库理论
-
分布式ID
-
Redis
理解ORM
作用
-
省去自己拼写SQL,保证SQL语法的正确性
-
一次编写可以适配多个数据库
-
防止注入
-
在数据库表名或字段名发生变化时,只需修改模型类的映射,无需修改数据库操作的代码
(相比SQL的话,可能需要同步修改涉及到的每一个SQL语句)
思考:
可否在已经存在数据库表的情况下,使用模型类进行操作?
使用ORM的方式选择
-
先创建模型类,再迁移到数据库中
-
优点:简单快捷,定义一次模型类即可,不用写sql
-
缺点:不能尽善尽美的控制创建表的所有细节问题,表结构发生变化的时候,也会难免发生迁移错误
-
先用原生SQL创建数据库表,再编写模型类作映射
-
优点:可以很好的控制数据库表结构的任何细节,避免发生迁移错误
- 缺点:可能编写工作多(编写sql与模型类,似乎有些牵强)
头条项目采用编写原生SQL创建表,之后再编写模型类进行映射的方式。
SQLAlchemy映射构建
1 简介
SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行。
SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。
SQLAlchemy首次发行于2006年2月,并迅速地在Python社区中最广泛使用的ORM工具之一,不亚于Django的ORM框架。
Flask-SQLAlchemy是在Flask框架的一个扩展,其对SQLAlchemy进行了封装,目的于简化在 Flask 中 SQLAlchemy 的 使用,提供了有用的默认值和额外的助手来更简单地完成日常任务。
2 安装
安装Flask-SQLAlchemy
|
|
如果使用的是MySQL数据库,还需要安装MySQL的Python客户端库
|
|
3 数据库连接设置
在Flask中使用Flask-SQLAlchemy需要进行配置,主要配置以下几项:
-
SQLALCHEMY_DATABASE_URI
数据库的连接信息 -
Postgres:
|
|
- MySQL:
|
|
- Oracle:
|
|
- SQLite (注意开头的四个斜线):
|
|
-
SQLALCHEMY_TRACK_MODIFICATIONS
在Flask中是否追踪数据修改 -
SQLALCHEMY_ECHO
显示生成的SQL语句,可用于调试
这些配置参数需要放在Flask的应用配置(app.config
)中。
|
|
其他配置参考如下:
名字 | 备注 |
---|---|
SQLALCHEMY_DATABASE_URI | 用于连接的数据库 URI 。例如:sqlite:////tmp/test.dbmysql://username:password@server/db |
SQLALCHEMY_BINDS | 一个映射 binds 到连接 URI 的字典。更多 binds 的信息见[用 Binds 操作多个数据库]( |
SQLALCHEMY_ECHO | 如果设置为Ture, SQLAlchemy 会记录所有 发给 stderr 的语句,这对调试有用。(打印sql语句) |
SQLALCHEMY_RECORD_QUERIES | 可以用于显式地禁用或启用查询记录。查询记录 在调试或测试模式自动启用。更多信息见get_debug_queries()。 |
SQLALCHEMY_NATIVE_UNICODE | 可以用于显式禁用原生 unicode 支持。当使用 不合适的指定无编码的数据库默认值时,这对于 一些数据库适配器是必须的(比如 Ubuntu 上 某些版本的 PostgreSQL )。 |
SQLALCHEMY_POOL_SIZE | 数据库连接池的大小。默认是引擎默认值(通常 是 5 ) |
SQLALCHEMY_POOL_TIMEOUT | 设定连接池的连接超时时间。默认是 10 。 |
SQLALCHEMY_POOL_RECYCLE | 多少秒后自动回收连接。这对 MySQL 是必要的, 它默认移除闲置多于 8 小时的连接。注意如果 使用了 MySQL , Flask-SQLALchemy 自动设定 这个值为 2 小时。 |
4 模型类字段与选项
字段类型
类型名 | python中类型 | 说明 |
---|---|---|
Integer | int | 普通整数,一般是32位 |
SmallInteger | int | 取值范围小的整数,一般是16位 |
BigInteger | int或long | 不限制精度的整数 |
Float | float | 浮点数 |
Numeric | decimal.Decimal | 普通整数,一般是32位 |
String | str | 变长字符串 |
Text | str | 变长字符串,对较长或不限长度的字符串做了优化 |
Unicode | unicode | 变长Unicode字符串 |
UnicodeText | unicode | 变长Unicode字符串,对较长或不限长度的字符串做了优化 |
Boolean | bool | 布尔值 |
Date | datetime.date | 时间 |
Time | datetime.datetime | 日期和时间 |
LargeBinary | str | 二进制文件 |
列选项
选项名 | 说明 |
---|---|
primary_key | 如果为True,代表表的主键 |
unique | 如果为True,代表这列不允许出现重复的值 |
index | 如果为True,为这列创建索引,提高查询效率 |
nullable | 如果为True,允许有空值,如果为False,不允许有空值 |
default | 为这列定义默认值 |
关系选项
选项名 | 说明 |
---|---|
backref | 在关系的另一模型中添加反向引用 |
primary join | 明确指定两个模型之间使用的联结条件 |
uselist | 如果为False,不使用列表,而使用标量值 |
order_by | 指定关系中记录的排序方式 |
secondary | 指定多对多关系中关系表的名字 |
secondary join | 在SQLAlchemy中无法自行决定时,指定多对多关系中的二级联结条件 |
5 构建模型类映射
例用虚拟机中已有的头条数据库,构建模型类映射,以下面三张表为例
|
|
首先需要创建SQLAlchemy对象:
- 方式一: ```python db = SQLA
- 点赞
- 收藏
- 关注作者
评论(0)