7D-RESAR性能工程:术语表
根据近期7DGroup群员的反馈,对第一版本的术语进行了修改。
1. 前言
1.1. 编写目的
本规范旨在规范RESAR性能工程中的相关术语,规范性能项目的沟通基础,指导企业性能项目实施。
1.2. 适应范围与对象
本规范适用于企业级性能工程。
本规范预期读者为IT技术管理人员、架构师、性能实施人员、项目开发人员、运维支持人员等。
2. 术语表
2.1. RESAR性能工程
RESAR性能工程是承接业务需求和架构、开发产出物,通过明确性能需求指标、准备性能环境、设计性能场景、分析定位优化性能瓶颈、产出性能报告的性能测试实施项目,输出生产容量评估结论和性能参数配置,并通过环比生产环境性能容量需求、业务需求、性能场景执行数据判断性能需求是否全部满足并实施的完整过程。
2.2. 性能测试
性能测试是针对系统的性能指标,建立性能测试模型,制定性能测试方案,制定监控策略,在场景条件之下执行性能场景,分析判断性能瓶颈并调优,最终得出性能结果来评估系统的性能指标是否满足既定值。
2.3. 性能项目
性能项目指对IT系统性能容量评估并定位性能瓶颈的项目。其包括使用系统基准测试、容量测试、稳定性测试、异常测试、高可用测试、灾备测试、可扩展性测试等需要使用压力手段实施的系统性能容量评估项目。
2.4. 性能项目方案
性能方案是指在性能项目中,对系统架构、被测系统或业务范围、性能需求指标、性能场景执行策略、性能环境、基础数据、监控策略、性能工具(包括测试及监控、分析工具)、瓶颈分析策略、组织架构、输入输出物、里程碑计划、风险等进行详细描述的综合性文档。
2.5. 性能项目计划
性能项目计划是指在性能项目中,定义阶段、输入输出、人员角色、任务时长以及任务依赖的计划文档。
2.6. 性能需求类术语
2.6.1. 性能需求/指标
性能需求/指标是在性能场景执行之前定义的业务和技术需求/指标。
业务性能需求/指标是指在单交易/单接口/单业务上的具体数值(包括平均值、标准方差、90%值、95%值等)。
技术性能需求/指标是指在性能计数器上的具体数值。
在整个性能项目实施过程中,性能需求/指标需要和性能场景比对,以确定性能场景是否可结束,并且在性能项目结果报告中,要明确指出性能需求/指标是否达到。
2.6.2. 并发用户
并发用户指单位时间内完成满足真实用户完整的业务操作的用户个数。
注意:并发线程不直接等价于并发用户。
2.6.3. 在线用户
在线用户指在单位时间内系统可维护的用户会话个数。
2.6.4. 并发度(并发率)
并发度是指被测系统在单位时间内的并发用户数与在线用户数的比例值。
2.6.5. 事务
事务是指在性能脚本中明确定义起止点的执行单元。在性能场景中,事务起止点的定义应根据性能需求/指标确定,即如果明确要求交易/接口/业务/用户级别的性能需求/指标,则事务就应该定义在对应级别。
2.6.6. 每秒事务数 (transaction per second,简写:TPS)
每秒事务数是在单位时间内(如1秒)性能脚本中所定义的事务完成的次数。此处的“完成”是指从发出请求并得到完整的响应内容的过程。
2.6.7. 响应时间(response time,简写:RT)
响应时间是指完成一个完整的事务所消耗的时间。响应时间包括了请求时间和响应时间。
2.6.8. 错误率
错误率是指出现错误的交易/接口/业务数与已执行的交易/接口/业务总数的比值。在性能项目中,性能需求/指标需要包含明确的可接受的错误率范围。
2.6.9. 交易/接口/业务
交易/接口/业务是根据不同行业对性能需求指标的描述习惯进行的区分。如在金融交易类系统(如银行核心系统等)称为交易;在互联网系统中称为接口;在一些特定的业务系统(如ERP等)称为业务。
2.7. 性能测试类术语
2.7.1. 性能脚本
性能脚本是指模拟生产环境真实业务产生的一系列技术请求的集合。
2.7.2. 参数化
参数化是在性能脚本中为了模拟真实业务的不同输入值而使用的替换输入值方法。
2.7.3. 关联
关联是指在性能脚本中为了模拟真实业务在请求过程中出现的动态数值而使用的替换动态值的方法。
2.7.4. 思考时间
思考时间是指在性能脚本中为了模拟真实用户的操作间隔而采用的技术。
2.7.5. 集合点
集合点是指在性能脚本中为了模拟大量真实用户在短时间段内访问系统而采用的技术。
2.7.6. 检查点/断言
检查点/断言是指在性能脚本中比对返回值与预期值的技术。设计检查点/断言的目的是为了确定性能脚本成功执行。
2.7.7. 压力机
压力机是指通过多进程/多线程模拟满足场景设计的单个压力发起节点。通常情况下,单压力节点是指虚拟机或独立的硬件主机。
2.8. 性能场景类术语
2.8.1. 并发线程
并发线程指压力工具中同时运行的压力线程个数。注意,并发线程不直接等价于并发用户。
2.8.2. 并发交易
并发交易指被测系统中在单位时间内完成的业务交易个数。
注意:并发线程不直接等价于并发交易。
2.8.3. 性能场景
性能场景是一系列模拟生产真实场景的技术实现。性能测试场景包括:性能脚本、业务模型、监控模型等内容。性能场景包括基准场景、容量场景、稳定性场景等。
2.8.4. 基准场景
基准性能场景是为了验证系统中所有业务(单交易、单接口、单业务)本身的容量能力而设计的性能场景。基准性能场景以单业务连续递增压力为基础,测试出单业务的最大容量,为容量性能场景做准备。
2.8.5. 容量场景
容量场景是按照真实生产环境的业务容量模型的配置,在连续递增并发压力线程的情况下进行测试,验证系统在真实生产环境中的业务峰值。
2.8.6. 稳定性场景
稳定场景是在固定的系统容量下持续运行长时间,查看系统长期运行时的业务处理能力及系统可能存在的缺陷。
稳定性性能场景是为了验证系统在真实生产环境中是否可以长期稳定地运行。稳定性性能场景需要根据容量性能场景的结果进行设计。
2.8.7. 异常场景
异常场景是通过模拟系统可能遇到的各种异常情况,如带宽受限、网络连通不好、网络延时、超时、各系统主机宕机、应用异常终止、资源死锁、大并发用户集中爆发访问等情况,检查系统的异常处理能力。
2.8.8. 业务模型
业务模型是指通过统计各业务的访问量得到的比例值。
通常是通过统计生产环境的各业务访问量得到业务模型,业务模型在具体的性能场景配置时比例之和为100%。
2.8.9. 监控模型
监控模型是指针对系统技术栈规划监控工具以覆盖全局监控中所有性能计数器的方法。
2.8.10. 数据模型
数据模型(Data Model)是数据特征的抽象,它从抽象层次上描述了系统的静态特征、动态行为和约束条件,为数据的表示与操作提供一个抽象的框架。数据模型所描述的内容有三部分,分别是数据结构、数据操作和数据约束。
[此定义来自网络。]
2.8.11. 分析模型
分析模型是指性能瓶颈判断过程中使用到的逻辑抽象。分析模型描述了性能瓶颈相关的计数器、分析动作及判断规则,为性能瓶颈分析提供策略支撑。
2.8.12. 业务场景
业务场景即生产系统在运行过程中所有相关的状态信息。
2.9. 性能曲线类术语
性能曲线包括TPS、响应时间、错误率、资源使用率(CPU、磁盘IO、网络、内存、系统等)等和性能相关的所有曲线。
2.9.1. 性能抖动
性能抖动是指在性能场景执行过程中性能计数器的采样值的分散程度,可以体现出性能曲线出现的上下波动。性能曲线的抖动可以用计数器采样值的方差和标准差来表示。
2.9.2. 性能折线图
性能折线图指对性能计数器采集的数据使用折线图的形式展现。有些性能计数器适合使用使用折线图的形式展现,如对TPS使用折线图的形式展现以判断TPS的趋势。
2.9.3. 最大值/最小值/平均值/标准差/方差
最大值/最小值/平均值/标准差/方差是在性能工程中描述性能计数器采集的数据集的基本工具,使用最大值/最小值/平均值/标准差/方差可以描述性能计数器的趋势,以判断是否满足容量目标或判断性能瓶颈。
2.9.4. 性能直方图
性能直方图是指对性能计数器采集的数据使用直方图的形式展现。有些性能计数器适合使用直方图的形式展现,如对响应时间使用直方图的形式展现以判断响应时间的范围分布。
2.10. 性能瓶颈类术语
2.10.1. 性能瓶颈
性能瓶颈是指在性能场景执行过程中出现的技术问题,以及不能满足性能测试需求/指标的性能问题。
2.10.2. 性能计数器
性能计数器是用于监测和度量系统或应用服务性能的工具,是系统提供的一种计量机制,用于收集和记录各种性能指标和统计数据。
2.10.3. 性能瓶颈证据链
性能瓶颈证据链是指为找到性能瓶颈的根本原因分析出的计数器的关联关系描述。性能瓶颈证据链应遵循四个特性:连贯性、完整性、准确性、不可跳跃性。
2.11. 性能监控类术语
2.11.1. 性能分析决策树
性能分析决策树是指通过对系统架构的分析,罗列所有技术组件的模块的性能计数器而形成的关系树。简言之,性能分析决策树即计数器关系树。
2.11.2. 全局监控
全局监控是指对被测系统完整的性能分析决策树中所有的计数器进行监控。
2.11.3. 定向监控
定向监控是指为在定位性能瓶颈过程中,根据全局监控中计数器值进行下钻分析的过程中执行的监控。
2.11.4. 响应时间拆分
响应时间拆分是指通过对被测系统的架构进行分析,利用分段的技术手段把响应时间定位到具体的技术组件,进而利用分层的技术手段把响应时间定位到技术组件的具体模块。
- 点赞
- 收藏
- 关注作者
评论(0)