OpenTSDB线程模型
OpenTSDB的业务线程模型比较简单,主要分为Http请求处理线程池和HBase响应请求处理线程池两部分。
Http请求处理线程池
OpenTSDB启动时,会创建一个Netty服务端(默认端口为4242),以接受OpenTSDB应用端发送过来的HTTP请求。
Netty的服务端实现包括了一个Boss线程和多个业务处理线程(默认线程数为CPU核数*2)。
流程说明:
1. OpenTSDB应用通过Socket连接到OpenTSDB的服务端,OpenTSDB的Boss线程会处理这个连接请求;
2. OpenTSDB Boss Thread通过监听端口,接受该连接请求,并生成一个新的socket连接。
3. OpenTSDB Boss Thread把新的socket注册到业务处理线程池中。每个socket绑定I/O线程池中的某个线程。
4. OpenTSDB I/O Thread通过轮询各个Socket,从Socket中取出HTTP请求的内容。
说明:上述1-4步骤,都是由Netty的框架完成的,不需要OpenTSDB的代码进行处理。
5. OpenTSDB I/O Thread处理HTTP请求数据(不同的请求有不同的处理流程,另文进行说明)。
6. 如果OpenTSDB与HBase之间的连接不存在,就创建一个新连接。
7. OpenTSDB I/O Thread处理HTTP请求数据后,发送HBase请求到HBase服务。
由上面的流程可以知道,OpenTSDB的请求都是由OpenTSDB I/O Thread线程池进行处理的。
HBase响应处理线程池
OpenTSDB发送请求到HBase后,需要处理HBase返回的响应消息,这是通过OpenTSDB中的一个Netty客户端实现的。
Netty的客户端实现包括了一个Boss线程和多个业务处理线程(默认线程数为CPU核数*2)。
流程说明:
1、 每个HBase与OpenTSDB之间的Socket连接,在OpenTSDB向HBase发起请求的时候就已经建立了。也会把该Socket绑定到AsyncHBase I/O Threads线程池的一个线程中。
2、 AsyncHBase I/O Thread读取Socket中的HBase响应消息。
说明:上述1-2步骤,都是由Netty的框架完成的,不需要OpenTSDB的代码进行处理。
3、 AsyncHBase I/O Thread 处理HBase的响应消息。
4、 AsyncHBase I/O Thread 处理完HBase的响应消息后,发送HTTP响应消息到OpenTSDB应用端。
由上面的流程可以知道,OpenTSDB的HTTP响应都是由AsyncHBase I/O Thread线程池进行发送的。
总结:
在OpenTSDB中,对HTTP请求和HBase响应是异步处理的,在OpenTSDB的线程中没有过多的I/O等待操作。因此,OpenTSDB的线程可以高效的运转,达到较好的性能。
- 点赞
- 收藏
- 关注作者
评论(0)