使用Python3操作HBase

举报
WHYBIGDATA 发表于 2023/01/12 15:37:14 2023/01/12
【摘要】 使用Python3操作HBase

使用Python3操作HBase



0. 写在前面

  • Linux: Ubuntu Kylin16.04
  • Python: Anaconda环境下的Python3.9
  • HBase: HBase1.1.5
  • hbase-thrift: hbase-thrift-0.20.0.patch
  • Thrift:Thrift0.16.0

Python3 通过 thriftrpc 接口操作 HBase ,指定依赖库为: thrifthbase-thrift 。 然而我们 在 Python3 环境中发现 hbase-thrift-0.20.4 无法被支持, hbase-thrift 官方仅推荐用于 python2.x 。 所以需要使用下边的 patch 版本 和 patch 版本写法的客户端「第一种Python调用HBase的方法」。

1. 安装conda

「Ubuntu安装Anaconda及注意事项」

2. 安装hbase-thrift-0.20.0.patch

新建一个Python3.9的anaconda环境

root@node01:~$ conda create -n test python=3.9

激活新建的anaconda环境test

root@node01:~$ conda activate test

检查是否已经存在hbase-thrift环境

(test) root@node01:~$ pip3 list | grep hbase-thrift
  • 若存在hbase-thrift环境,直接删除「不存在也建议执行下面命令语句」
(test) root@node01:~$ pip3 uninstall -y hbase-thrift

下载hbase-thrift-0.20.0.patch

  • 下载
(test) root@node01:/usr/local$ wget http://dl.cpp.la/Archive/hbase-thrift-0.20.4.patch.tgz

报错

--2022-09-17 20:06:13--  http://dl.cpp.la/Archive/hbase-thrift-0.20.4.patch.tgz
正在解析主机 dl.cpp.la (dl.cpp.la)... 3.0.3.0
正在连接 dl.cpp.la (dl.cpp.la)|3.0.3.0|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 502 Bad Gateway
2022-09-17 20:06:14 错误 502:Bad Gateway。

错误 502:Bad Gateway。

尝试以下方法下载

(test) root@node01:/usr/local$ wget --no-cookies http://dl.cpp.la/Archive/hbase-thrift-0.20.4.patch.tgz

该方法不可行

建议在Windows下载后上传到Linux上

  • 正式安装
(test) root@node01:/usr/local/$ cd hbase-thrift-0.20.4.patch
(test) root@node01:/usr/local/hbase-thrift-0.20.4.patch$ python3 setup.py install

报错

Traceback (most recent call last):
  File "setup.py", line 2, in <module>
    from setuptools import setup, find_packages
ImportError: No module named 'setuptools'

按照提示,下载setuptools

(test) root@node01:/usr/local$ apt-get install python3-setuptools
  • 再次执行安装命令
(test) root@node01:/usr/local/hbase-thrift-0.20.4.patch$ sudo python3 setup.py install
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 37: invalid start byte in /usr/local/hbase-thrift-0.20.4.patch/._hbase_thrift.egg-info

各种报错接连不断,人都麻了

删除并卸载hbase-thrift相关内容

  • 重新下载并安装

看到这些字样就代表成功了

Installed /usr/local/anaconda/envs/test/lib/python3.9/site-packages/six-1.16.0-py3.9.egg
Finished processing dependencies for hbase-thrift===0.20.4.patch
  • 再次确认一下
(test) root@node01:/usr/local/hbase-thrift-patch/hbase-thrift-0.20.4.patch$ pip3 list | grep hbase-thrift
hbase-thrift 0.20.4.patch

3. python连接hbase测试

from thrift import Thrift
from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# thrift默认端口是9090
socket = TSocket.TSocket('127.0.0.1',9090)
socket.setTimeout(5000)
transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = Hbase.Client(protocol)
socket.open()
from hbase.ttypes import ColumnDescriptor,Mutation,BatchMutation,TRegionInfo
from hbase.ttypes import IOError,AlreadyExists
print(client.getTableNames())  # 获取当前所有的表名

此处应该提前安装pymysql

(test) root@node01:/usr/local/$ pip3 install -y pymsql

需要提前开启thrift服务,否则会报错

Could not connect to any of [('127.0.0.1', 9090)]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/anaconda/envs/pyhbase/lib/python3.9/site-packages/thrift-0.16.0-py3.9-linux-x86_64.egg/thrift/transport/TSocket.py", line 146, in open
    raise TTransportException(type=TTransportException.NOT_OPEN, message=msg)
thrift.transport.TTransport.TTransportException: Could not connect to any of [('127.0.0.1', 9090)]
  • 查看9090端口是否开放
sudo netstat -lp | grep 9090
  • 开启thrift服务
test@node01:/usr/local/hbase-1.1.5$ hbase-daemon.sh start thrift
starting thrift, logging to /usr/local/hbase-1.1.5/bin/../logs/hbase-test-thrift-node01.out
test@node01:/usr/local/hbase-1.1.5$ jps
3904 NodeManager
3268 NameNode
5381 Jps
4568 HMaster
4696 HRegionServer
5305 ThriftServer
3420 DataNode
3774 ResourceManager
3614 SecondaryNameNode
4463 HQuorumPeer

可以看到已经有ThriftServer

  • 重新执行上述Python代码
>>> from thrift import Thrift
>>> from thrift.transport import TSocket,TTransport
>>> from thrift.protocol import TBinaryProtocol
>>> from hbase import Hbase
>>> # thrift默认端口是9090
>>> socket = TSocket.TSocket('127.0.0.1',9090)
>>> socket.setTimeout(5000)
>>> transport = TTransport.TBufferedTransport(socket)
>>> protocol = TBinaryProtocol.TBinaryProtocol(transport)
>>> client = Hbase.Client(protocol)
>>> socket.open()
>>> from hbase.ttypes import ColumnDescriptor,Mutation,BatchMutation,TRegionInfo
>>> from hbase.ttypes import IOError,AlreadyExists
>>> print(client.getTableNames())  # 获取当前所有的表名
['SC', 'Student', 'job_tmp', 'user_action']

4. 第二种方法

使用Python调用HBase需要启动Thrift服务,但由于Linux本身没有内置该安装包,需要手动下载并安装

下载并安装

# 下载
(test) root@node01:/usr/local/$ wget https://mirrors.aliyun.com/apache/thrift/0.16.0/thrift-0.16.0.tar.gz?spm=a2c6h.25603864.0.0.654e1a4a7lakI8
# 重命名
(test) root@node01:/usr/local/$ mv thrift-0.16.0.tar.gz?spm=a2c6h.25603864.0.0.654e1a4a7lakI8 thrift-0.16.0.tar.gz
# 解压
(test) root@node01:/usr/local/$ tar -zxvf thrift-0.16.0.tar.gz -C ./

安装Thrift依赖的库

在编译安装Thrift之前,需要提前安装Thrift依赖的库,如 Automake、LibTool、Bison、Boost等,请参考「Thrift官网安装手册」

https://thrift.apache.org/docs/install/

  • 基本要求「Basic requirements」
A relatively POSIX-compliant *NIX system
Cygwin or MinGW can be used on Windows (but there are better options, see below)
g++ 4.2 (4.8 or later required for thrift compiler plug-in support)
boost 1.53.0
Runtime libraries for lex and yacc might be needed for the compiler.

g++ 4.2boost 1.53.0、编译可能需要的运行时库 lexyacc

– 从源代码构建的要求「Requirements for building from source」

GNU build tools:
autoconf 2.65
automake 1.13
libtool 1.5.24
pkg-config autoconf macros (pkg.m4)
lex and yacc (developed primarily with flex and bison)
libssl-dev
  • 依赖的库
apt-get install automake bison flex g++ git libboost1.55 libevent-dev libssl-dev libtool make pkg-config

编译安装Thrift

  • 编译并安装Thrift
## 进入Thrift安装目录
(test) root@node01:/usr/local/thrift-0.16.0$ ./configure
(test) root@node01:/usr/local/thrift-0.16.0$ make
(test) root@node01:/usr/local/thrift-0.16.0$ make install
  • 调用thrift命令验证安装是否成功
(test) root@node01:/usr/local/thrift-0.16.0$ thrift --version
Thrift version 0.16.0

HBase的源代码中,hbase.thrift文件描述了HBase服务API和有关对象的IDl文件,需要使用thrift命令对此文件进行编译,生成Python链接HBase的库包。Hbase.thrift 文件在HBase安装目录中的 hbase-thrift目录下

  • 编译操作如下:
# 创建目录
root@node01:/usr/local/thrift-0.16.0$ mkdir pythonhbase
# 进入pythonhbase目录下
root@node01:/usr/local/thrift-0.16.0$ cd pythonhbase
# 执行thrift命令生成Hbase的Python库
root@node01:/usr/local/thrift-0.16.0$ thrift --gen py ../hbase-1.15/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift

注意:py 指的是Python语言,thrift可以指定多种语言编译

另外,此处的HBase安装目录下是没有hbase-thrift的,需要下载并放置Hbase安装目录下

  • 复制生成的 gen-py 目录下的 hbase 子目录 到工程目录 python3.6/site-packages/hbase 下直接使用

如果没有上一步骤中的编译操作,那么Python3操作hbase会报错,可以按以下方法解决

首先要下载Python3的Hbase文件,替换Hbase文件/usr/local/lib/python3.6/dist-packages/hbase/Hbase.py和ttypes.py

  • 下载地址:

https://github.com/626626cdllp/infrastructure/tree/master/hbase

最后就是测试是否可以使用Python成功访问HBase客户端,和第一种方法一样,不再赘述

5. 参考

结束!

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。