一.背景
pxf适用于联邦数据的查询,支持多种数据源,如Hadoop、hive、关系数据库。支持多个异构数据源,并只查询数据源中少量数据集,而避免对数据集执行ETL操作。
二.PXF架构
1.pxf server 部署在segment host主机上。
2.segment通过rest接口和pxf server进行交互。
3.pxf server和外部数据通过特定connector进行交互。
三.编译
1.源码(这里采用5.14版本)
开源协议:Apache-2.0 License
https://github.com/greenplum-db/pxf/archive/release-5.13.0.zip
2.物理结构说明
3. 基于容器编译
1)容器启动
#docker run -td -v ~/workspace/gpdb:/home/gpadmin/gpdb_src --privileged --security-opt seccomp:unconfined -i pivotaldata/gpdb6-centos7-build:latest /usr/sbin/init
2)依赖包安装
#yum install -y openssl openssh-server
#yum install openssh*
#yum install python-devel
#yum install net-tools ifconfig
3)python安装程序
#wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
#wget https://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz
#pip install psutil
#pip install python-daemon
4)go语言设置
#wget https://studygolang.com/dl/golang/go1.14.4.linux-386.tar.gz
#export GOPATH=/root/go
#export PATH=$PATH:/usr/local/go/bin:$GOPATH/bin
四.部署
五.参考资料
https://s3.amazonaws.com/greenplum.org/wp-content/uploads/2020/05/12171437/pxf-paper.pdf
有疑问加站长微信联系(非本文作者)