Greenplum的PXF从源码到部署

sinwaj · · 1291 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

一.背景

 pxf适用于联邦数据的查询,支持多种数据源,如Hadoop、hive、关系数据库。支持多个异构数据源,并只查询数据源中少量数据集,而避免对数据集执行ETL操作。

二.PXF架构

1.pxf server 部署在segment host主机上。

2.segment通过rest接口和pxf server进行交互。

3.pxf server和外部数据通过特定connector进行交互。

三.编译

1.源码(这里采用5.14版本)

开源协议:Apache-2.0 License

https://github.com/greenplum-db/pxf/archive/release-5.13.0.zip

2.物理结构说明


3. 基于容器编译

1)容器启动

#docker run -td -v ~/workspace/gpdb:/home/gpadmin/gpdb_src --privileged --security-opt seccomp:unconfined -i pivotaldata/gpdb6-centos7-build:latest /usr/sbin/init

2)依赖包安装

#yum install -y openssl openssh-server

#yum install openssh*

#yum install python-devel 

#yum install net-tools  ifconfig

3)python安装程序

#wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

#wget https://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz

#pip install psutil

#pip install python-daemon

4)go语言设置

#wget https://studygolang.com/dl/golang/go1.14.4.linux-386.tar.gz

#export GOPATH=/root/go

#export PATH=$PATH:/usr/local/go/bin:$GOPATH/bin

四.部署


五.参考资料

https://s3.amazonaws.com/greenplum.org/wp-content/uploads/2020/05/12171437/pxf-paper.pdf


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:sinwaj

查看原文:Greenplum的PXF从源码到部署

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1291 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传