提速72倍,在Python里面调用Golang函数

mb600aa45a054a0 · · 622 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

菜鸟学Python 2020-07-31

以下文章来源于未闻Code ,作者kingname

未闻Code未闻Code

博主喜欢Python和爬虫,已经出了两本书。这里是他灵感的发源地。关注这个公众号,你的生产效率在三天内就会得到提高。P.S.: 这个公众号日更。

图片


我们知道,在涉及到大量 CPU 计算的时候,Python 的运行效率可能不如其他语言。在之前的一篇文章:一日一技:立竿见影地把你的 Python 代码提速7倍中,我们讲到了如何通过把 Python 代码编译成 C 语言代码来提高代码的运行速度。今天,我们不用 C 语言,而用 Go 语言。并且,我们这次不是做转换,而是直接用 Python 调用 Go 语言写的代码。

今天的文章内容需要使用 Linux 和 macOS 系统实现。或者你也可以使用 Windows 10自带的 WSL2 Linux子系统。

今天我们的测试代码还是递归版本的斐波那契数列计算函数,由于递归版本涉及到大量重复计算,所以运行速度极慢。用 Python 计算第40项,耗时36.6秒,如下图所示:

图片

如果直接使用 Golang 来写相同的算法,速度会远远快于 Python——同样是计算第40项,只需要0.5秒,如下图所示:

图片

那么,我们能不能使用 Golang 写一个计算斐波那契数列的递归函数,但是使用 Python 来调用这个函数呢?

实际上是可以的,我们只需要把 Golang 写的程序编译为.so文件就可以在 Python 里面调用了。

首先修改一下我们的 Golang 代码,把计算斐波拉契数列的函数fib的首字母改成大写。在 Golang 中,只有首字母大写的函数,才能被package外面的代码调用。

修改以后的代码如下:

package main
import (    "C")
//export Fibfunc Fib(n int) int {    if n == 1 || n == 2{        return 1    } else {        return Fib(n - 1) + Fib(n - 2)    }}
func main() {}

需要注意的是,这里的注释//export Fib不能省略,因为在编译成.so文件的时候,编译器会寻找这个注释。同时,为了能正常编译,我们也必须导入C这个包。

把代码保存为fib.go,然后我们使用如下命令进行编译:

go build -buildmode=c-shared -o _fib.so fib.go

这条命令指定了编译模式为c-shared,编译完成以后,当前文件夹下面会生成一个_fib.so文件。这就是我们需要用 Python 载入的文件了。

下面,我们创建一个 Python 文件load.py,代码如下:

import ctypesimport time

so = ctypes.cdll.LoadLibrary('./_fib.so')fib = so.Fib
start = time.time()result = fib(40)end = time.time()print(f'斐波那契数列第40项:{result},耗时:{end - start}')

在这段代码里面,通过 Python 自带的ctypes模块,加载_fib.so文件,然后提取出里面的Fib函数。这个函数就是用递归方式计算斐波那契数列的函数了。同样是计算第40项,我们来看看耗时:

图片

只需要0.5秒。耗时只有纯 Python 版本的 三十六分之一,也就是说,通过 Python 调用 Golang 的函数,速度是纯 Python 版本的72倍。

但需要注意的是,由于Golang 是静态强类型语言,定义函数的时候需要声明变量类型。如果你要导出的函数是字符串,那么变量类型需要改为*C.char而不是简单的string。这里涉及到 C 语言中的变量类型与 Golang 中变量类型的映射关系,可以参阅:cgo[1]。本文的例子中,由于整型比较特殊,直接使用int就可以了。但其他的类型可能并没有这么简单。



有疑问加站长微信联系(非本文作者)

本文来自:51CTO博客

感谢作者:mb600aa45a054a0

查看原文:提速72倍,在Python里面调用Golang函数

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

622 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传