请原谅我的无知。
如果numpy提供向量化运算以加快计算速度,那么对于数据类型转换而言,纯python的速度几乎快8倍吗?
例如
a = np.random.randint(0,500,100).astype(str)
b = np.random.randint(0,500,100).astype(str)
c = np.random.randint(0,500,100).astype(str)
def A(a,b,c):
for i,j,k in zip(a,b,c):
d,e,f = int(i), int(j), int(k)
r = d+e-f
return
def B(a,b,c):
for i,j,k in zip(a,b,c):
d,e,f = np.array([i,j,k]).astype(int)
r = d+e-f
return
然后,
%%timeit
A(a,b,c)
每个回路249 µs±3.13 µs(平均±标准偏差,共运行7次,每个回路1000个)
%%timeit
B(a,b,c)
每个循环1.87 ms±4.08 µs(平均±标准偏差,共运行7次,每个循环1000个)
谢谢,
爱丽儿
参考方案
是的,NumPy确实提供矢量化运算,这些运算使计算速度比原始Python代码更快。但是,您没有使用它们。
NumPy旨在跨整个数据集执行操作,跨数据集块执行的重复操作不多。后者导致迭代在Python级别完成,这将增加运行时间。
您的主要问题是,您使用的唯一“矢量化”操作是astype
,但是您一次将其应用于三个元素,并且仍然像幼稚的Python解决方案一样循环。再加上在循环的每次迭代中创建numpy数组会产生额外开销的事实,难怪您使用numpy的尝试会更慢。
在小型数据集上,Python可能会更快,因为NumPy会产生创建数组,将对象与低级库之间来回传递等操作的开销。让我们来看看一下一次在三个元素上使用的强制转换操作:
%timeit np.array(['1', '2', '3']).astype(int)
5.25 µs ± 89.3 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
%timeit np.array(['1', '2', '3'])
1.62 µs ± 42.9 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
超过四分之一的运行时间仅来自于分配数组!将此与您的纯Python版本进行比较:
%timeit a, b, c = int('1'), int('2'), int('3')
659 ns ± 50.7 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
因此,如果仅对这种大小的块进行操作,Python将击败NumPy。
但是,除了三个元素之外,您还有更多的元素,因此NumPy可以用来极大地加快代码的速度,但是您需要改变对解决问题的态度。与其着重于如何将运算应用于单个标量,不如考虑如何将其应用于数组。
为了解决这个问题,总体思路是:
int
调用将整个数组转换为astype
。 最终看起来像这样:
def vectorized(a, b, c):
u = np.array([a, b, c]).astype(int)
return u[0] + u[1] - u[2]
一旦比较了正确使用NumPy的两种方法,您将开始看到性能大幅提高。
def python_loop(a, b, c):
out = []
for i,j,k in zip(a,b,c):
d,e,f = int(i), int(j), int(k)
out.append(d+e-f)
return out
a, b, c = np.random.randint(0, 500, (3, 100_000)).astype(str)
In [255]: %timeit vectorized(a, b, c)
181 ms ± 6.07 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [256]: %timeit python_loop(a, b, c)
206 ms ± 7.97 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
>>> np.array_equal(python_loop(a, b, c), vectorized(a, b, c))
True
从字符串转换为整数并不意味着NumPy会比纯Python快得多,从时间上可以看出,两者相当接近。但是,通过应用矢量化方法,比较至少要公平得多。
在返回'Response'(Python)中传递多个参数 - python我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)... python文件:def get(request): ... return Response(seriali…
Python exchangelib在子文件夹中读取邮件 - python我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…
R'relaimpo'软件包的Python端口 - python我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。
Python ThreadPoolExecutor抑制异常 - pythonfrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…
Python GPU资源利用 - python我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…