用python中的默认值替换高于和低于阈值的列表值？ - python

我正在尝试使用默认值替换阈值上下的“不良值”（例如，将其设置为NaN）。
我正在取消一个具有1000k和更多值的numpy数组-因此性能是一个问题。

我的原型分两步执行操作，是否有一步就能做到这一点？

import numpy as np

data = np.array([0., 1., 2., 3., 4., 5., 6., 7., 8., 9.])

upper_threshold = 7
lower_threshold = 1
default_value = np.NaN

# is it possible to do this in one expression?
data[data > upper_threshold] = default_value
data[data < lower_threshold] = default_value

print data # [ nan   1.   2.   3.   4.   5.   6.   7.  nan  nan]

如此相关问题中的评论（Pythonic way to replace list values with upper and lower bound (clamping, clipping, thresholding)?）

像许多其他函数一样，np.clip是python，但它遵循方法arr.clip。对于常规数组，将编译该方法，因此速度会更快（大约2倍）。 – hpaulj

我也希望找到一种更快的方法，在此先感谢！

参考方案

结合使用面膜，一次性使用boolean-indexing-

data[(data > upper_threshold) | (data < lower_threshold)] = default_value

运行时测试-

In [109]: def onepass(data, upper_threshold, lower_threshold, default_value):
     ...:     mask = (data > upper_threshold) | (data < lower_threshold)
     ...:     data[mask] = default_value
     ...: 
     ...: def twopass(data, upper_threshold, lower_threshold, default_value):
     ...:     data[data > upper_threshold] = default_value
     ...:     data[data < lower_threshold] = default_value
     ...:     

In [110]: upper_threshold = 7
     ...: lower_threshold = 1
     ...: default_value = np.NaN
     ...: 

In [111]: data = np.random.randint(-4,11,(1000000)).astype(float)

In [112]: %timeit twopass(data, upper_threshold, lower_threshold, default_value)
100 loops, best of 3: 2.41 ms per loop

In [113]: data = np.random.randint(-4,11,(1000000)).astype(float)

In [114]: %timeit onepass(data, upper_threshold, lower_threshold, default_value)
100 loops, best of 3: 2.74 ms per loop

看起来我们使用建议的one-pass-indexing方法没有取得更好的效果。原因可能是掩码的OR-ing的计算比直接用布尔索引本身分配值要贵一些。

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

从Azure Data Factory执行python脚本 - python

有人可以帮我从Azure数据工厂执行python函数吗？我已经将python函数存储在blob中，并且我试图触发同样的功能。但是我无法做到这一点。请协助。第二，我可以从ADF参数化python函数调用吗？ python参考方案 您可能会发现ADF中的Azure Function Activity概念，它允许您在Data Factory管道中运行Azure F…

python-docx应该在空单元格已满时返回空单元格 - python

我试图遍历文档中的所有表并从中提取文本。作为中间步骤，我只是尝试将文本打印到控制台。我在类似的帖子中已经看过scanny提供的其他代码，但是由于某种原因，它并没有提供我正在解析的文档的预期输出可以在https://www.ontario.ca/laws/regulation/140300中找到该文档from docx import Document from…

Python ThreadPoolExecutor抑制异常 - python

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…