我有一个像这样的Python单调度通用函数:
@singledispatch
def cluster(documents, n_clusters=8, min_docs=None, depth=2):
...
像这样重载:
@cluster.register(QuerySet)
@lru_cache(maxsize=512)
def _(documents, *args, **kwargs):
...
第二个基本上对QuerySet
对象进行预处理,并调用通用cluster()
函数。
QuerySet is a Django object,但这在这里不起作用;除了它是可散列的并因此可用于lru_cache
的事实之外。
通用函数无法缓存,因为它接受不可散列的对象(例如列表)作为参数。但是,可以缓存重载函数,因为QuerySet
对象是可哈希的。这就是为什么我添加了@lru_cache()
注释的原因。
但是,似乎没有应用缓存:
qs: QuerySet = [...]
start = datetime.now(); cluster(Document.objects.all()); print(datetime.now() - start)
0:00:02.629259
我希望在一个实例中发生相同的调用,但是:
start = datetime.now(); cluster(Document.objects.all()); print(datetime.now() - start)
0:00:02.468675
这由缓存统计信息确认:
cluster.registry[django.db.models.query.QuerySet].cache_info()
CacheInfo(hits=0, misses=2, maxsize=512, currsize=2)
更改@lru_cache
和@.register
批注的顺序似乎没有什么不同。
This question相似,但是答案不适合单个功能级别。
甚至可以在此级别上结合这两个注释吗?如果是这样,怎么办?
参考方案
hash(Document.objects.all()) == hash(Document.objects.all())
与Django QuerySet
不一致。
在评估返回的Document.objects.all()
之前,呼叫QuerySet
不会访问数据库。
酸洗通常用作缓存的前身
Django docs。
根据您的用例,您可以尝试缓存QuerySet
或其query
属性的泡菜。
@cluster.register(bytes)
@lru_cache(maxsize=512)
def _(documents, *args, **kwargs):
documents = pickle.loads(documents)
...
cluster(pickle.dumps(Document.objects.all()))
要么
cluster(pickle.dumps(Document.objects.all().query))
Python GPU资源利用 - python我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…
Python:图像处理可产生皱纹纸效果 - python也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…
Python uuid4,如何限制唯一字符的长度 - python在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…
python:ConfigParser对象,然后再阅读一次 - python场景:我有一个配置文件,其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。 配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数,因此我需要通过每个测试。现在,此配置文件由script(s1)调用,并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置,并且在每次测试完成后都会执行。阅读两次的要求:由于可能会…