我目前想将大型稀疏矩阵(〜1M x 200k)与其转置相乘。所得矩阵的值将为浮点型。
实现这种乘法的有效方法是什么？因为我在计算中看到了一种模式。
我想知道哪些库可以更快地实现计算。它可以是Python，R，C，C++或任何其他版本。
参考方案
我想您的主要需求是节省内存。首先，当您将矩阵与其转置相乘时，您不需要任何记忆:可以通过第一个矩阵直接访问其所有单元格(tA [i，j] = A [j，i])。已节省近1/3的内存。
我可以看到计算时间也不能忽略。由于生成的矩阵是对称的，因此您只能计算一半，而直接存储另一半。节省了将近一半的计算时间。
而且，如果您确定初始矩阵确实是稀疏的，并且可以希望结果矩阵也是如此，则可以将结果直接存储在scipy稀疏矩阵中，即COO格式:
仅三个列表来存储非null值。
但是...我不知道有哪个库可以做到这一点，您将不得不使用自己喜欢的语言(可能是python谈论scipy)自己编写代码。
Python代码示例(矩阵= A [M] [N])
I = []
J = []
V = []
for i in range(M):
for j in range(i:M) :
X = 0.0
for k in range(N):
X += A[i ][k] * A[k][j]
if X != 0.0 # or abs (X) > epsilon if floating point accuracy is a concern ...
I.append (i )
J.append(j)
V.append(X)
I.append (j )
J.append(i)
V.append(X)
而I，J，V是通过以下方式生成密密的COO稀疏矩阵所需要的:
RESULT = sparse.coo_matrix((V,(I,J)),shape=(N, N))
我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…
Python:图像处理可产生皱纹纸效果 - python也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢 参考方案 除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…
Python uuid4，如何限制唯一字符的长度 - python在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…
Python:无法识别Pip命令 - python这是我拍摄的屏幕截图。当我尝试在命令提示符下使用pip时，出现以下错误消息:pip无法识别为内部或外部命令，可操作程序或批处理文件。我已经检查了这个线程:How do I install pip on Windows?我所能找到的就是我必须将"C:\PythonX\Scripts"添加到我的类路径中，其中X代表python版本。如您在我的…
使用scipy的各种稀疏矩阵产品的性能 - python我有一个术语文档矩阵作为稀疏矩阵（csr或coo矩阵），还有一个特征向量，我想对其进行相似度比较。我想尝试以下方法：1.）使用doc矩阵作为csr矩阵，将其转换为ndarray，然后在行上进行迭代，并使用scikit进行余弦模拟，以了解ndarray之间的余弦相似度。2）将doc矩阵作为csr矩阵，将其转换为ndarray，然后将该矩阵与向量进行乘积运算，除…