我正在尝试使用scipy稀疏矩阵实现余弦相似度，因为我在使用普通矩阵（非稀疏）时遇到内存错误。但是，我注意到稀疏和非稀疏矩阵的余弦相似度的内存大小（以字节为单位）在输入矩阵（观测值）的大小较大时几乎相同。我是在做错什么，还是有办法解决？这是输入的代码，其中5％为1，95％为0。
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from scipy import sparse
A = np.random.rand(10000, 1000)<.05
A_sparse = sparse.csr_matrix(A)
similarities = cosine_similarity(A_sparse)
# output sparse matrices
similarities_sparse = cosine_similarity(A_sparse,dense_output=False)
print("1's percentage", np.count_nonzero(A)/np.size(A))
print('memory percentage', similarities_sparse.data.nbytes/similarities.data.nbytes)
一个符文的输出为：
1's percentage 0.0499615
memory percentage 0.91799018
参考方案
将@hpaulj的评论详细说明为答案：
您对cosine_similarity的两次调用都返回相同的基础数据。该余弦相似度矩阵通常不是零，因此使用稀疏格式不会节省空间。
大部分为零的输入数据不一定（或者甚至通常）会产生大多数为零的余弦相似度矩阵。如果矩阵的一对行（i，j）在同一列中均没有值，则余弦（i，j）= 0仅会发生（*）。
（*或如果点乘积否则为0，但这是这里的一个补充。）
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…
Python:集群作业管理 - python我在具有两个阶段的计算群集（Slurm）上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？工作流程类似于以下内容：w…
Python-Excel导出 - python我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…
Python:传递记录器是个好主意吗？ - python我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…
Python pytz时区函数返回的时区为9分钟 - python由于某些原因，我无法从以下代码中找出原因：>>> from pytz import timezone >>> timezone('America/Chicago') 我得到：<DstTzInfo 'America/Chicago' LMT-1 day, 18:09:00 STD…