我有这两个数据框:
df = pd.DataFrame({'Points':[0,1,2,3],'Axis1':[1,2,2,3], 'Axis2':[4,2,3,0],'ClusterId':[1,2,2,3]})
df
Points Axis1 Axis2 ClusterId
0 0 1 4 1
1 1 2 2 2
2 2 2 3 2
3 3 3 0 3
Neighbour = pd.DataFrame()
Neighbour['Points'] = df['Points']
Neighbour['Closest'] = np.nan
Neighbour['Distance'] = np.nan
Neighbour
Points Closest Distance
0 0 NaN NaN
1 1 NaN NaN
2 2 NaN NaN
3 3 NaN NaN
我希望基于应用于Axis1和Axis2的以下距离函数,Closest列包含不在同一群集(df中的ClusterId)中的最近点:
def distance(x1,y1,x2,y2):
dist = sqrt((x1-x2)**2 + (y1-y2)**2)
return dist
我希望“距离”列包含该点与其最接近点之间的距离。
以下脚本可以工作,但我认为这实际上并不是使用Python的最佳方法:
for i in range(len(Neighbour['Points'])):
bestD = -1 #best distance
#bestP for best point
for ii in range(len(Neighbour['Points'])):
if df.loc[i,"ClusterId"] != df.loc[ii,"ClusterId"]: #if not share the same cluster
dist = distance(df.iloc[i,1],df.iloc[i,2],df.iloc[ii,1],df.iloc[ii,2])
if dist < bestD or bestD == -1:
bestD = dist
bestP = Neighbour.iloc[ii,0]
Neighbour.loc[i,'Closest'] = bestP
Neighbour.loc[i,'Distance'] = bestD
Neighbour
Points Closest Distance
0 0 2.0 1.414214
1 1 0.0 2.236068
2 2 0.0 1.414214
3 3 1.0 2.236068
有没有更有效的方法来填充“最近”和“距离”列(尤其是没有for循环)?使用map和reduce可能是一个合适的场合,但我真的不知道如何。
参考方案
要计算距离,可以在DataFrame的基础ndarray上使用scipy.spatial.distance.cdist
。这可能比双循环更快。
>>> import numpy as np
>>> from scipy.spatial.distance import cdist
>>> distance_matrix = cdist(df.values[:, 1:3], df.values[:, 1:3], 'euclidean')
>>> distance_matrix
array([[0. , 2.23606798, 1.41421356, 4.47213595],
[2.23606798, 0. , 1. , 2.23606798],
[1.41421356, 1. , 0. , 3.16227766],
[4.47213595, 2.23606798, 3.16227766, 0. ]])
>>> np.fill_diagonal(distance_matrix, np.inf) # set diagonal to inf so minimum isn't distance(x, x) = 0
>>> distance_matrix
array([[ inf, 2.23606798, 1.41421356, 4.47213595],
[2.23606798, inf, 1. , 2.23606798],
[1.41421356, 1. , inf, 3.16227766],
[4.47213595, 2.23606798, 3.16227766, inf]])
为了加快速度,您还可以检查pdist
函数而不是cdist,当您有50_000行时,它占用的内存更少。
也有KDTree
的目标是找到一个点的最近邻居。
然后,您可以使用np.argmin
来获取最接近的距离,并检查最接近的点是否在群集中,如下所示(我没有尝试):
for i in range(len(Neighbour['Points'])):
same_cluster = True
while same_cluster:
index_min = np.argmin(distance_matrix[i])
same_cluster = (df.loc[i,"ClusterId"] == df.loc[index_min,"ClusterId"])
if same_cluster:
distance_matrix[i][index_min] = np.inf
Neighbour.loc[i,'Closest'] = index_min
Neighbour.loc[i,'Distance'] = distance_matrix[i][index_min]
在返回'Response'(Python)中传递多个参数 - python我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)... python文件:def get(request): ... return Response(seriali…
Python exchangelib在子文件夹中读取邮件 - python我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…
R'relaimpo'软件包的Python端口 - python我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。
Python ThreadPoolExecutor抑制异常 - pythonfrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…
如何用'-'解析字符串到节点js本地脚本? - python我正在使用本地节点js脚本来处理字符串。我陷入了将'-'字符串解析为本地节点js脚本的问题。render.js:#! /usr/bin/env -S node -r esm let argv = require('yargs') .usage('$0 [string]') .argv; console.log(argv…