如何实现请求的多线程或多处理 - python

我正在寻求实现request对象的多线程或多处理。

我的代码如下:

def validate(testurl):
    json_d = {"task_id": "user_uid","data": {"document1":testurl}} 
    response = requests.post("https://example.net.com/document",headers=headers,json=json_d)
    my_data1 = response.text
    with open("testurl.txt","a+") as file:
        file.write(my_data1)
    my_data = json.loads(my_data1)
    result = {'bool_value':my_data['data']}
    return result

有没有一种方法可以对5000个以上的URL进行Pandas apply()函数的多线程或多进程处理?例如:

df['res'] = df['testurl'].apply(validate)

我应该在下面使用这个吗?

from joblib import parallel, delayed

参考方案

您可以使用swifter或dask来执行此操作。您可以参考https://gdcoder.com/speed-up-pandas-apply-function-using-dask-or-swifter-tutorial/

df['res'] = df['testurl'].swifter.apply(lambda x: validate(x))

Python uuid4,如何限制唯一字符的长度 - python

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

python pandas:按行对条件进行分组 - python

我有一个大的pandas数据框,试图从中形成一些行的对。我的df如下所示:object_id increment location event 0 1 d A 0 2 d B 0 3 z C 0 4 g A 0 5 g B 0 6 i C 1 1 k A 1 2 k B ... ... ... ... 对象ID描述特定的对象。增量是每次发生某事(跟踪订单)时…

Python-Excel导出 - python

我有以下代码:import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…

pandas DataFrame:根据另一列中的布尔值计算总和 - python

我对Python相当陌生,我尝试在pandas中模拟以下逻辑我目前正在循环抛出行,并希望对前几行的AMOUNT列中的值求和,但只求和最后一次看到的“ TRUE”值。实际数据似乎效率低下(我的数据框大约有500万行)?想知道用Python处理这种逻辑的有效方法是什么?逻辑:逻辑是,如果FLAG为TRUE,我想对前几行的AMOUNT列中的值求和,但只求和最后一次…

在返回'Response'(Python)中传递多个参数 - python

我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)... python文件:def get(request): ... return Response(seriali…