我有一个不可搜索的类似文件的对象。特别是，它是来自HTTP请求的不确定大小的文件。
import requests
fileobj = requests.get(url, stream=True)
我将此文件流式传输到对Amazon AWS SDK函数的调用，该函数正在将内容写入Amazon S3。一切正常。
import boto3
s3 = boto3.resource('s3')
s3.bucket('my-bucket').upload_fileobj(fileobj, 'target-file-name')
但是，在将其流传输到S3的同时，我还希望将数据流传输到另一个进程。这个其他过程可能不需要整个流，并且可能会在某个时候停止侦听。这很好，并且不应影响到S3的流。
重要的是我不要使用过多的内存，因为其中一些文件可能很大。由于相同的原因，我不想将任何内容写入磁盘。
我不介意一个接收器是否由于另一个接收器变慢而减慢了速度，只要S3最终获取了整个文件，并且数据同时到达两个接收器（而是到达仍需要的每个接收器）。
在Python（3）中解决此问题的最佳方法是什么？我知道我不能只将相同的文件对象传递给两个接收器，例如
s3.bucket('my-bucket').upload_fileobj(fileobj, 'target-file-name')
# At the same time somehow as
process = subprocess.Popen(['myapp'], stdin=fileobj)
我想我可以为类似文件的对象编写一个包装程序，该包装程序不仅将读取的任何数据传递给调用方（这将是S3接收器），而且还传递给其他进程。就像是
class MyFilewrapper(object):
def __init__(self, fileobj):
self._fileobj = fileobj
self._process = subprocess.Popen(['myapp'], stdin=popen.PIPE)
def read(self, size=-1):
data = self._fileobj.read(size)
self._process.stdin.write(data)
return data
filewrapper = MyFilewrapper(fileobj)
s3.bucket('my-bucket').upload_fileobj(filewrapper, 'target-file-name')
但是有更好的方法吗？也许像
streams = StreamDuplicator(fileobj, streams=2)
s3.bucket('my-bucket').upload_fileobj(streams[0], 'target-file-name')
# At the same time somehow as
process = subprocess.Popen(['myapp'], stdin=streams[1])
参考方案
由于MyFilewrapper中的IO循环现在可以控制将数据馈送到严格地说与上载无关的子进程中，因此出现有关您的upload_fileobj解决方案的不适感。
“适当”的解决方案将涉及一个上传API，该API提供类似于文件的对象，用于通过外部循环来编写上传流。这样一来，您就可以将数据“干净地”馈送到两个目标流。
以下示例显示了基本概念。虚构的startupload方法提供了用于上传的类似文件的对象。当然，您需要添加适当的错误处理等。
fileobj = requests.get(url, stream=True)
upload_fd = s3.bucket('my-bucket').startupload('target-file-name')
other_fd = ... # Popen or whatever
buf = memoryview(bytearray(4046))
while True:
r = fileobj.read_into(buf)
if r == 0:
break
read_slice = buf[:r]
upload_fd.write(read_slice)
other_fd.write(read_slice)
我在Angular工作，正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件：this.http.get("api/agent/applicationaware").subscribe((data:any)... python文件：def get(request): ... return Response(seriali…
Python exchangelib在子文件夹中读取邮件 - python我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱，但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容，但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…
R'relaimpo'软件包的Python端口 - python我需要计算Lindeman-Merenda-Gold（LMG）分数，以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是，我对R没有任何经验。我检查了互联网，但找不到。这个程序包有python端口吗？如果不存在，是否可以通过python使用该包？ python参考方案 最近，我遇到了pingouin库。
Python ThreadPoolExecutor抑制异常 - pythonfrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…
如何用'-'解析字符串到节点js本地脚本？ - python我正在使用本地节点js脚本来处理字符串。我陷入了将'-'字符串解析为本地节点js脚本的问题。render.js：#! /usr/bin/env -S node -r esm let argv = require('yargs') .usage('$0 [string]') .argv; console.log(argv…