将Python设置为stdout以匹配终端的编码 - python

                                                                                            
                
        
我有一个python项目,在这里我必须显示从另一台机器以未知编码通过管道传送给我的数据。我在Ubuntu VM上运行python 3。我得到的是字节流(也许是命令输出或分类文件或类似文件)。我只需要尽可能地显示数据,无论其来源如何。

作为测试,我尝试使用cat / dev / urandom并通过python以与我自己键入命令相同的方式显示它。为了使其可复制,我使用了-n 2 / dev / urandom头,而不是cat带来的无尽流。

在bash中,当我整理文件时,会得到标准的随机杂项。我有LANG = en_US.ETF-8。很多字符并没有真正渲染(带有问号的菱形)或只是空白(因为它显然不是UTF-8,而是原始数据的随机字节)

eJ̘��}��jf��)���N�n��t��8=����X-�L�^t�M����Z���g�8#K T��c��z�ZO+�ϩD1{|EX
��)'���ei۝{W�r��畴��Ii�Y���
                        �}���+��;-�i-
                                     S��Az
                                          uV�1XBxFZ3+4��G�*��Q�+!  

但是,如果我以python格式读取文件并以标准格式打印,则除非使用“ latin-1”,否则会出现编码错误。假设它是从终端继承的,我什至尝试使用默认流中的编码。这显然是不对的,因为我需要管道远端的流中的编码(我没有)。

>>> f = open("foo.txt", "rb")
>>> data = f.read(530)
>>> import sys
>>> sys.stdout.write(data.decode(sys.stdout.encoding))

不出所料,产生的错误是基于不遵循UTF8编码标准的随机数据引起的:

>>> sys.stdout.write(data.decode(sys.stdout.encoding))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte

因此,它从LANG(?)提取UTF-8并将其应用,但是它只是存在编码问题而失败。如果我明确使用“ latin-1”,我会得到类似的结果,但是它与终端也不一样。

sys.stdout.write(data.decode('latin-1'))

收益(名义示例-非实际文本):

©7yIº*ø^Mÿ*Ig«áEIt±.Q   ÈyT?æsÎ_%v1DÎú¹×,sÛÐûóÜun¢$&6YuApÁ¼­pnòàJð

因此,问题是...如何读取终端设置,以便可以使用它们来解码和重现终端上出现的内容?

我已经检查了以下其他问题:Why does Python print unicode characters when the default encoding is ASCII?和Convert bytes to a Python string,它们涵盖了某些部分,但是我不了解与shell / bash / etc的交互。

编辑(答案评估):

使用errors =“ replace”使我接近。 os.write复制cat的输出。差异似乎是基于错误字符如何聚集在一起,因此差异并不是很重要。

编辑编辑(实际解决方案):最后,我显然需要从原始计算机读取语言环境/远程编码,以便可以将其发送出去,然后将字节解释为该编码,然后将其转码为本地计算机编码,然后显示。从这个意义上说,该项目没有经过深思熟虑,因为我没有收到远程信息,我显然需要它。我最终使用了这个(对于当前版本,因为它摆脱了错误):

sys.stdout.write(data.decode('utf-8', errors='replace'))
sys.stdout.flush()

编辑(清除问题文本以关注实际主题)

参考方案

解决问题而不是给出的问题(https://meta.stackexchange.com/questions/66377/what-is-the-xy-problem)

  我有一个python项目,该项目通过python 3发送到各种linux风格(vms,真实机器等)的各个用户上。作为该程序的一部分,python可能会将其本地文件之一显示到终端屏幕上。我正在寻找一种读取终端设置以将其用于显示数据的方法。通过这种方式,将由用户来设置其终端以处理扩展的字符集,或者如果他们想要的话,则由用户决定。

您已经发现Python使用locale解析终端的可能编码-如果您使用strwrite()将Python 3 print()写入标准输出,则会发现它已自动编码为终奌站。这意味着您的代码不需要(也不必)检测其环境。

我说“可能编码”是因为字符的解码不是外壳程序的责任,而是终端(Terminal / iTerm / Putty等)的责任,该终端可能在用户的桌面上远程运行。您将不得不希望大多数人将locale和终端编码保留为默认设置,幸运的是,现在通常使用UTF-8。

如果要在其本地计算机上打开文本文件,则在读取该文件时还应该应用编码(您可以通过解码/编码直接将其写出来,但无法干净利落地对其进行操作)。值得庆幸的是,open()还将使用源自用户语言环境的locale.getpreferredencoding()来设置用于解码文件的编码。

这意味着,如果用户为LANG='en_GB.UTF-8',则为locale.getpreferredencoding() == "UTF-8"。如果使用open('file.txt', 'r')打开文件,则该文件将作为UTF-8解码为Python str。

您将能够将数据写入/打印到控制台,并确信自己已经尽力解决了我们必须使用的编码传统。

Python pytz时区函数返回的时区为9分钟 - python

由于某些原因,我无法从以下代码中找出原因:>>> from pytz import timezone >>> timezone('America/Chicago') 我得到:<DstTzInfo 'America/Chicago' LMT-1 day, 18:09:00 STD…

在返回'Response'(Python)中传递多个参数 - python

我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)... python文件:def get(request): ... return Response(seriali…

R'relaimpo'软件包的Python端口 - python

我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

Python ThreadPoolExecutor抑制异常 - python

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…