如何从具有共同部分的列表中删除字符串 - python

我需要从python中具有共同部分的列表中删除重复项。我的清单是这样的：

- Addition  domainname1.com 80.80.80.80
+ Addition  domainname1.com 80.80.80.81
- Bitsquatting domainname2.com 104.160.171.87
+ Bitsquatting domainname2.com 104.160.172.85
- Homoglyph domainname3.com 206.188.193.4
- Insertion domainname4.com 206.188.200.6
- Insertion domainname5.com 206.188.200.7
+ Insertion domainname5.com 206.188.200.8

从此列表中，我只想保留具有唯一域名的字符串（而不保留具有通用域名和不同IP的字符串）：

- Homoglyph domainname3.com 206.188.193.4
- Insertion domainname4.com 206.188.200.6

我尝试使用split()获取域名列表：

domainname1.com
domainname1.com
domainname2.com
domainname2.com
domainname3.com
domainname4.com
domainname5.com
domainname5.com

并删除通用域名，但我被迫从先前的列表中删除相应的字符串。

for line in change:
    name = line.split()
    domain_name = name[2]

我获取域名列表的方法（change是我的初始列表）。

谢谢

参考方案

获取唯一的主机名

您可以遍历各行，并且每次将域名添加到set，例如：

my_set = {line.split()[2] for line in change}
the_domains = list(my_set)

给定所有行都遵循该域为一个“单词”的格式，并且在该域之前有两个“单词”，这可以解决问题。

以上内容不保证订单会得到维护。如果这是必需的，则可以使用唯一性过滤器，例如：

def uniq(iterable):
    already = set()
    for x in iterable:
        if x not in already:
            yield x
            already.add(x)

然后我们可以像这样处理它：

the_domains = list(uniq(line.split()[2] for line in change))

获取具有唯一主机名的行

我们可以稍微概括一下uniq函数以允许一个关键参数，例如：

def uniq(iterable, key=lambda x: x):
    already = set()
    for x in iterable:
        fx = key(x)
        if fx not in already:
            yield x
            already.add(fx)

然后，我们可以使用以下几行来表示主机名：

the_domains = list(uniq(change, key=lambda line: line.split()[2]))

删除具有两次或两次以上主机名的行

我们还可以使用计数器删除主机名出现两次或两次以上的所有行：

from collections import Counter

def non_dup(iterable, key=lambda x: x):
    iterable = list(iterable)
    cntr = Counter(map(key, iterable))
    return filter(lambda x: cntr[key(x)] < 2, iterable)

然后我们过滤：

the_domains = list(non_dup(change, key=lambda line: line.split()[2]))

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…

Python:图像处理可产生皱纹纸效果 - python

也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢 参考方案 除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…

Python uuid4，如何限制唯一字符的长度 - python

在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

python:ConfigParser对象，然后再阅读一次 - python

场景：我有一个配置文件，其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。   配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数，因此我需要通过每个测试。现在，此配置文件由script(s1)调用，并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置，并且在每次测试完成后都会执行。阅读两次的要求：由于可能会…