通过文本单词列表或csv批量检查我的s3存储桶权限 - python

因此,我正在审核s3存储桶的工作。我可以通过awscli手动检查存储桶权限:

aws s3 ls s3://bucketname

或使用boto3通过Python:

# list 1st 1000 objects (which I like if it is readable so I can 
#assess risk quickly on larger buckets)
from boto3 import client
bucket_name = input("enter the bucket name")
connection = client('s3')  
for key in connection.list_objects_v2(Bucket=bucket_name)['Contents']:
    print(key['Key'])  

我的问题是,如何使用Python读取存储桶列表(超过100个),并检查它们是否可公开读取。我应该在审核时提及以一种检查权限的方式使用虚拟aws帐户。

我在想类似

bucketlist = open('buckets.txt', 'r')

现在,我可以轻松打印出该列表,但是对每一行运行该函数,却一无所获。如何使用awscli方法或Python boto3方法检查存储桶权限?

参考方案

您可以使用上下文管理器打开文本文件,将每一行作为列表加载,然后遍历所有存储桶名称。然后,定义一个自定义函数来检查权限-这将取决于情况,但是我在下面提供了一些建议和boto文档链接。

您只需稍作修改即可使用上面的代码。 (请注意,这假设您文件的每一行都有一个存储桶名称。)

from boto3 import client

def check_bucket_permissions(client, bucket):
    """Function to check bucket permissions.
    What you do here depends on what you want to check.
    Examples given below."""
    pass

# get a list of bucket names (strings)
with open('buckets.txt', 'r') as f:
    bucket_names = f.readlines()

# check each bucket
connection = client('s3')
for bucket_name in bucket_names:
    check_bucket_permissions(client, bucket_name)

对于check_bucket_permissions()函数,您有几种选择,具体取决于要查找的信息。检查谁可以访问存储桶的两种方法是(1)检查策略,以及(2)检查访问权限/访问控制列表。

This AWS blog post提供了有关IAM策略,存储桶策略和存储桶访问控制列表的背景知识,但简短的版本是:

存储桶策略是一个附加到存储桶本身的IAM策略文档,它为以下类型的主体(用户/组/角色)可以访问存储桶的资源以及允许他们采取何种操作(读取,写等)
IAM策略文档也可以附加到主体(用户/组/角色),并且该策略文档可以为可以访问哪些类型的资源(例如存储桶)以及允许它们采取何种操作设置规则。
存储桶ACL(访问控制列表)是一种指定存储桶权限的较旧方法(AWS建议使用上述IAM方法)。 ACL附加到存储桶,并定义可以访问该存储桶的主体(用户/组/角色)以及它们具有的访问类型。

如果您使用经典的IAM策略方法,则可以使用get_bucket_policy() method检查哪些IAM策略文档适用于存储桶:

def check_bucket_permissions(client, bucket):
    policy_doc = client.get_bucket_policy(Bucket=bucket)
    # parse policy_doc, print or record the result
    return

如果没有存储桶策略,则会出现botocore.exceptions.ClientError: An error occurred (NoSuchBucketPolicy) when calling the GetBucketPolicy operation: The bucket policy does not exist错误。

如果要检查存储桶ACL,可以使用get_bucket_acl() method而不是get_bucket_policy()方法:

def check_bucket_permissions(client, bucket):
    acl = client.get_bucket_acl(Bucket=bucket)
    # parse ACL, print or record the result
    return

有关每种方法的示例JSON响应,请参考文档,以了解如何解析返回的结果。

R'relaimpo'软件包的Python端口 - python

我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。

Python:传递记录器是个好主意吗? - python

我的Web服务器的API日志如下:started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求,我为每个请求创建了一个随机数,并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…

Python-Excel导出 - python

我有以下代码:import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

Python:如何根据另一列元素明智地查找一列中的空单元格计数? - python

df = pd.DataFrame({'user': ['Bob', 'Jane', 'Alice','Jane', 'Alice','Bob', 'Alice'], 'income…