如何“pip install”具有Git依赖项的软件包？ - python

我有一个名为some-library的私有库(实际名称已更改)，其安装文件如下所示:

setup(
    name='some-library',

    // Omitted some less important stuff here...

    install_requires=[
        'some-git-dependency',
        'another-git-dependency',
    ],
    dependency_links=[
        'git+ssh://[email protected]/my-organization/some-git-dependency.git#egg=some-git-dependency',
        'git+ssh://[email protected]/my-organization/another-git-dependency.git#egg=another-git-dependency',
    ],
)

所有这些Git依赖项可能都是私有的，因此installation via HTTP不是一个选择。我可以在python setup.py install的根目录中使用python setup.py develop和some-library，而不会出现问题。

但是，通过Git安装不起作用:

pip install -vvv -e 'git+ssh://[email protected]/my-organization/[email protected]#egg=some-library'

该命令在查找some-git-dependency时失败，错误地认为它需要从PyPI获取依赖项，然后在断定它不在PyPI上之后失败。我的第一个猜测是尝试使用--process-dependency-links重新运行该命令，但是这发生了:

   Cannot look at git URL git+ssh://[email protected]/my-organization/some-git-dependency.git#egg=some-git-dependency
   Could not find a version that satisfies the requirement some-git-dependency (from some-library) (from versions: )

为什么会产生这个模糊的错误？用gitt编码可能带有私有Git依赖关系的软件包的正确方法是什么？

参考方案

用pip安装可能带有私有Git依赖关系的软件包的正确方法是什么？

两种选择

就像使用dependency_links一样。有关详情，请参见下文。

在setup.py的dependency_links旁边，使用特殊的dependency-links.txt收集所有必需的软件包。然后将此包添加到requirements.txt中。这是我的recommendend选项，如下所述。

# dependency-links.txt
git+ssh://...@tag#egg=package-name1
git+ssh://...@tag#egg=package-name2
# requirements.txt (per deployed application)
-r dependency-links.txt

尽管选项2给程序包管理增加了一些额外的负担，即保持dependency-links.txt为最新，但它使安装程序包变得容易得多，因为您会忘记在--process-dependency-link上添加pip install选项。

也许更重要的是，使用dependency-links.txt，您可以指定要在部署中安装的确切版本，而这正是您希望在CI / CD环境中安装的版本，没有比安装某些版本更危险的了。但是，从软件包维护者的角度来看，指定最低版本(例如:

    # setup.py in a package
    ...
       install_requires = [ 'foo>1.0', ... ]

太好了，因为它可以使您的程序包与具有相似依赖性但可能在不同版本上的其他程序包很好地协作。但是，在已部署的应用程序中，如果程序包之间存在相互矛盾的要求，则仍然可能导致混乱。例如。软件包A可以使用foo>1.0，软件包B可以使用foo<=1.5，而最新版本是foo==2.0。您可以使用dependency-links.txt来具体化，对所有软件包应用一个版本:

    # dependency-links.txt
    foo==1.5

该命令在寻找某种git-dependency时失败，

为了使其工作，您需要添加--process-dependency-links给pip来识别对github的依赖关系，例如

pip install --process-dependency-links -r private-requirements.txt

请注意，由于pip 8.1.0，您可以将此选项添加到requirements.txt。不利的一面是，它适用于所有已安装的软件包，可能会带来意想不到的后果。就是说，我发现使用dependency-links.txt是一个更安全，更易管理的解决方案。

所有这些Git依赖项可能都是私有的

共有三个选项:

在每个必需软件包的存储库上添加协作者。这些协作者需要使用github设置其ssh密钥，才能正常工作。然后使用git+ssh://...

向每个存储库添加一个部署密钥。缺点是您需要将相应的私钥分发给所有需要部署的机器。再次使用git+ssh://...

在保存私有存储库的github帐户上添加个人访问令牌。然后，您可以使用git+https://[email protected]/...的缺点是，访问令牌将具有对相应github帐户上所有公共和私有存储库的读写访问权限。从正面看，不再需要分发和管理每个存储库的私钥，并且循环密钥要简单得多。在每个开发人员都可以访问所有存储库的内部环境中，我发现这对每个人都是最有效，最轻松的方式。 YMMV

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！参考方案您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…

Python:图像处理可产生皱纹纸效果 - python

也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢参考方案除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…

Python uuid4，如何限制唯一字符的长度 - python

在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。参考方案尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

python:ConfigParser对象，然后再阅读一次 - python

场景：我有一个配置文件，其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数，因此我需要通过每个测试。现在，此配置文件由script(s1)调用，并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置，并且在每次测试完成后都会执行。阅读两次的要求：由于可能会…

如何“pip install”具有Git依赖项的软件包？ - python

腾讯的同事天天给我安利让我看《三体》，说马化腾和雷军也在…