标签：apache-beam
-
Apache Beam with Python:如何在会话窗口中计算最小值并将其应用于所有相关的PCollections - python
我正在使用Apache Beam的Python SDK来处理字典，这些字典代表着流分析命中率。由于会话窗口的缘故，命中次数得以汇总。我的DataFlow真正要做的就是应用这些会话窗口，并将会话ID分配给所有相关的匹配。 作为会话ID，我已经确定我将使用首次匹配的时间戳（结合每个用户的Cookie ID）。这是我的管道： msgs = p | 'Re […]
-
处理Apache Beam框架时，Python和Java有什么区别？ - java
在编写我的Apache Beam管道时，我使用python。我注意到了一些限制，例如处理最新数据等。我想知道与Java相比是否还有其他限制或优势 参考方案 从2019年秋季开始，我们可以考虑使用python SDK提供Java功能的子集。 您可以使用的I / O转换更少（与其他系统，数据存储，消息队列等集成的可能性）。该文档在此处提供了Java vs pyt […]