腾讯云 Serverless 云函数实现 CKafka 数据转存到 ES

scf10cent：

原文首发于 Serverless 中文网

---

背景介绍

腾讯云 Serverless 云函数是下一代通用计算平台，提供安全稳定、高效易用的低成本无服务器运行环境。随着 Kafka 社区的繁荣，越来越多的用户开始使用 Kafka 来做日志收集、大数据分析、流式数据处理等。而公有云上的产品 Ckafka 也借助了开源社区的力量，做了很多优化：

• 基于 ApacheKafka 的分布式、高可扩展、高吞吐
• 100% 兼容 Apache KafkaAPI （ 0.9 及 0.10 ）
• 无需部署，直接使用 Kafka 所有功能
• Ckafka 封装所有集群细节，无需用户运维
• 支持动态升降实例配置，按照需求付费（开发中）
• 对消息引擎优化，性能比社区最高提升 50%

同时，在公有云上，云函数也和 CKafka 做了深度联动，并推出了很多非常实用的功能。

运行原理

如下图，云函数可以实时消费 Ckafka 中的消息，比如做数据转存、日志清洗、实时消费等。并且，像数据转存的功能已经集成到了 Ckafka 的控制台上，用户可以一键开启使用，大大降低了用户使用的复杂度。

方案优势

对比使用云主机自建 Ckafka Consumer 的方式，云函数帮用户屏蔽掉了很多不必要的开销：

1. 云函数控制台上可以一键开启 Ckafka 触发器，帮助用户自动创建 Consumer，并由云函数平台来维护组建的高可用；
2. Ckafka 触发器自身支持很多实用的配置：支持配置 offset 位置、支持配置 1~1 万消息聚合条数、支持配置 1~1 万次重试次数等；
3. 基于云函数开发的业务逻辑，天然支持弹性伸缩，无需额外搭建和维护服务器集群等。

常用场景

如下图所示，借助云函数和 Ckafka 触发器，可以非常方便实现 CKafka 消息转存到 COS 、ES 、DB 等，那本次也会借助云函数来替代 Logstash，实现 Ckafka 消息罗盘 ES 。

和使用 CVM 自建 Logstash 对比，云函数有以下优势：

1. 云函数自带 Consumer 组件，可自行聚合；
2. 云函数的模板函数已经实现了消息聚合和部分清洗能力，还可自行扩展；
3. 云函数集群自带高可用和监控日志能力，业务上线速度更快；
4. 云函数采用按实际使用收费，比自建集群费用更优，可以节省 50% 的费用。

部署流程

前置条件（以广州地域为例）：

• 开启 Elasticsearch 服务
• 开启 Ckafka 服务

1. 创建云函数

登录云函数控制台，选择地域后，新建函数，选择运行环境 Python3.6，搜索「 Ckafka 」，选中模板函数后，下一步。

在下一步中，点开高级设置：配置环境变量，如下：

必填参数：ES_Address, ES_User, ES_Password, ES_Index_KeyWord

可选填入：

• ES_Log_IgnoreWord（需要删除的关键词，缺省则全量写入，如填 name, password）
• ES_Index_TimeFormat（按照天或者小时设置 Index，缺省则按照天建立索引，如填 hour）

在高级设置中，配置私有网络，需要选择和 ES 相同 VPC，完成函数创建。

2. 创建 Ckafka 触发器

在函数的 [触发管理] 页面，创建触发器，配置对应 Topic 的触发方式，提交后即可生效。

3. 查看 ES 和函数运行日志

查看函数运行日志

查看 Kibana

扩展能力介绍

如果想要实现高级日志清洗逻辑，可直接在函数代码中修改逻辑。

针对函数的运行状态，可以自行配置监控告警，实时感知业务运行情况。

腾讯云对象储存是个好网盘

liuzhiyong：数据量不大，一二十 G 吧。以前用移动硬盘，然后发现这东西可靠性不行，有文件拷贝出错了。事情可控，因为我有好几个移动硬盘，重复备份。然后对象储存那 N 个九的可靠性，吸引了我。也花不了几个钱，图个安心。常规网盘，例如百度的，不在考虑范围。用了多少资源，就付费多少钱，云服务似乎更靠谱。不用阿里云，仅仅是因为长期用腾讯云，好几年吧，没有一次…

谷歌云真是太香了……

foMM：注册用户不需要信用卡就有 300 的 credit 和一年的有效期，无论拿来学习还是自用都不错。先不说文档和易用性，只说 CDN 的速度，在国内访问竟然也相当的迅速。对比一下国内的什么套路云，华为云，腾讯云简直就是笑话……华为云不对全球用户开放，选择香港地区注册即使想要绑定信用卡尝试免费额度还需要香港电话。套路云和腾讯云就不说了，感觉根本无意竞争国…

我可以在普通VM上部署Azure功能吗？ - c#

客户端希望将来使用云，但是我想开始使用Azure Functions（本地使用func.exe）来从事新开发人员的工作。有没有一种方法可以将azure函数代码部署到运行普通IIS（而不是Azure本身）的普通VM并使它在Prod上运行？当客户端继续执行任务时，这将使进入Azure变得容​​易吗？ 参考方案 也许Azure Functions Runtime可…

有没有一种简单的方法可以从PHP的国家/地区代码中获取语言代码 - php

我正在使用ISO 3166-1-alpha 2代码传递给应用程序以检索本地供稿，例如/ feeds / us（美国）。我有一个switch语句，该语句根据该country_code提供供稿。有没有办法将该两位数字代码转换为语言代码，例如en_US？我想知道是否有标准的/函数/库在PHP中执行此操作，或者是否需要构建自己的数组？ 参考方案 正如其他人指出的那样…