关于 python:使用 AWS Lambda / CloudFormation 转换 AWS Kinesis Firehose 中的数据 | 珊瑚贝

Transforming data in AWS Kinesis Firehose with AWS Lambda / CloudFormation


我在 AWS 博客上找到了本指南,其中举例说明了我正在尝试完成的工作。我目前有一个看起来像 Kinesis Stream –> Kinesis Firehose –> S3 存储桶的工作流,我想引入一个 Lambda,我可以在其中转换数据,然后再到达最终目的地。

首先,Lambda 蓝图的链接不适用于该文章。也不是 Firehose 中数据转换的官方文档。有人有这个案例的可用 Python 蓝图吗?

其次,该指南显示,在 AWS 控制台中创建 Firehose 传输流时,Lambda 中有一个”启用”数据转换选项。但是,我在 CloudFormation 文档中看不到任何 AWS::KinesisFirehose::DeliveryStream 的属性可以完成同样的事情。如何在我的 CloudFormation 模板中启用此功能?

谢谢!


对于 CF 问题,您关注的是 ExtendedS3DestinationConfiguration,更具体地说是 ProcessingConfiguration

这是一个简单的python处理器

  • ExtendedS3DestinationConfiguration 中的 ProcessingConfiguration 不能包含在 RedshiftDestinationConfiguration 下。
  • 好吧,是的,当您指示 Redshift 时配置 S3 是没有意义的。


来源:https://www.codenong.com/48409989/

微信公众号
手机浏览(小程序)

Warning: get_headers(): SSL operation failed with code 1. OpenSSL Error messages: error:14090086:SSL routines:ssl3_get_server_certificate:certificate verify failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(): Failed to enable crypto in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57

Warning: get_headers(https://static.shanhubei.com/qrcode/qrcode_viewid_9325.jpg): failed to open stream: operation failed in /mydata/web/wwwshanhubei/web/wp-content/themes/shanhuke/single.php on line 57
0
分享到:
没有账号? 忘记密码?