跳到主要内容
分享您的经验：参加2024年开发商调查

标记为[google-cloud-dataflow]的问题

提出问题

谷歌云数据流是一个完全管理的云服务，用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。云数据流是谷歌云平台的一部分。

谷歌云数据流
5,525问题
最新的 活动 被收买的 1 未答复
筛选依据
排序依据
标记为
0 投票
0 答案
20 意见

RuntimeError:管道构造环境和管道运行时环境不兼容

RuntimeError:管道构造环境和管道运行时环境不兼容。如果使用自定义容器映像，请检查Python解释器次要版本和Apache。。。
ShubhGurukul的用户头像
舒布古鲁库尔
  • 11
0 投票
0 答案
35 意见

运行数据流Flex模板并提供Requirements.txt NewConnectionError时，包-r的Pip安装失败

启动数据流模板后出现以下错误-代码执行开始，管道图生成开始后，出现以下错误👇👇“subprocess.CalledProcessError:命令'['/usr/。。。
ShubhGurukul的用户头像
ShubhGurukul公司
  • 11
0 投票
0 答案
21 意见

梁+WindowInto+GroupByKey

我已经面临这个问题一个多月了，我搜索了整个网站来寻找解决方案，但我做不到。我的管道配置如下：流管道，Python 3.11 SDK 2.56。。。。
no-stale-reads的用户头像
无标签
  • 308
1 投票
0 答案
30 意见

如何为禁用云NAT且无法使用自定义容器的数据流指定python依赖版本

我正在运行Python Datalfow作业，并从Gitlab将数据流模板部署到gcs。当我将python模板部署到gcs时，我使用了--requirements_file=requirement.txt。云NAT被禁用。。。
Ananth的用户头像
阿南斯
  • 119
0 投票
0 答案
9 意见

从一个Bigquery项目读取数据并写入另一个Bigquery项目的云数据流

我正在GCP上实现一个云数据流作业，需要处理2个GCP项目。输入和输出都是Bigquery表。我现在面临的问题是，我必须从项目中读取数据。。。
阿鲁的用户头像
阿鲁
  • 11
0 投票
0 答案
26 意见

gcloud列表数据流作业成本

您好，这可能是个愚蠢的问题，但我还没有找到答案，目前我需要执行命令来列出如下数据流作业gcloud数据流作业列表--状态=已完成--限制=。。。
lifetolearn22的用户头像
终身收入22
  • 95
0 投票
0 答案
13 意见

Azure Synapse分析数据流未连接到Azure存储容器[已关闭]

我正在从Azure数据湖存储中提取数据。Azure Synapse Analytics具有对数据湖的“存储blob数据贡献器”访问权限。我参数化的容器和文件名显示在。。。
用户25234742的用户头像
用户25234742
  • 1
0 投票
0 答案
16 意见

使用Apache Beam在JDBC服务器上执行DDL命令

我有一个用例，其中必须截断远程SQL服务器，然后必须使用Google Dataflow加载数据。使用WriteToJDBC模块，我可以在sql服务器中插入记录，但如何。。。
Aym的用户头像
艾姆
  • 95
0 投票
0 答案
7 意见

Apache Beam：修改原始输入可能出现的问题

在使用DirectTestRunner使用Apache Beam测试管道创建测试时，我们收到以下错误。需要克隆和编辑原始对象才能解决问题：IllegalMutationException。。。
mattsmith5的用户头像
马特史密斯5
  • 868
0 投票
0 答案
18 意见

如何创建在创建模板时可以绕过Oracle数据库连接的数据流模板？

我的要求是从数据流连接到Oracle OnPrem数据库，读取数据并存储在GCS上。为此，我使用了python脚本。我正在通过git操作创建数据流经典模板。。。
Kunal的用户头像
库纳尔
  • 11
0 投票
0 答案
9 意见

尝试从带有时间戳的PCollection<Row>行记录窗口中获取最新记录时，Apache Beam转换“Latest.CombineFn（）”失败

我有一个非常简单的用例我有一个带时间戳的窗口PCollection，我正在应用以下转换Group.byFieldNames（“field1”，“field2”）.aggregateField（“。。。
Ritesh Tarway的用户头像
Ritesh Tarway公司
  • 1
0 投票
1 回答
20 意见

缓慢更新侧面输入和会话窗口-未按预期替换转换节点AppliedPTransform

在我的apache-beam流管道中，我有一个用于会话窗口的无限发布/订阅源。我需要将一些有界配置数据传递到一些DoFn中。。。
托马斯·W的用户头像
托马斯·W·。
  • 376
0 投票
0 答案
101 意见

如何调试finish_bundle未在谷歌云数据流上调用？

这是我在数据流中使用的main和transform的代码：#主.py使用管道（选项=选项）作为管道：_ = (管道|“读取输入文件（&E）。。。
David Reis的用户头像
大卫·雷斯
  • 1
-1 投票
0 答案
14 意见

Apache Beam Unit测试，跳过设置过程

当运行Apache Beam单元测试时，有没有任何方法可以跳过管道的设置部分？或者在安装程序运行后添加拦截方法？我们在下面审查这些资源@测试@...
mattsmith5的用户头像
马特史密斯5
  • 868
0 投票
0 答案
13 意见

数据流中的NullPointerException：从MongoDB导入

我正在尝试创建数据流作业，将数据从MongoDB导入到BigQuery。不幸的是，抛出了一个NullPointerException，我不知道为什么。我使用flex模板。错误消息：根目录。。。
Mateusz的用户头像
马特乌斯
  • 1

15 30 50 每页
1
2 三 4 5
…
369