跳到主要内容

所有问题

提出问题
标记为
7问题
最新的 活动 被收买的 未答复
筛选依据
排序依据
标记为
0 投票
1 回答
108 意见

Avro上的数组数据类型和BQ上的REPEATED类型的PubSub到BQ订阅

Avro模式使用以下架构创建的Pubsub架构。{“namespace”：“model”，“name”：“点”，“type”：“记录”，“字段”：。。。
SRJ的用户头像
SRJ公司
  • 2,506
1 投票
1 回答
899 意见

Java中使用Apache Beam的Kafka Avro To BigQuery

以下是场景：使用Apache Beam的Kafka To BigQuery。这是使用Kafka Connect替代BigQuerySinkConnector[WePay]的方法。我已经能够阅读卡夫卡主题中的Avro信息。我是。。。
齐卡登的用户头像
齐卡登
  • 21
0 投票
1 回答
1公里 意见

如何使用Java将Avro模式发送到GCP BigQuery？

我正在尝试使用Java 11和Spring 2将avro模式发送到GCP BigQuery。我研究了很多信息，但没有找到一个如何以如下格式发送avro文件模式的示例：{"...
invzbl3的用户头像
invzbl3公司
  • 6,250
0 投票
0 答案
176 意见

如何使用Java API将Avro文件中的非可选值仅插入BigQuery表

以下是我的Avro模式：{“namespace”：“example.gcp”，“type”：“记录”，“name”：“客户端”，“字段”：[{“名称和。。。
Ruslan Kotenko的用户头像
鲁斯兰·科滕科
  • 5
三 投票
1 回答
407 意见

BQ加载具有不同模式的Avro文件，仅添加字段

上下文：我们有一个数据流作业，它将Avro文件写入GCS，模式每周更改（仅限字段添加）。这意味着，在GCS前缀下，我们有一组不同的Avro文件。。。
天语郎的用户头像
天宇郎
  • 51
1 投票
1 回答
1公里 意见

从BigQuery读取数据并将其写入云存储上的avro文件格式

我的目标是使用Java从BigQuery表中读取数据并将其写入云存储上的Avro文件。如果有人提供代码片段/想法来编写BigQuery表数据和。。。
考斯图布·古尔（Kaustubh Ghole）的用户头像
考斯图布·古尔
  • 567
1 投票
1 回答
4公里 意见

Avro GenericRecords、BigQuery和Beam

我必须编写一些从BigQuery读取的一次性Beam/Dataflow管道，提取两个字段，然后将它们写在其他地方。而不是尝试基于BigQuery设置自动生成的Avro代码。。。
David Adrian的用户头像
大卫·阿德里安
  • 1,099