场景: 从 kafka 消费原始报文,做简单的数据抽取,并把原文存储到 doris 表中
表结构:
routine load 配置
CREATE ROUTINE LOAD xxx.yyy
ON zzz
COLUMNS (
k1 ,
k2 ,
packet
)
PROPERTIES
(
"format" = "json",
"jsonpaths"="[\"$.k1\",\"$.k2\",\"$\"]",
"max_batch_rows"="1000000",
"max_batch_size"="104857600",
"max_filter_ratio"="0.5",
"max_error_number" = "1000",
"strict_mode" = "true"
)
FROM KAFKA
(
"kafka_broker_list" = "xxx",
"kafka_topic" = "xxx",
"property.kafka_default_offsets" = "OFFSET_BEGINNING",
"property.group.id" = "doris-routine"
)
COMMENT "报文导入";
如果把 jsonpaths 改为"["$.k1","$.k2"]" 就能正常写入数据
但是业务场景需要将 kafka 消息原文进行存储,请问大佬应该如何处理
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.