来个 doris 大神,咨询一下 ROUTINE LOAD 的问题

74 天前
 dreamxj001
CREATE ROUTINE LOAD xxx.yyy
ON zzz
COLUMNS (
    k1 ,
    k2 ,
    packet
)
PROPERTIES
(
    "format" = "json",
    "jsonpaths"="[\"$.k1\",\"$.k2\",\"$\"]",
    "max_batch_rows"="1000000",
    "max_batch_size"="104857600",
    "max_filter_ratio"="0.5",
    "max_error_number" = "1000",
    "strict_mode" = "true"
)
FROM KAFKA
(
    "kafka_broker_list" = "xxx",
    "kafka_topic" = "xxx",
    "property.kafka_default_offsets" = "OFFSET_BEGINNING",
    "property.group.id" = "doris-routine"
)
COMMENT "报文导入";

如果把 jsonpaths 改为"["$.k1","$.k2"]" 就能正常写入数据

但是业务场景需要将 kafka 消息原文进行存储,请问大佬应该如何处理

690 次点击
所在节点    问与答
2 条回复
dreamxj001
74 天前
消息报文结构是:
dreamxj001
74 天前
@dreamxj001 {"k1":"111", "k2":"222", "k3":"333",.....}

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1092844

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX