V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Curiosity777
V2EX  ›  Java

请教关于 flink 任务的问题

  •  
  •   Curiosity777 · 5 天前 · 584 次点击
    1. 刚入门 flink ,目前测试了单机部署,发现集群重启后,提交的任务都丢失了,想要恢复任务的话,需要手动指定 savepoint ,请问大佬们,flink 任务能持久化么,如果集群意外重启了,能否自动从 checkpoint 恢复任务呢。

    2. 是不是 flink 本身不支持这种功能,需要靠三方软件来实现呢

    5 条回复    2025-01-20 09:16:53 +08:00
    smartruid
        1
    smartruid  
       5 天前
    集群挂了没法自动恢复 job
    liprais
        2
    liprais  
       5 天前
    用 resource provider (k8s /yarn )都行,再加上 jobmanager ha,基本能扛住节点意外重启的问题
    集群挂了老天爷来了也没用
    jyq711
        3
    jyq711  
       4 天前
    蹲一个大佬
    Curiosity777
        4
    Curiosity777  
    OP
       2 天前
    @smartruid 只能一个个的手动恢复吗
    Curiosity777
        5
    Curiosity777  
    OP
       2 天前
    @liprais 主要是公司服务器经常搞迁移,但是不怕挂,停机迁移,很难受
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1045 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 19:03 · PVG 03:03 · LAX 11:03 · JFK 14:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.