大叔经验分享(101)marathon反复重启
分享 经验 重启 101 大叔 反复
2023-09-14 09:00:07 时间
marathon反复重启
# systemctl status marathon ● marathon.service - Marathon Loaded: loaded (/usr/lib/systemd/system/marathon.service; enabled; vendor preset: disabled) Active: activating (auto-restart) (Result: exit-code) since Fri 2020-01-10 19:57:20 CST; 284ms ago Process: 9919 ExecStart=/usr/share/marathon/bin/marathon (code=exited, status=103) Process: 9916 ExecStartPre=/bin/chmod 755 /run/marathon (code=exited, status=0/SUCCESS) Process: 9913 ExecStartPre=/bin/chown marathon:marathon /run/marathon (code=exited, status=0/SUCCESS) Process: 9910 ExecStartPre=/bin/mkdir -p /run/marathon (code=exited, status=0/SUCCESS) Main PID: 9919 (code=exited, status=103)
通过journalctl查看日志如下:
Jan 10 19:20:53 test-002 marathon[26905]: [2020-01-10 19:20:53,773] ERROR abdicateLeadership was called (mesosphere.marathon.core.election.ElectionServiceImpl:scala-execut Jan 10 19:20:53 test-002 marathon[26905]: mesosphere.marathon.Exception: abdicateLeadership Jan 10 19:20:53 test-002 marathon[26905]: at mesosphere.marathon.core.election.ElectionServiceImpl.abdicateLeadership(ElectionService.scala:154) Jan 10 19:20:53 test-002 marathon[26905]: at mesosphere.marathon.MarathonSchedulerService.$anonfun$startLeadership$7(MarathonSchedulerService.scala:254) Jan 10 19:20:53 test-002 marathon[26905]: at mesosphere.marathon.MarathonSchedulerService.$anonfun$startLeadership$7$adapted(MarathonSchedulerService.scala:253) Jan 10 19:20:53 test-002 marathon[26905]: at scala.Option.foreach(Option.scala:257) Jan 10 19:20:53 test-002 marathon[26905]: at mesosphere.marathon.MarathonSchedulerService.$anonfun$startLeadership$6(MarathonSchedulerService.scala:253) Jan 10 19:20:53 test-002 marathon[26905]: at mesosphere.marathon.MarathonSchedulerService.$anonfun$startLeadership$6$adapted(MarathonSchedulerService.scala:240) Jan 10 19:20:53 test-002 marathon[26905]: at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:60) Jan 10 19:20:53 test-002 marathon[26905]: at java.util.concurrent.ForkJoinTask$RunnableExecuteAction.exec(ForkJoinTask.java:1402) Jan 10 19:20:53 test-002 marathon[26905]: at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) Jan 10 19:20:53 test-002 marathon[26905]: at java.util.concurrent.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1056) Jan 10 19:20:53 test-002 marathon[26905]: at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1692) Jan 10 19:20:53 test-002 marathon[26905]: at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)
检查mesos发现mesos异常,最终定位原因为zookeeper节点之间数据不同步,mesos在zookeeper上维护master leader信息
[zk: 192.168.0.1:2181(CONNECTED) 1] ls /mesos
[json.info_0000000114, log_replicas, json.info_0000000115]
这个数据不同步导致mesos找不到master,进而导致marathon异常,将有问题的zookeeper节点stop,清空数据目录后重启,数据一致后问题解决;
相关文章
- Xray使用的经验分享(xray+burp的使用[套娃测试])
- 经验分享 | HVV之windows应急笔记
- 基于SSM实现仿知乎微信小程序分享
- 大厂不是衡量能力的唯一出路,上财学姐毕业三年的经验分享
- Audition分享经验--安装方法-全版本
- LeCun力荐!哈佛博士分享用GPT-4搞科研,细到每个工作流程
- Oracle中获取会话信息的两个函数分享
- 失败Linux邮件服务器启动异常:排查经验分享(linux邮件服务器启动)
- 开发技术的宝藏:Linux 资源分享(资源linux)
- Facebook公布新策略:将掩盖掉那些经常分享虚假信息的用户
- 「开源」Linux环境下的精华,知识分享工具(linux知识管理工具)
- 易语言操控MSSQL数据库源码分享(易语言mssql 源码)
- Oracle 大事务查询:提高数据库效率的技巧与经验分享(oracle大事务查询)
- MSSQL查询30天内数据实操经验分享(mssql查询30天数据)
- 解决redis连接失败经验分享(获取redis连接失败)
- Oracle三级项目实施经验分享(oracle三级项目实例)
- 基于Oracle AS的使用经验分享(oracle as 使用)
- ASP.NET中等安全模式的一些经验分享
- Asp.net中断点续传的原理与实现方法分享
- apache和php之间协同工作的配置经验分享
- 使用JSLint提高JS代码质量方法分享
- java实现优酷视频地址解析示例代码分享
- Python操作列表的常用方法分享