更新时间:2025-05-22 GMT+08:00
分享

正式切换

正式切换的组织、准备和角色分工同切换演练基本一致,这里不再重复介绍。切换实施时,按照正式切换Runbook执行。不同业务系统的切换方案不同,对应的切换Runbook步骤也会不同,下面Runbook切换步骤仅供参考:

  1. 切换前准备和检查

    正式切换前,先要按照Runbook Check List做切换前准备和检查,不同业务系统的切换Runbook准备和检查步骤会有所不同,下面步骤仅供参考:

    表1 切换前准备和检查项

    大类

    前置工作项

    责任部门

    活动

    是否涉及

    是否完成

    组织和保障准备

    确定停机切换窗口

    企业项目经理

    确定停机切换窗口为:X月X日X时X分开始

    确认停机公告图片和话术

    企业项目经理

    确认停机公告图片和话术已更新为最新版本

    通知相关人员发布官网公告

    企业项目经理

    邮件发送通知相关人员进行官网公告发布

    预约会议作战室

    企业项目经理

    会议室布置安排

    切换相关人员通知和核对

    企业项目经理

    确认切换参与人员是否可以出席

    企业项目经理

    第三方配合切换当晚参与人员和联系方式确定

    企业项目经理

    停服切换期间,运营中心值班人员就位

    企业内部发送内部通知

    企业项目经理

    切换通知群名:XX项目切换群

    云厂家建立后端保障团队

    云厂家项目经理

    云厂家建立和客户的联合切换保障团队

    云厂家单独拉通后端运维和研发组建保障群

    第三方/业态影响沟通和提醒

    第三方/业态提前通知项

    企业项目经理

    分别与业态沟通停机影响和应对方案

    运维团队

    对于第三方调用固定IP地址的情况,确认配置修改详细步骤

    环境清单核对

    确定发版暂停的截至日期

    研发团队

    确定发版暂停的截至日期

    应用清单检查并刷新启停脚本

    研发团队

    研发人员Check上云应用清单

    JOB清单检查并刷新脚本

    研发团队

    Check最新的job清单

    研发团队

    检查脚本中的清单是否是最新的

    环境(源端、目的端、迁移任务、执行脚本)检查

    云服务基础检查项

    运维团队

    确认运维提供的测试wifi是否已准备就绪

    运维团队

    检查华为云专线同步带宽使用是否有超带宽的告警

    运维团队

    云厂家后端保障人员进行日常状态检查

    运维团队

    云服务高可性检查,确认目标端云资源是否存在单AZ或单点故障问题

    数据库检查项

    数据库相关

    检查华为云数据库端口是否和生产保持一致

    数据库相关

    检查NTP时钟设置是否一致

    数据库相关

    检查中间件Redis数据迁移任务状态正常,无异常报错或告警(包含回退任务)

    数据库相关

    检查DRS-mysql数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务),数据动态比对任务配置完成

    数据库相关

    检查DRS-mongodb数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务)

    数据库相关

    检查MySQL数据库源和目的端字符集是否一致

    数据库相关

    数据库确认源端和目的端库用户一致

    周边系统配合检查项

    大数据相关

    修改大数据抽数的数据库地址为IDC备库地址

    执行脚本检查

    运维团队

    应用服务启动脚本放在执行机

    运维团队

    应用心跳检查脚本放在执行机

    日志系统检查

    运维团队

    检查ELK日志平台,是否能承受大量应用启动时产生的大量日志

    告警监控系统检查

    运维团队

    监控系统是否正常

    磁盘无用信息清理

    运维团队

    生产环境检查磁盘使用情况,提前执行脚本批量清理磁盘

    操作指导书、工具、终端和登陆平台准备

    通知全员更新到最新的Runbook

    项目经理

    同步最新生产Runbook地址给切换全员(包含业态人员)

    相关人员准备

    项目经理

    人员最后一次熟悉整体切换流程以及各自操作指导

    相关人员操作权限检查

    ALL

    人员登录操作环境检查操作权限(登录系统,OS,操作界面等)

    测试团队

    ITSM是否可以正常登录?是否可以正常记录上云项目的问题?

    ALL

    登录批处理任务平台后检查当天操作人员是否有操作执行器的权限

    操作终端检查

    ALL

    具体到人,割接、演练前一晚必须确保笔记本,环境等无异常(DBA单独一根网线,提前准备好大交换机)

    测试客户端检查

    测试团队

    测试人员清理客户端以及浏览器缓存

  1. Runbook切换操作

    完成切换前准备和检查后,企业就可以按照Runbook中的计划和步骤进行正式切换了,每个任务都要严格按照Runbook中的操作命令进行操作,不同业务系统对应的切换Runbook步骤会有不同,下面步骤仅供参考,注意步骤顺序标号一致的表示是并行执行。

    如果批处理任务较多,切换时间窗有限,可根据优先级分批次进行启动。

    表2 切换操作步骤样例

    任务

    步骤顺序

    子任务

    源端业务流量转发至维护公告页面

    1.1

    变更CMDB业务状态为维护中

    1.2

    外部访问流量转发至维护公告页面

    停止源端定时任务

    2.1

    停止源端的定时任务

    2.1

    停止源端的数据库定时任务

    停止源端应用服务及配置中心

    3.1

    停止源端应用服务(xxx个)

    3.1

    停止源端配置中心

    消息队列数据迁移

    4.1

    消息队列MQ数据迁移

    4.2

    等待&确认kafka消费完成

    确认源端的数据层数据静止

    5.1

    确认源端的redis数据静止

    5.1

    确认源端的MySQL数据静止

    5.1

    确认源端的MongoDB数据静止

    数据一致性对比

    6.1

    redis数据一致性对比、停止同步任务

    6.1

    MongoDB数据一致性对比、停止同步任务

    6.1

    MySQL 数据一致性对比、停止同步任务

    修改数据层的DNS内网域名解析

    7.1

    修改应用间访问的内部域名-》华为云上应用实例

    7.1

    修改目的端redis的内网域名-》华为云实例IP

    7.1

    修改目的端的MySQL的内网域名-》华为云实例IP

    7.1

    修改目的端MongoDB的内网域名-》华为云实例IP

    7.1

    修改目的端消息队列MQ的内网域名-》华为云实例IP

    7.1

    修改目的端Kafka的内网域名-》华为云实例IP

    启动配置中心、定时任务调度服务、JOB注册、开启kafka消费开关

    8.1

    启动配置中心

    8.2

    启动定时任务调度服务

    8.3

    批量发布配置中心配置(执行JOB注册)

    8.3

    批量发布配置中心配置(开启kafka的消费开关)

    8.4

    检查阿配置中心和定时任务调度服务的开关是否正确

    内网停机公告撤销&启动目的端应用&检查

    9.1

    启动目标端消息队列MQ

    9.2

    启动目的端应用服务(xxx个服务)

    9.3

    心跳检查

    9.4

    基础业务检查

    9.5

    内网维护公告页面下线

    启动目的端的数据库定时任务和优先级最高的定时任务)

    10.1

    启动数据库定时任务

    10.1

    启动目的端第一批批处理任务

    主流程测试(P0用例)

    11.1

    主流程测试(P0用例)

    • 进行验证测试,确保应用程序在目标云环境中正常运行。
    • 验证核心功能和关键业务流程,确保与迁移前一致。
    • 监测日志和指标,确保系统运行情况正常。

    外网停机公告撤销

    12.1

    外网维护公告页面下线

    启动目的端第二批批处理任务

    13.1

    启动目的端第二批批处理任务

    13.2

    P1业务验证

    (启动JOB后,P1用例验证)

    14.1

    验证目的端业务功能

    启动目的端第三批批处理任务

    15.1

    启动目的端第三批批处理任务

    启动目的端第二批批处理任务

    13.1

    启动目的端第二批批处理任务

相关文档

    OSZAR »