1.混沌产生1.1混沌学科的产生在讲混沌之前，我们可以先思考一下混沌、混沌工程和我们线上服务之间的关联。我们经常听到的故事是，一只在亚马逊河流中的蝴蝶，煽动了几下翅膀，就能在美国引起一场龙卷风。这个故事背后隐藏着一个重要的学科，那就混沌。早在20世纪60年代，洛伦兹就发...(more)

横看成岭侧成峰，远近高低各不同。不同的视角得出的结论可能是不同的，所以概念也总是层出不穷。在讨论一个问题的时候，往往会涉及很多的方面的概念和知识，一些概念是相似的、相互关联的、甚至是重叠的。理解这些概念之间的关系和联系，有助于我们更好的探讨和解决遇到的实际问题...(more)

混沌工程实践指南-线程安全性#痛点与挑战从早年间，笔者多次碰到到线程安全性问题导致生产问题，曾经有一次某大行征信数据报送出现部分数据异常，影响第二天开门营业生产问题，经过原因定位为当两个或多个线程同时访问同一个Servlet时，发生多个线程同时访问同一资源的情况，数据后...(more)

混沌是一种模糊不清的状态。混沌工程描述一种在对企业IT模糊不清的认知环境下持续探索、通过对可能影响稳定性的因子的改变来检测其影响、并通过相应的方式来消除或降低影响，从而使系统面对异常时具备韧性的系统性工作。也就是需要不断地探索和深入了解存在的系统环境，在混...(more)

1.实验背景1.1.什么是高可用高可用性HA（HighAvailability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。实现HA的方式，一般采用两台或者多台机器同时...(more)

前些年，某银行核心系统服务中断4小时20分钟，事件经过是这样的：当日上午11时，某全国性股份制银行数据库故障导致核心系统服务中断，全国范围内所有业务无法办理，至15点20分业务恢复正常，影响业务时间4小时20分钟。停机事件发生后，银行立即联系数据库厂商赶赴现场服务，厂商技术工程师...(more)

一、测试目的及背景说明   2021年7月14日凌晨，B站发布消息称，昨晚，B站的部分服务器机房发生故障，造成无法访问。登上热搜之外，豆瓣、A站疑似也出现了无法正常访问的现象，抛开故障导致商业损失外，这些故障都可以成为热门话题。按照Netflix的定义，混沌工程是在分布式系统上进行...(more)

一、混沌工程目的及背景说明      随着分布式系统日益庞大、服务间的依赖错综复杂且很难评估单个服务故障对整个系统的影响，并且请求链路长、监控告警不完善导致发现问题、定位问题难度增大，同时业务和技术迭代快，如何持续保障系统的稳定性受到很大的挑战。最近生产环...(more)

本篇是《数智万物下的运维思考》第3部分“流程”第3章的“故障管理中的事前管理”的部分内容。主要梳理一下最近行业中比较火的混沌工程，本文简单先从以下5个方面介绍一下我对混沌工程的理解：混沌工程在故障管理闭环中的角色；从混沌角度看混沌工程的关注点；他山之石；混沌工程...(more)

摘要：混沌工程在IT行业属于一门新兴的技术学科，大多数IT公司对它的理解还没有上升到一个领域概念，在金融行业的探索实践更少。某券商在IT系统的研发运维、质量管理、应急管理等方面积累了多年的经验，在此基础上，我们开发了一款遵循混沌工程实验原理的产品-故障演练平台（HTChaos...(more)