1998年,皮克斯遭遇灾难。一个错误输入的命令 — rm -rf / — 开始将《玩具总动员2》从存在中抹去。一个角色接一个角色,一个场景接一个场景,这部花了一年时间制作的电影在几秒钟内消失了。团队难以置信地看着胡迪的帽子、巴斯的翅膀和整个场景在他们眼前消失。当工程师们急忙恢复备份时,他们发现了更糟糕的情况 — 备份系统在几周前就已经悄悄失效了。作为IT专业人员,我们都曾经历过类似情况,但我们能从中学到什么,并让巴斯准时到达他的飞船呢?
这个"核心记忆"发生在1998年,皮克斯联合创始人埃德·卡特穆尔在他的书《创造力公司》中回忆了这件事。故事开始于一位不幸的、未具名的皮克斯员工,他在内部服务器上进行例行文件清理时,不小心在《玩具总动员2》的根文件夹上输入了删除命令...这可不是什么好消息。这个"更新简历事件"导致角色模型和资产消失,文件服务器很快被关闭。
\ 不幸的是,到那时,《玩具总动员2》约90%的工作成果已经消失,而且续集的备份系统也有大约一个月没有正常工作。在这一点上,《玩具总动员2》要么必须从头开始,要么完全放弃制作。
一位母亲拯救了局面,就像巴斯和胡迪联手回家一样。盖林·苏斯曼,电影的技术指导主管,她在2023年会受到迪士尼裁员的影响,在家中保存了《玩具总动员》项目的副本。盖林当时正在产假中,并决定在家工作 — 这在今天看来很正常,但在当时却是禁忌。作为一位母亲,她总是提前计划,就像养育孩子一样,她坚持每周把工作带回家一次。这是一个巨大的好处,因为它让她能够保持更新并维护《玩具总动员2》的可靠备份。
\ 就像对待新生婴儿一样,皮克斯小心翼翼地将笔记本电脑运回办公室,在车程中用毯子包裹和保护 — 我想象他们甚至为笔记本电脑播放摇篮曲...或者这可能是我会做的事。有了苏斯曼笔记本电脑上的备份,团队能够复制文件并恢复几乎所有丢失的内容。
\ 这是一个欢乐的场合,大家击掌庆祝,可能还让那位负责删除的人脸上露出了微笑。苏斯曼的备份副本并没有整部电影在她的电脑上,但他们能够恢复足够的内容来完成并按时交付《玩具总动员2》。播放鼓舞人心的音乐,像没人在看一样跳舞吧。多么精彩的故事,对吧?
\ 那删除文件的员工怎么样了?我很高兴你在关注这一点。到目前为止,没有报道说他们被解雇或面临后果。我想说,很容易想象当时的紧张气氛,也许未来会有他们参与备份流程的项目。
这次经历不仅对皮克斯的人们,而且对全球的IT专业人员来说都是一个宝贵的教训。有必要创建多个备份并实施额外的安全措施,以防止此类事件再次发生。
\ 在这个故事中,备份系统在几个月前就已经失效,但没有人注意到。这意味着没有任何备份可以恢复,业务陷入停滞。这是否让你想起了今天的事件?应该是的,因为这种情况现在经常发生。企业可以做什么来防止这种灾难?
3-2-1规则 - 数据备份规则是一种策略,建议保留三份数据副本,使用两种不同类型的存储媒体,其中一份存储在异地。这种方法确保了冗余性,并保护数据免受单点故障的影响,如硬件故障、盗窃或本地灾难。
\
异地备份 - 异地、气隙数据备份将数据副本存储在单独的物理或云位置(异地),并使其与主网络断开连接(气隙)。这种组合保护您的数据免受本地灾难和网络威胁(如勒索软件)的影响,因为它们无法远程访问或破坏气隙备份副本。
\
RPO和RTO - 恢复点目标和恢复时间目标。这不仅重要,而且对于灾难发生时的业务连续性和生存至关重要。大多数企业声称他们的备份经过测试并通过了审计,但当他们在灾难发生时必须恢复系统时,所需时间比计划的要长得多,企业因此而损失金钱。
\
命令级限制。该员工使用了rm -r Linux命令,该命令递归删除目录及其所有内容。更高级的系统可以防止此命令在最高项目目录级别运行,可以通过特殊脚本或要求第二步认证来实现。
\
\


