我在亚马逊AWS云On Call的体验
从2020年到2021年,我在亚马逊(AWS云)担任软件开发工程师(SDE)。有人说SDE代表”Someone Does Everything”(什么都做的人),这相当准确。在亚马逊,每位SDE软件工程师都负责从设计、编码到测试的所有工作,还需要定期轮值紧急响应任务。大多数亚马逊团队由6-8名工程师和一名软件开发经理(SDM)组成,遵循“两个披萨团队” (Two Pizza Team)的原则。
每位SDE软件工程师通常每6-7周需要轮值一次Oncall(紧急响应任务),持续一整周24/7待命。在此期间,你需要处理和解决业务上出错的问题(比如服务器宕机,原因可能:程序出错崩溃、硬盘空间不足、CPU温度过高等)。为此,你需要在手机上安装紧急响应软件(Pong),以接收与团队产品相关的警报。当警报响起时,你必须在15分钟内确认工单。如果没有及时确认,问题会逐级上报,甚至可能报告到CEO姐夫贝佐斯 Jeff Bezos,这可能会对你的绩效评估产生负面影响。
我听说有个软件工程师下班后和同事到酒吧里喝两杯,然后警报响了,他淡定的拿起笔记本就处理起来了。
亚马逊的理念是你拥有自己的代码/You own your code。这意味着即使在半夜,警报响了,你也得爬起来解决问题。你的首要任务是恢复服务/Mitigation,其次是调查原因和解决。如果警报在凌晨3点响起,您可以临时重启服务器来解决问题,详细调查可以第二天起床后再进行。如果你在半夜被警报唤醒,第二天可以多休息,不用担心早晨的站会(敏捷开发每天都有例会)。
程序也需要Oncall就会促使他们尽可能的写出高质量的代码,避免BUG日后找麻烦。
这里顺便说一下,我在亚马逊S3的那个组,敏捷开发是2周一个短跑(Sprint),轮到oncall的工程师需要专注于Oncall DevOps,相当于是一个任务(多少点我忘记了),如果不太需要处理警报,则可以适当做一些其它开发任务。对我来说,压力最大的是在Oncall完的第二周,需要写报告,并在每周大会上给大家讲每个警报的原因和处理方案。
这个Oncall非常让人有压力,但它们有效地训练了软件工程师的DevOps技能。由于高灵敏度设置,新产品往往会生成更多警报。亚马逊以其99.99%的服务水平协议(SLA)而自豪,这要归功于SDE的紧急响应文化。
以下是我在2021年担任亚马逊SDE期间最后一次轮值时收到的警报示例。警报声可能非常刺耳,类似空袭警报,不过也有一些不那么刺耳甚至更愉快的铃声可供选择。当时这声音简直是恶梦。
我在Oncall那周,我媳妇都不愿意和我睡,因为大晚上的被警报吵醒是件很吓人并且让人很不爽的事情。当我离开亚马逊来到微软剑桥研究院后,立马压力就小很多,而且人也开心很多,朋友圈状态都比较频繁了。
其实,我感觉Oncall这事不讨好的一个很大原因是在英国Oncall是不额外给钱的,都属于本职工作的一部分。而据说在德国,Oncall是会有额外经济补偿的,在金钱的加持下,我感觉这事的体验感肯定天壤之别。
英文:The Experience of On-call (Paging) for Amazon Software Engineers
本文一共 991 个汉字, 你数一下对不对.相关文章:
- 按揭贷款(房贷,车贷) 每月还贷计算器 去年给银行借了17万英镑 买了20万7500英镑的房子, 25年还清. 前2年是定率 Fix Rate 的合同 (年利率2.49%). 每个月大概是还 700多英镑. 有很多种还贷的计算方式, 定率/每月固定 是比较常用的. 简单来说就是 每个月交的钱是...
- 智能手机 HTC One M9 使用测评 虽然我对手机要求不高, 远远没有像追求VPS服务器一样, 但是怎么算来两年内换了四个手机, 先是三星 S4 用了一年多, 然后 Nokia Lumia 635 Windows Phone, 后来又是 BLU, 半年多前换了...
- 微软剑桥研究院/所 Summer Party (2022夏日派对) 大厂(特别是互联网大厂)每年都会有整个公司员工的团建活动. 微软每年都有一次夏日派对 (Summer Party) 还有一次圣诞派对 (Christmas Party). 当年我入职 Amazon 一周的时候正好参加了 冬日派对 Winter Party. 这种全公司的派对一年搞两次, 可以邀请家人...
- 英国房子的EPC节能报告 EPC (Energe/Efficiency Performance Certificate) 是英国房子的节能报告, 法律上规定, 每个房子都必须要有一个EPC报告, 报告的有效期为十年. 房东在把房子出租或者想卖房的时候, 这个EPC就必须有效, 在一些情况下 比如出租房子的时候, 这个EPC报告还必须符合一些最低标准, 比如房子必须满足 F档(类似及格线)...
- 在英国给孩子换学校的经历: 孩子离开了村里的小学 由于搬了家, 孩子上学得提前半小时出门了, 因为早上堵, 也得开车半小时才能到. 之前在 Fen Drayton 村庄上小学, 早上8:45学校门开, 9点敲钟孩子排队依次进入教室, 我们由于在村里, 只需要提前5分钟出门和孩子一起走路就可以了. 现在一下子早上变得很匆忙, 得叫孩子起床, 做早饭,...
- 优化设计 个人主页 并且 PageSpeed Insights 双项 100分 坛子的个人主页 www.tanzhijun.com 不错 很适合个人主页的模板. 而且是手机友好. 于是我照着把 我的主页改了改. https://steakovercooked.com 并且做了几点修改: 0. 使用 google mod_pagespeed 把 JS,...
- 什么是战略性怀孕? 今天上网冲浪学到一个新词 “战略性怀孕“. 战略性怀孕 “战略性怀孕”这个术语并不是科学文献中的标准术语, 但在流行文化和社交语境中, 它常常指的是某人(通常是女性)有意识地选择在特定时间或与特定对象怀孕, 以达到某种策略目标或获得某种利益. 以下是一些可能的目的或背景: 经济利益 在某些情境中, 女性可能会选择与经济能力强大的男性怀孕, 以便获得经济上的支持, 无论是通过婚姻还是子女抚养费. 固定关系 有些人可能认为怀孕可以帮助巩固与伴侣的关系,...
- 同一台服务器上多个WORDPRESS站点的一些设置可以移出去 我自从把所有网站都挪到一处VPS服务器上 就发现很多事情省事很多 可以同时管理多个网站 包括 WORDPRESS博客. 比如我有四个WORDPRESS博客 然后我就把通用的一些资料给移出去 移到 HTTP或者HTTPS都不能直接访问的文件夹里这样就更安全许多. 文件 wp-conn.php 存储了 相同的数据库资料. 1 2...