云安全架构 (一)：Azure整体架构及安全亮点详解

• 目的

其实说心里话做了这么多年云安全，对于国外三大云厂商（AWS、Azure、GCP）的实际关注点一直在变化。看来看去觉得未来安全上能有比较大作为的还是Azure，根本原因有很多，包括Azure Active Directory的身份联动、安全产品的丰富度、Office远程办公安全、ToB的安全基因、安全研发SDL体系等。回归本着能改变云安全，为云安全贡献一份力量和能够推动整个云安全发展的角度还是决定重新开启这个公众号，把自己的一些研究成果推送业界，能够帮助业界的云安全水位提升，把国内外云安全做的比较好的和到位的想法和架构体系化呈现。

 

 

 

特别声明：本公众号只代表《鸟哥谈云安全》个体观点。

 

 

 

 

 

• 观察到的点

在疫情期间（2020年01月）左右，一个无意的动作，让笔者受益颇深。下面来讲一下笔者这个小的观察，在1月-3月左右，笔者把整个TOP 500的公司资产的分布进行了简单的分析，发现Azure在疫情期间导致远程办公的需求大增，进而Azure采用率上升到了30%左右，大部分的TOP 500的业务都迁移到了Azure的Microsoft 365、Azure AD、Exchange Online、SharePoint Online上，形成了混合云的态势，部分业务还是继续On-Permises，部分业务迁移上云。

另外一个分析，发现2020年初的时候不管是AWS、Azure等，他们的自身的身份认证体系都比较薄弱，也就是说可以通过Password Spraying、社会工程学的个人身份泄露和破解、应用被攻破导致服务身份泄露、Azure OAuth2 Client Credentials都是比较弱的，个人纯猜想那段时间一方面由于各个行业因为疫情数字化转型上云的业务加速和规模扩大以及攻击的增加，导致Azure出现了很多安全问题和风险，导致倒逼Azure、Amazon逐步升级了自己的身份认证体系。PS：昨天晚上如果有人看到笔者朋友圈的话，笔者也简单讲了一下Azure的整个身份认证的体系，后续有机会专门写一篇文章来分析。

• Azure业务

不知道大家最近是否关注到了一个点，就是Microsoft CEO Satya公布了一个重要的安全MileStone，Microsoft整体的安全收入超了100亿美金（YOY年复合增长率超过40%），其实简单的道理就是企业上云之后安全性还是非常具有挑战的，需要购买不管是Microsoft的终端安全、身份认证还是Azure云的安全产品和能力，从这个点上来看笔者预测Azure未来3-5年收入追赶上AWS甚至超越。

 

 

另外分析了下Microsoft安全100亿收入的TOP贡献的产品，笔者大概分成了下面几类（Microsoft’s Azure Active Directory, Intune, Microsoft Defender for Endpoint, Office 365, Microsoft Cloud App Security, Microsoft Information and Governance, Azure Sentinel, Azure Monitoring, and Azure Information Protection）：

1、身份以及设备安全

包括Office 365（现在是Microsoft 365是企业云端办公解决方案）、Microsoft”s Azure Active Directory（基于混合云身份管理的云端活动目录）、Microsoft Defender For Endpoint（终端安全）、Microsoft Cloud App Security（CASB）、Intune（设备管理）

 

 

2、云安全

包括Azure Sentinel（Cloud SIEM大概8000+用户）、Azure Monitoring等产品的收入；

 

 

3、数据安全

包括Microsoft Information and Governance、Azure Information Protection等产品的收入；

Azure架构分析

 

 

 

 

 

• 对于架构的理解

开始进入正题，其实多年从业经验来总结的一些不成熟的架构想法的角度是，第一步先看云的整体架构（包括网络架构、系统架构、身份架构）等领域分层内容，第二步根据整体的架构分层中的某一层去深入了解具体的实现，例如整体架构中的网络架构下的细节以及安全细节，最后一步就是看具体的代码层面的实现，发现潜在问题和为了以后的架构迭代做准备；

• Azure顶层架构

一、Azure目标

Azure自身是一个非常开放并且非常灵活的云平台，使个人和组织可以在Azure全球范围内的庞大数据中心网络内部能够快速构建（Build），测试（Testing），部署（Deploy）和管理应用程序（Manage Application），服务和产品开发。Azure通过Internet互联网交付软件，平台和基础设施资源的方式，最大程度地为客户节省了成本。

 

 

二、Azure业务架构

 

 

如上图所示，Azure的个人（Consumers）和企业（Businesses）用户通过互联网（Internet）来访问企业和个人的应用（Applications）和数据（Data），应用和数据都是托管到Azure这个对外来看的云的内核，Azure云内核通过Microsoft自建和合作的数据中心来进行托管。

 

 

 

 

 

三、Azure信息系统和组件边界

 

 

 

1、使用者分类：

Customer User：来访问Azure提供的一些Services（例如VM）提供的能力上构建的自己的业务；

Customer Admin：通过Azure提供的管理的Portal（采用TLS）来访问和管理Azure的Services；

Azure Operator：在Microsoft CorpNet网络内部通过Admin Interface（采用TLS）来管理Azure的基础设施；简单的分类一下Azure Operator，第一类Azure DataCenter Engineer（主要是管理数据中心物理安全）；第二类Azure Incident Triage（Azure平台事件应急响应）；第三类Azure Deployment

 

Engineer（部署Azure组件和服务）；第四类Azure Network Engineer（管理Azure网络设备）等等角色；其实针对Azure Operator有一些非常到位的安全策略的，包括SAW（Secure Administrative Workstations）、Passwordless认证（Redmond Smart Card、Windows Hello PIN、FIDO2）、Device认证（MDM、MAM、Intune、TPM）、Conditional Access、JIT等方式；

 

2、访问方式

 

 

Internet：没什么好说的就是Azure提供的服务通过互联网来访问，这个时候要注意EIP卡点的问题，稍有不慎管理不当就会造成业务开放出去造成入侵，爆发蠕虫破坏稳定性和泄露数据等问题；

 

 

ExpressRoute：主要是通过专线的方案把企业内部的网络连接到Azure中，对其服务进行访问；在这条路径上可以采用云防火墙（Cloud Firewall）来进行各个维度的收敛和风险治理；

 

 

3、Azure数据中心

 

 

单个Azure数据中心内部包含Azure Core Network（Datacenter Router核心路由器、A10 DDoS防御）、Fabric Network（Q10 Routing、DLA Routing简单说一下他们的区别Q10：Azure新开的Region会存在Quantum 10网络中，主要是性能得到了大幅提升，而DLA：是Azure一些存量用户和共享服务在Default LAN architecture中，这两种架构对于网络安全的一些内容还是稍微有一些不同的）

 

 

4、安全需求：

• 身份安全：需要构建以身份为边界的下一代安全体系；不管是客户、Azure自身的员工，识别、认证、鉴权、审计还是非常基本的一些动作，其实从分析结果来看Azure对于自身员工的访问体系更深入；后续《Azure身份管理体系详解》中分享这套体系逻辑；

• 边界安全：在边界上如何进行有效收敛，防御第一跳的攻击非常重要，不管是云防火墙、WAF、DDoS、安全组等是一套非常完整的安全防护体系；后续《Azure网络安全体系详解》中分享；

   

   

• 客户网络安全：客户层面需要依托VPC、云防火墙、API Gateway、SLB、VPN、PrivateLink等构建一套网络安全最佳实践和防御体系；

• Azure网络安全：Azure内部网络足够复杂，需要构建以零信任为基础的网络安全体系；包括但不局限内部全链路加密、ACL默认安全、网络隔离策略、网络设备SONiC的安全性、网络设备提供商供应链安全（SolarWinds事件）等等；

• 客户应用安全：解决内部和外部对应的RCE、SSRF等高危漏洞，利用WAF、RASP等来进行检测和防御；

• Azure服务安全：内部的SDL、威胁建模、安全编码规范、Fuzzing工具等最佳实践；

 

 

 

• 客户数据安全：客户需要Azure提供的服务（Key Vault、KMS、Azure AD）、Azure生态提供的产品（Impreva、ForcePoint）、客户自己的生态（传统的线下支撑安全产品）和对应的运营体系来构建客户自身的数据安全；

 

 

 

• Azure自身数据安全：最核心的还是防御内部威胁以及被入侵之后导致的数据泄露；比较有亮点的还是Azure Customer Lockbox针对Azure员工访问用户数据的行为进行客户审计和批准、采用JIT限制访问、内部进行审计、外部第三方审计公司审计、行业标准要求、数据处理流程规范、合规要求等；

四、Azure网络架构

 

 

看完了业务架构、信息系统和用户流之后，下面笔者会分三层从顶层（Azure全球网络）、Azure数据中心之间网络到Azure数据中心内部这个逻辑来看一下Azure整个网络的布局；

 

 

 

 

 

1、Azure Global Network

看一些数据：超过170个POP接入点、60+ Region、16W英里（25W+公里）的光纤和海底电缆、Azure到客户网络支持100G ExpressRoute专线网络、200+ ExpressRoute服务提供商包括AT&T、中国电信、中国联通、每个Region理论支撑1.6Pb流量；另外目前Azure已经跟马斯克的SpaceX“星链”合作，让Azure云服务扩展到全球各个角落，服务更多的客户，实现“太空”云、另外Azure和Google（Junpiter、B4、Andromeda、Espresso等）类似，云的网络实现了基于主机的SDN之上，实现网络的功能，包括LB软负载均衡、安全ACL、虚拟路由等在Hypervisor上实现的能力；

2、Azure的网络分层：

 

 

• 网路硬件层面：核心是基FPGA的SmartNIC将主机网络卸载到硬件的解决方案，实现了高性能的加速；SONiC是Azure的底层基于Linux开源网络操作系统核心，提供BGP、RDMA，开发原因也是由于传统网络由于性能、封闭、黑盒等原因无法满足云网络时代的软件定义、大流量支撑、自动化调用等需求，所以Azure大力发展SONiC生态，目前来看国内的腾讯、阿里都在采用这套底层核心构建自己的SDN软件定义网络，来满足超大规模数据中心的需求；
• Region内部：包含单个DataCenter数据中心网络以及Region内的网络，这里还是要讲一下Azure的网络结构，最小的单元是Availability Zones可用区也就是大家熟知的AZ，AZ和AZ组成了Region；单个DataCenter和Region的架构在下面会讲；
• 服务：DataCenter数据中心内部跑了各种各样的服务（Services）：Virtual Network（传统VPC）、Load Balancing负载均衡、Firewall防火墙、DDoS、VPN、DNS、Monitoring监控和Bare Metal裸金属服务、HSM等；
• WAN Backbone：软件定义 WAN和国家云，一般情况下骨干网分成内部骨干网和WAN骨干网；内部骨干网主要是内部数据中心和Region之间构成的通信网络；WAN骨干网主要是出口路由器和ISP（AT&T等）构建的WAN通信网络；
• Edge And ExpressRoute：Internet Peeing、ExpressRoute、CDN、FrontDoor等构建的边缘网络以及和WAN Backbone接入专线ExpressRoute网络；边缘CDN网络；以及边缘加速网络FrootDoor等；
• Last Mile：把云的边缘分布到客户的On-Permises边缘，形成最好的客户体验；
• 其他形态：分布式公有云各种形态的扩展，包括AWS Outposts、Azure Stack、Google Anthos等模式，直接把云部署在客户的机房，让客户体验弹性云和超高的用户体验；

3、Azure数据中心内网络

 

 

Azure数据中心内部的网络采用了Clos/mesh架构，这种网络架构设计的优势是更大的扩充和扩展现有网络基础架构的能力。该设计使用Border Leaf Routers、Spine Switches和Top of Rack Routers将流量跨多条路由传递到Azure Cluster集群，来最终实现非常强大的容错能力，并且将ACL应用于机架式（ToR）路由器。ACL也通过软件负载平衡（SLB）、软件定义VLANs和基于主机的防火墙策略。

下面简单讲解一下Azure数据中心网络的构成：

• DCR（DataCenter Router）：属于数据中心的核心（Core）路由器，数据中心路由器主要是两个作用连接WAN Backbone网络和把数据转发到下面的AR（三层Access Router）；
• A10 DDoS：采用A10网络设备来针对数据中心网络进行DDoS防御， Azure采用了A10 Network Device在DCR上提供自动检测和缓解。A10解决方案利用Azure Network Monitoring来采样流数据包并确定是否存在攻击。当检测到攻击时，A10 Network Device会采用清洗中心来缓解DDoS攻击。 一旦环节成功后，干净的流量会直接从DCR进入Azure数据中心；目前A10 DDoS主要防御的是：UDP IPv4和IPv6 Flood防御、ICMP IPv4和IPv6 Flood防御、TCP IPv4和IPv6 Flood防御、TCP SYN Attack IPv4和IPv6防御、Fragmentation攻击防御；
• L3AR：三层Access Routing主要是分发流量到分布层和访问层；L3AR只允许来自Microsoft网络的IP地址，提供放欺骗功能，允许通过的ACLs进行连接；
• L2AS：二层汇聚交换机为了提供高性能采用了端口汇聚（Port Aggregation）和10G网络能力；
• LB：入方向负载均衡主要是进行NAT地址转换，转发流量到租户网络；出方向负载均衡，租户网络出方向的包由LB进行了更改目的地址的操作；
• L2HS：二层主机直接接入这些交换机，并且可以在L2HS上设置对应的VLAN；

4、Azure内网络和微软CorpNet网络

其实这个点对于云厂商来说还是非常重要的，因为目前国内外大型的云基本上都会跟整个企业的网络有交互的，下面笔者来分析下Azure网络和微软自身网络（CorpNet）之间的访问关系：

 

 

• 网络安全设计原则：进入Microsoft CorpNet需要采用高强度认证的SmartCard或者PIN来登陆VPN；登陆VPN之后CorpNet和Azure之间是隔离的；而且管理Azure的需要加入对应的Microsoft Domain才行，具备对应的权限；

   

   

• Microsoft CorpNet：要进入Microsoft CorpNet网络本身就是一件非常难的事情，要突破Microsoft的层层防御到CorpNet网络；假设管理员已经在Microsoft CorpNet网络中了；Azure的管理员需要采用RedMond SmartCart和Windows Hello PIN（下图展现下）来登陆到SAW（Secure Admin Workstations）；

• SAW：Secure Admin Workstations管理Azure高价值的资产，保护Azure的特权账号、并采用IP白名单、进程白名单、终端杀毒等预防特权账号被入侵；
• VPN：Azure管理员登陆Pulse Secure VPN，登陆VPN同样需要Smart Card和PIN认证，并且VPN对于访问的资产的管理端口22、3389也有对应的权限管理手段；
• JIT：有了账号登陆了SAW、采用VPN具有登陆可管理范围内的高价值资产之后，这个时候并没有资产访问权限，还需要进行申请，采用Just In Times访问按需访问；如果访问客户的数据，还需要客户的授权动作；

   

   

 

 

 

 

 

 

5、安全挑战：

 

 

网络安全具有巨大挑战：在这么复杂的网络架构下，网络安全如何抽丝剥茧般做到高安全水位是非常具有挑战性的；不管是分布式公有云扩展模式下的网络安全隔离问题、ACL管理和运维问题、网络设备安全等问题；

6、网络安全架构解法：

在《4、Azure内网络和微软CorpNet网络》讲到了一些办法，笔者写一个比较好的点，Azure的网络是默认Deny的，如果想要变更ACL策略，需要到ACL Management Service(AMS)进行审批和申请，然后申请通过之后策略会同步到Staging环境，并完成安全和隐私对应的Checklist检查之后，才会逐步变更到生产环境，这一点就很好的解决了网络ACL的问题，但是知易行难，落地这套架构还需要从体系化进行思考和解决以及规划。

 

 

 

五、Azure Cluster集群架构

1、Azure Cluster架构

 

 

把底层多达20个的Rack的上千台服务器构成了DataCenter Cluster集群，同时Azure Cluster也是一个Failover故障转移的一个最小单元，这个集群包含了Fabric Controller、Rack服务器上部署的一些Azure Services服务等；

 

 

下图就是Azure的一个Cluster的集群管理的功能（包括管理虚拟机、网络设备配置、存储配置、日志管理、事件等等）：

 

2、Azure Fabric Controller

每个Cluster集群上都会部署一个Fabric Controller（后续简称FC），并且每个集群都是通过FC来进行管理的，FC主要职责是Blade的管理、服务的部署和声明周期管理、Host操作系统管理、HyperVisor（Hyper-V）管理、虚拟机的管理；可以明显的看到FC是整个Azure云操作系统的“Kernel”内核；

 

这里可以看到一个对比，传统的服务器包括（Server服务器、Windows Kernel内核、Word和SQL Server应用），到Azure云之后Server服务器对应Azure DataCenter、Windows Kernel对应FC、Word和SQL Server的应用对应ExchangeOnline和SQL Azure；下图就是Fabric Viewer的管理界面；可以简单看到这个集群的状态、集群租户的机器状态、故障状态等等信息

 

 

 

3、Azure底层操作系统启动流程

• 启动电源；
• PXE-boot启动维护操作系统；
• Agent进行格式化硬盘以及通过Windows Deployment Services（WDS）下载Host OS；
• HostOS采用Sysprep（来进行安全加固配置）等，完成后重新启动；
• FC Host Agent连接到FC中心；

   

   

 

 

4、Azure服务发布流程

 

 

• 服务开发：Azure的服务通过VisualStudio SaaS版进行开发，Azure自身的代码全部存储在了SaaS上，SaaS版的功能包括仓库管理、Pipeline发布管理、部署管理、代码管理、Issues问题跟踪等；PS：如果有想研究Azure VS SaaS漏洞的可以在这里下载Azure DevOps Server 2020版进行研究（https://go.microsoft.com/fwlink/?LinkId=2132056）；
• 服务发布：Azure的服务推送到RDFE（Red Dog Front End），RDFE发送到制定Region的FC，FC存储对应的镜像和部署的服务到对应的虚拟机或者裸金属上；

5、Azure服务部署到线上流程

• 资源：确定需要的资源包括CPU、内存、硬盘、网络资源等信息；
• 准备Nodes节点：创建虚拟机资源、部署Role镜像，启动虚拟机和Roles；
• 配置网络：动态IP地址分配、VIP地址+端口分配、VM和VM流量包过滤、加载负载均衡允许服务的流量；

6、部署FC GuestAgent

• Guest Agent部署：FC部署Guest Agent（后续会有专题分析FC的全套体系），可以看到Azure的Trust Boundary是通过虚拟机和物理节点，这里可以看到Hyper-V自身存在攻击面，另外Guest Agent和FC Host Agent也存在对应的攻击面；另外看到一些资料说Hyper-V的核心代码不到一万行都是经过形式化验证的；

7、安全挑战：

• 代码风险：Azure的所有代码都是部署在VS SaaS上的，一旦VS SaaS被突破（账号层面、越权）等层面存在漏洞，可直接导致Azure的安全存在巨大隐患；笔者经过挖掘Azure DevOps Server 2020还是可以访问VS SaaS的一些接口的，另外通过Azure其他服务的API调用也是可以查看代码的Commits、人员等等信息的；
• Cluster特权账号管理：Cluster集群特权管理人员权限设计较大，如被突破会造成整个集群的沦陷；
• 逃逸风险：明显可以看到渗透Azure服务之后到达VM上，VM通过Hyper-V和FC GuestAgent和FC HostAgent之间的通信通道进行逃逸，这一层上目前来看并没有特别的防御体系，下面会讲一下检测体系；

8、安全架构解法：

• 代码风险：VS SaaS代码仓库经过SDL安全审核，在传统的高危漏洞、越权等层面设计的比较清晰，VS SaaS的代码要重要避免越权漏洞的出现；
• 逃逸风险：通过下面的威胁检测可以看到，通过AzSec Pack进行信息采集把安全相关的事件发给Azure Security Monitoring（ASM）来进行应急和响应；

六、Azure操作系统架构

 

 

 

1、Host OS和Guest OS

• FC Guest Agent：底层Azure操作系统部署FC Host Agent和FC Guest Agent进行通信；遇到故障的时候可以进行快速的VM转移；
• Guest防火墙：在Guest OS上默认开启Windows防火墙，仅开启必要的网络访问，Guest OS所有对网络和磁盘的访问都必须经过HyperVisor进行调度；
• 操作系统：操作系统本身采用最新版的Windows Server版本，并进行配置加固等策略；
• Native OS：裸金属服务，也同样被FC管理，基本上原则是一个租户一个裸金属服务器；
• 禁止被访问：Host OS和Native OS是禁止被云上租户访问的，因为这是云的底层；

   

   

2、操作系统安全架构设计

 

 

• 隔离：默认情况下会采用IPFilter组件来阻止Guest OS和Guest OS之间，以及Guest OS和Host OS之间的通信；对应的Guest OS不发送和接受任何广播包和流量；
• 网络隔离：如下图所示：DDoS保护互联网流量、Public IP只允许指定的流量进入虚拟机、Virtual Network Isolation租户隔离，只允许用户自己租户级的网络流量的访问；下一层采用网络安全组和UDR（User Defind Route）用户自定义路由来进行限制；Network Virtual Appliances来创建隔离边界来保护在Azure上部署的服务，这一层我理解就是Azure的生态网络安全产品，例如CheckPoint、PaloAlto Networks；

七、Azure服务架构（无公开资料^_^）

下面以Azure Sentinel为例，详解讲解一个服务的架构和组成（声明：对应的获取这些信息的漏洞已经提交到Microsoft MSRC，目前已经完成了对应的修复）：

1、Products：产品名称，对应的就是Azure Sentinel这个产品，产品的描述和定位是：Microsoft Azure Sentinel 是可缩放的云原生 安全信息事件管理 (SIEM) 和 安全业务流程自动响应 (SOAR) 解决方案。Azure Sentinel 在整个企业范围内提供智能安全分析和威胁智能，为警报检测、威胁可见性、主动搜寻和威胁响应提供单一解决方案；

 

 

2、Extensions：模块名称，例如Azure Sentinel的Extensions名字就是：Microsoft_Azure_Security_Insights，通过查询可以获取这个模块的相关信息，服务产品名称：“Microsoft Azure Sentinel”、开发团队：”Sabres Racoons“、对应的版本信息：“1.0.01487.0001-210127-100420”、友好显示版本：“1.0.9.47”；其实可以看到整个Entensions的Portal的代码框架都是采用.NET Framework，通过System.Web.Mvc.dll构建了Microsoft.Portal.Framework.dll自身的框架的；

3、Blades：Blades是Portal门户中的主要的UI容器，可以使用HTML模板和ViewMode模板来扩展；例如WorkspaceSelectorBlade来进行WorkSpace工作区的选择的UI Blade；

4、API操作：例如开启一个SIEM的规则，访问对应的后台API地址，https://management.azure.com/subscriptions/XXXXX-XXX-XXXX-XXXX-XXXX/resourceGroups/azuresiemtest/providers/Microsoft.OperationalInsights/workspaces/azuresiemtest/providers/Microsoft.SecurityInsights/alertRules?api-version=2019-01-01-preview来进行对应的后台操作；

5、对应的服务上执行：通过API调用后台的服务进行对应模块执行；

6、安全挑战：其实看上去Azure服务还是非常安全的；但是其实还有有一些场景下存在对应的API越权查看、API信息泄露、API服务接口可被调用等逻辑上的一些风险；另外从Azure服务的简单测试来看，虽然它做了一些请求日志的采集等，但是风险发现能力上还是有一些缺陷的；

7、安全架构解法：

• 应用安全：身份认证、鉴权接入上需要增强，目前存在各种越权的风险和问题；
• 安全风险发现能力：通过采集的请求要进行业务层面的越权检测能力，目前明显发现这方面还是存在增强的点的；
• 开发框架：开发框架比较统一和一致，整体安全性上比较到位，统一框架、统一语言、统一标准规范；

   

   

八、Azure内部安全产品

1、Azure Privileged Identity Management

Azure Privileged Identity Management来管理、控制、监控特权身份访问Azure AD和其他Microsoft在线服务，例如Office 365和Microsoft Intune。

2、Azure Security Pack

Azure Security Pack简称AzSecPack，主要包括了如下的安全功能，这些功能提供安全日志监控和记录以及Azure服务上的安全监控；

 

 

• Security Logging And Monitoring：包括安全日志以及监控、用来监控和告警通用的安全场景的风险；
• Baseline CCV：Azure OS极限配置并且进行自动化的持续验证；
• Azure AV：Azure反病毒配置进行System Center Endpoint Protection来进行中心化的处置，通过Microsoft Endpoint Protect、Microsoft Defender和ClamAV来防御Malware；
• AppLocker And Code Integrity：验证代码签名；
• Vulnerability Scanner：持续发现OS、OS Feature和第三方软件的漏洞；
• Azure Security Monitoring：如前面所说的通过监控Agent来收集安全相关的数据；
• CC标准：针对Windows的操作系统进行完成的EAL4+的认证和评估；
• Azure Watson：安全和合规服务，用来收集各种Crash、分析和调试Azure服务，并且提供自动化的根源分析功能；
• Datacenter Secrets Management Service（dSMS）：Azure Internal内部的服务利用Azure Internal Key Vault来进行秘钥的轮转；
• Datacenter Service Configuration Manager (dSCM)：Azure内部服务提供指定的安全配置；目的是减少Azure服务到Azure Security产品的部署时间；
• The Datacenter Security Token Service (dSTS)：提供高安全等级认证服务例如Windows Hello PIN、Smart Card等服务来访问对应的Azure服务；
• Datacenter Key Distribution Service (dKDS)：数据安全保护，只允许特定的人员进行解密秘钥；例如在Windows 8加入了CNG DPAPI进行加密时指定加密保护描述符，该描述符定义了只有特定的人才能进行解密；
• Interflow：威胁情报交换（Threat Intelligence Exchange）服务。它从各个Microsoft团队和各个第三方收集威胁数据（僵尸网络IP，恶意文件的Hash等），然后将这些数据共享给Microsoft团队，以便Microsoft团队可以在自己的产品和服务中采取对应的威胁消除和阻止行动。例如，Office 365经过分析和收集的情报确定某个特定IP属于某个僵尸网络。然后，他们与Interflow共享该信息，然后共享给对应的Office 365团队，以便该团队可以对IP进行阻断和禁止访问的动作；
• JIT：Just In Times按需访问，经过审批才能访问对应的服务，默认是禁止的；
• Jumpbox：跳板机，允许Debugger Server调试服务器和对应的Network维护团队访问Azure生产环境；
• SCUBA：提供弹性和低延迟的数据，包括Raw Events和威胁监控、威胁调查等的告警信号；
• OneBranch Release、One Deploy Express v2和OneDeploy AzDeployer：Azure服务安全部署的服务和产品，保证Azure服务的安全和部署对应的Azure Core（Ring 0）服务；

云安全架构 (一)：Azure整体架构及安全亮点详解 – 安全内参 | 决策者的网络安全知识库 (secrss.com)