王宏善丨工业互联网安全:工业网络纵深防御架构设计

导语

工业互联网开发者社区(IIDEV)于世界人工智能大会·全球工业智能峰会上正式发布。本次峰会还邀请到多位行业大咖发表主旨演讲,工业互联网产业联盟秘书长余晓辉、工业互联网联盟(IIC)技术工作组及架构任务组联席主席林诗万、钉钉(中国)信息技术有限公司副总裁张斯成、罗克韦尔自动化(中国)有限公司NSS Team 工控安全高级研究员王宏善、积梦智能科技有限公司CEO谢孟军、真格基金董事总经理顾旻曼、中南高科产业集团高级副总裁陈治、苏州九点半智能科技有限公司CEO白新奋等从各自专业视角,分享他们对于工业智能和工业互联网领域的独到见解。

小编将陆续更新多位大咖的演讲实录,以下是王宏善先生的演讲实录: 
 

嘉宾简介

王宏善(花名 剑思庭)罗克韦尔自动化工业网络安全研究员,复旦大学软件工程硕士。在罗克韦尔自动化负责工业网络安全架构设计和工控安全渗透以及防御。2011年加入罗克韦尔从事自动化及软件技术顾问,2015年从事工业网络安全安全架构设计。CCIE和VCP认证专家,同时也是CISP注册信息安全从业人员,独立开发基于linux的工控渗透框架。

vbox5104_LING8924_154042_small

 

工业互联网安全:工业网络纵深防御架构设计

大家下午好,自我介绍一下我叫王宏善,来自罗克韦尔自动化(中国)有限公司,先介绍一下我们公司。罗克韦尔自动化是一家美资的传统自动化制造控制商,应该是百年老店,和西门子一样的自动化提供商,大家有做自动化可以在现场看到我们的产品。
 
正好聊到这儿了,我问一下大家在座的各位有多少是做制造型企业的?方便举一下手吗,5个,有多少做IT的?没举手的应该是大会请来的托儿,开个玩笑。
 
我和会务组也交流过,因为罗克韦尔是传统的自动化领域的供应商,我们现在看到互联网IT、OT之后我们也会面临挑战,从传统一家做硬件自动化的厂商,怎么样和互联网、软件更好的结合,我们也有一些尝试,罗克韦尔在十年前已经开始去做这方面的探索和这方面的业务发展。
 
我今天更多的给大家来介绍一下现在我们在工业自动化领域OT的现状是什么样的,我们要去打造一个工业互联网基础架构怎么样更好的构建?刚才我们可以看到有阿里,也有林博士分享他们更多是在产品解决方案的特色,我给大家分享更多的是排兵布阵,我们要去做IT和OT融合的时候,我们在OT层怎么样假设,更多偏重网络和安全层面。作为IT人和构建开发平台的人,通过我这个讲解更多了解工业现状是什么样的。
 

我演讲有五个部分,第一个构架什么,第二个怎么样来做安全部署,第三个怎么样做的,第四个在网络层怎么实现高可靠性,第五个怎么协同来做的?

CPWE是什么?全场融合以太网架构,它是由罗克韦尔还有制造型企业,还有微软这些传统IT公司共同来体现的设计架构,这个架构最大的特点是什么呢?让你能够从IT到OT无缝的连接,让彼此的信息和协议相互无干扰的进行连接。

微信图片_20190906151249

这张图就是我们现在可以看到传统的企业级的架构,大家可以看一下下面这层是我们主要设计的领域,这一层是我们传统的领域,我们现在可以看到混合云,就是私有云+共有云。

 
很多工业互联网的应用都是构建在这一层,也有企业层。但是作为传统的自动化领域里面,我们现在和用户接触更多的都是在这一层。为什么呢?制造型企业有一个天然的自我潜意识的催化,他认为我的数据非常多。曾经有一个事件,我们服务的一个企业,他们是做洗发水的,做的非常好,应该是在座的都有用过,应该是在十年前非常出名的一个品牌。
 
后来由于他们企业要求把所有的网连起来,把每一个所在地,有苏州、天津、广州,有很多的厂全部构建起来,在那个时候他们还没有体验出来关于信息安全和安全这个角度,只是说打通从下面拿到数据。同时,把全球最新的洗发水配方从总部直接放下来。本地的人员是不知道配方的,为了防止一些信息的丢失。
 

这个打通了之后没有想到第三方的外包团队入驻他们公司维护,直接把数据带走。配方的数据不会再云上,即使在云上,也会到设备上,最后被第三方团队带走,就在离这个工厂不到20公里的地方盖了一模一样的地方,生产一模一样的洗发水,卖的非常火。很多人在淘宝上都买过,明知道这个东西是假的,但是配方是一模一样的,这就是一个非常典型的例子,安全现在已经非常非常重要了。

微信图片_20190906151326

我们来看一下这张图就是多数,我不敢说绝对,但是80%现在做IT和OT互联领域的典型架构,我们可以看,刚才问了有多少人做传统OT,如果大家做传统OT对这块非常熟悉的,有大量的PLC。

 
这张图虽然没有展现出物理的现状,但是在逻辑层面非常清晰。在下面这层这个就是我们会出现的PLC,下面就是IO。我们在做工业互联网人的脑子里面看到PLC就结束了,这个就是真正的产线的设备,但是它离真正生产设备还很远,会有IO,还会有仪表,会有执行器,这些真正执行的东西才是为生产创造的价值东西,更多类似是像计算机的东西。
 
很多人曾经问过我,尤其是做IT的同事,为什么你们都是用环网?我说没办法,试想15年前,甚至20年前当他构建一个网络的时候,以太网还没有在下面实行,更多是RS485或者看总线更多是这样,一直采用环网的形势使用。它可以防止链路的单点故障,而且对于施工量和部署是比较少的。
 
真正一个现场是很大,比如说我上次去的包头钢铁,从一个分厂到另外一个分厂448公里,直接奔过去,中间跑了无数个根的光纤,一期项目拉一个光纤,二期项目又拉一个光纤,这之间已经拉了无数个光纤,我就不明白为什么不借助以太网、互联网构建VPN就行了,他们认为这个是安全、有效的,所以环网对他们来讲更方便一些。
 
无线的网络是我们现在可以看到制造业都在玩命,基本上是这样的,都是在上,工厂里的无线和楼宇里的无线不太一样,专属设备不允许第三方设备接入。当三个网络同时汇聚的时候,工厂就会有汇聚式的交换机。同时,企业里面会有工厂式的核心交换机。我作为自动化的践行者,我刚入职的时候这些设备从来没有,环网上来直到计算机。
 
我们现在可以看到这些技术都是我们传统IT的技术,传统IT技术一般都三张网络接入、汇聚和核心,现在工厂里面也是这样做的。比如说我们做未来的互联网应用开发,服务器会座落在这个位置,比如说工厂不对外的,会直接和这个设备打交道。如果从工厂里面去到企业级,之间会有防火墙,并且在防火墙里面部署大量的应用和策略。
 
这就是国家最新发布的等保2.0详细的需求,工业网络和企业网络进行对接的时候必然要进行阻断,防止防火墙设置策略。我们是做工业互联网,所有的虚机在VPS上做开发,但是下面拉数据的时候,等保2.0在今年12月份实行,一旦实施的时候有可能大批量的数据都读不上来的。
 
为什么?原来数据可以直接拉走,现在要求对企业直接去做隔离,也不允许你的流量直接从VPS穿透到工业层。我们可以看到这些也是挑战,需要大家思考。上面就不说了,是标准的企业层。
 
针对刚才我们看到的企业环境,我们怎么来去做安全部署,大家可以在这里面有三不中不同的颜色,紫色的地方自动化工程师去做实施的,蓝颜色的地方现在有争议,有人是IT人做,有人是自动化人做,黄色是传统的安全人员去做的。
 
在图里面大家看到有几个点,比如说在这里面第出来PLC应该去做安全、加固,传统的PLC不做加固,也就是说我们只需要连上,大家做工业互联网经常听到的协议,OPC、DA、UA等等。但是如果未来下面做了加密,比如说TCP,未来是无法直接获得数据的,首先要先获得认证,证书之间才可以打通这条链路获得数据,这个也是我们面临未来的挑战,是不是两端的证书在云端就是单向认证还是双向认证,这个是开发者需要考虑的。
 
另外,交换层也会做加固,这些加固其实和我们的关系不大,我们只需要链路数据打通就行了,我们传统的接入互联网的时候,一般在企业级会有这种认证,但是在工业领域里面很少有认证,今年提出来了这里面必须要有认证。无论下面有AD的认证,还是有SE的认证,随便,但必须有认证,是证书还是密码随便。这个认证的过程怎么确保从上到下面平稳的做认证,这个未来都是要做考虑的。
 
同样在两端做隔离的时候,我们可以看到等保的信息提出来了,你必须要过滤工业协议。比如说我们不管跑了OPC、UA全部在这里面做过滤,理论上来讲等保的要求可读不可写。如果我们做了很好的模型去回推的时候就会面临一个问题,我们怎么能够让它既符合法律,又要穿透防火墙,放到PLC里面去,这个也是比较大的挑战。
 
另外,大家可以看到在这一层除了我们的策略过滤之外,还会有一些行为上的过滤,比如说除了这些工业协议之外,有一些其他的策略在这里面做一些开放。未来这一块到底是我们构建工业互联网去做还是企业去做,还是自动化去做。我在做这个业务的时候可以看到,双方都有专门做互联网的团队去做这个,还有自动化的厂商去做这一步。
 
大家可以去看一下,在未来交换机上面,它会划分很多的域。什么叫域?专业角度叫V-line,尤其在工业领域里基本是毫无策略追踪,作为应用层的人不需要关系网络怎么构建,一个协议能够对接就可以了。但是在未来不可以这样的,会在交换机里面做多个分段。
 
比如说这个是单元一,这个是单元二的,那边是单元三的,会把安全风险划分到最小,每一个安全单元进行通讯,那之间都是要有策略,这个就会面对做采集的时候很困难。一个链路下去以后,我不能和这个通讯,又不能和那个通讯,妨碍到数据采集。
如何构建一个好的网络分段是非常有必要的,也是大家可以考虑的,如果未来再去构建的时候,如何能够最符合工艺化,最符合数据采集方便,但这个分段是必须要有的。另外,在下面这一层会有策略过滤,但现在我们看到很少有,但未来都会有流量的抓取和策略的过滤。
 
什么意思?举一个例子,我们从工程师站把一个数据下放到PLC里面,理论上来讲这个数据链路是直接通下去的。但是在未来不是这样的,未来会做流量的监测,要看是不是从工程师下放的,如果从操作员站会拒绝的。如果将来要做数采的时候要清晰地知道这台机器能不能下放数据,比如说传统说只要有一个OPC就能把你采上来,可以把数据回写掉。但是这台机器可能是操作员站,现在可以这样做和部署没有问题。但是在未来是不可以的,为什么?操作员站是不可以做回写的,可能设定了几台机器只能看。
 
这几台机器只能看的情况下要做数据回写,那就直接被拒掉了。也就是说你没有办法实现真正的联动,但是数据拿走是没有问题的。我们做了将近30多个把数据拿取到,给云端提供的案例,我们可以看到80%都是数据要求拿上来采集,很少往回读写。因为用户都觉得风险很大,不知道云端那边的应用是否可靠,如果按照业务逻辑是没有问题的,但是一旦被黑客入侵或者是说业务逻辑混乱造成数据的误写,可能对生产造成了不可弥补的问题。这不仅仅是一个数据的问题,可能是现在的设备、人就出问题了。
 
我们有一个真实的案例,这属于商业上的行为,现场的设备就是这样的机器人,连了4G的模块是供应商加上去的,美其名约是维护。但他们在尾款没有结的情况下,愕然停机,造成两个机器人的手臂直接对撞,造成生产线直接毁掉。这个产生的损失远比模块和数据值钱很多,这就是案例,远程访问有没有好处?有好处,有没有弊端呢?有弊端,怎么样合规使用,这个是在座的互联网开发者应该思考的问题。
 
我们来看一看在下面一层,我们怎么去确保工业以太网是可靠的呢?在这里面因为作为厂商我们没有办法举别人家的例子,这个是我们自己家的产品,所有下面的网络都是环网,很少会建到组件性的网络。未来去做接入的时候,你在环型任何一点做接入都是可以的,就是为了防止单点的故障。
 
在新型网络里面如果断了一条线,切掉另一条线的时候有时延的,罗克韦尔设置的这个环网时延大概有3毫秒。也就是说,你从控制器的设备,大家可以看这个是控制器,这个是远程的IO,这个是驱动机械手臂的。从这个网络断了之后再到另外一条链路回过来只需要3毫秒,传统上根本无法达到。为什么要求这么短的时间?就是在工业上的特殊性。
 
互联网开发人经常自豪地说可以做到秒刷,也就是说1秒钟刷新1万点、2万点,甚至所有平台的点,在工业领域秒是很慢的概念,我们之间10毫秒是一个周期,10毫秒必须要回复,如果不回复现场就停机了,这就是为什么在工业领域里面大家关注点不太一样。
 
我也做了五年的IT,挺能理解传统IT碰到工业自动化人的无奈,工业自动化人纠结的点都不重要,非得纠结那几个点,那个时间段,对我来讲拿到的是趋势,分析出来的是结果,我帮你预测的是未来数据,并不是纠结对业务陈升多大的损伤和价值,大家关注的点不太一样。
 
另外,给大家说一下现在工业以太网里面怎么样做以太网的,这张图可以代表80%的企业,现在作为远程的维护者,无论是工程师、主任,还是厂长,都很少直接访问万维网,除了自己的OA办公系统,他们怎么来做呢?通过互联网接入边界路由器,这个路由器是企业的,经过防火墙,穿过交换机做了认证之后,再穿过防火墙,再通过工业的核心交换机,再到PLC。也就是说,挂了两级VPN,一个是企业级的VPN,企业集团的用户进来之后再到下面认证里面再做认证,说明企业级的工业用户,授权之后才能进入。
 
也就是说,春秋的远程访问挂两级VPN,如果是工厂里面应用,基本说服务器都是挂在这个地方,既可以有工业的数据,也可以提供企业的数据,基本上访问的内网数据多一点,尤其是生产的日报、月报,他们认为很机密的数据,但没什么机密的。
 
这个图基本上全球的企业和本地企业访问的标准架构,如果未来大家要去做远程访问的时候,大家可以看一下可能你不需要直接到下面去拿数据,只需要在这一层把数据拿走。
vbox5104_LING8946_154253_small
最后,说一下在我们CPWE设置时间同步里面有一些区别的,刚才我们说3秒钟恢复,为什么恢复?因为我们的控制器与我们的被控设备之间有一个时间同步,什么意思?大家都知道依托网协议是一个非时间同步,我要尽力而为,就算调整了QS,也只能是把部分的数据包尽量的从对站里面发出来的。但是在工业网络里面不是这样的,要求在每一个时间线里面,就像一个人每天早上6点吃早点,9点上班,12点吃中午饭,全部规定好,那一个时间点要做什么,所以时间同步非常重要。
 
在工业领域里面,所有的数据其实从控制器一级都是打着时标的,让你在同一个时刻大家做同样的东西,否则做的是上一分钟之前的事情。大家知道一分钟在自动化里面是很慢的,已经是上一个时刻的,已经是不匹配的。曾经有人说1秒钟几十万就过去了,速度非常快,如果在一瞬间没有送到PLC的点位,就废掉。
 
怎么保证时间同步?我们在协议里面嵌入了这个,大家未来再去做跟时标相关的可以参考协议,可以让标准的以太网不需要把交换机TCP、IP的报文砍掉,直接从二层把数据拿到,这样会更快?不需要,只需要你采用这样的协议就可以把带有时标的东西拿到。
带有时标的东西拿到之后,就是数采精确度就要比别人高很多。如果对我们做数据分析的时候,对时间划分多少片,尤其是在监测这个领域,不知道大家有多少做这个领域,我们叫预测性维护就是这样,就是设备的振动。
 
之前把批量的数据通过转换,未来不需要这么复杂,只需要按照CIP的协议把时标拿到,做切片分析,看振动传感器还是加速传感器,再去分析大型的转动设备是不是有问题。
 
我就给大家分享这么多,这个其实和代码、业务都毫无关系,只是给大家提供了一个,如果我们要构建工业互联网0-3层怎么做,怎么能避开不可逾越鸿沟的时候怎么做,可以借鉴这个架构或者体系,非常感谢大家。谢谢。
 

添加“E小萌”获取王宏善先生演讲PPT

微信图片_20190826183703