不久前，一家企业的网络出现了大面积瘫痪，导致业务无法正常运作。问题发生在核心层交换机上，主控板出现了告警，设备复位后告警并未消除，判断为主控板损坏。更换新的主控板后，虽然设备运行正常，但所有IP业务却未能恢复。
首先，我们面临的问题是：这是物理故障还是逻辑故障？新更换的主控板没有告警，硬件运行正常，数据也没有丢失，但IP业务仍然无法恢复。部分透传业务正常，这又是为何？
接着，我们检查了DNS服务。DNS是将域名转换为ip地址的服务，若DNS服务出现问题，将导致无法上网。但经过核实，DNS服务运行正常。
我们随后考虑了是否存在ARP病毒或流量攻击。虽然之前有分支机构反映过丢包现象，但排查并未发现感染ARP地址欺骗病毒的机器。设备运行正常，没有病毒攻击或流量异常的迹象。
最终，我们发现问题出在核心层交换机与路由器的端口上。在检查IP ARP信息时，我们发现所有的MAC地址与IP地址都在地址表中，但我的计算机并未开机。这表明端口出现了问题。尝试关闭端口再重新启用后，IP地址对应的MAC地址消失了，所有IP业务也随即恢复。
故障解决后，我们总结了一些经验。在处理网络故障时，应该从整个网络的正常运行状况出发，检查上段网络是否正常，然后检查下段网络。即使故障点恢复，也不代表业务已经完全恢复。在排查过程中，不应局限于局部信息，而应从全局出发。
此外，我们还发现，在网络流量很大时，端口可能会出现假死现象，导致数据包不能正常转发。关闭端口并清除多余数据后，重新启动端口可以恢复数据的正常传输。
作为网络管理员，我们需要在日常处理故障的同时，不断提升自己的技术能力。面对未知的问题，只要我们引起足够的重视，总能找到解决问题的方法。在网络问题排查中，细致入微的观察和分析是关键，避免因疏忽而走弯路。对于整天与计算机网络打交道的网络管理员来说，遭遇网络故障几乎成为了家常便饭，而大多部分网络故障现象都局限在无法上网、频繁掉线或者是访问速度缓慢等。其实引起网络故障的原因可谓是繁多，既有人为操作因素引起的，也有网络设备自身状态引起的，还有可能是外界干扰引起的；但是在实际解决网络故障的过程中，笔者们有时会发现在排除了上面列出的各种可能因素后，网络故障仍然无法消除。下面的一则网络故障为核心层交换机主控板更换后，设备运行正常，但是业务并没有真正的恢复，竟然是上端设备端口资源没有释放所引起。相信各位看完下面的故障排除过程之后，一定会有新的收获。
故障现象
多个分支机构的局域网是通过租用当地运营商的10M光纤通道直接访问本地总部企业网，所有本地分支机构的网络汇聚到核心层交换，核心层交换直接连到路由器。其他的交换机负责各个网络业务的接入，这样网络结构比较简单明了，实际运行的状态也是比较稳定的。 前几天，网络突然出现大面积瘫痪故障，并导致企业业务无法正常运转。根据网络拓扑及出现的故障现象，可以迅速地定位到核心层交换设备出现了问题。到了现场的后，发现的主控板出现了告警，设备复位，告警并没有消除，可以判断为主控板损坏，更换新的主控板，设备运行正常，所有的二层透传业务恢复，但是所有IP业务没有恢复。
故障排查分析
排查一、物理故障还是逻辑故障?
故障的根源是核心层交换机的主控板出现了问题，这样网络故障的性质为物理故障。难道新更换的主控板有问题？但是设备运行正常，又没有告警信息。如：show card ，show cpu等，从运行状态上看，硬件没有问题。难道更换设备后，数据丢失了吗？察看相关的数据，发现并没有丢失，但是IP业务还是不能够恢复？可是部分透传业务又没有问题。究竟那里出现了问题呢？
排查二、DNS服务出了问题?
经过检查，笔者发现，虽然业务不能使用，但所有的路由信息都是正常的，ping所有的网元信息也都是正常的。难道是DNS服务出了问题？
所谓DNS，即域名服务器，它把域名转换为计算机能够识别的IP地址。如网站对应的IP是219.218.100.100。如果DNS服务器出错，则无法进行域名解释，自然也就不能上网了。有时候则是路由器的问题，无法与ISP的DNS服务连接，这时可把路由器关闭一会再开或是重新设置路由器即可。还有可能是网卡无法自动搜寻到DNS的服务器地址，可以尝试用指定的DNS服务器地址。进入“控制面板→网络和拨号连接”，双击“本地连接→属性→TCP/IP协议”，在弹出的对话框中选择“使用下面的DNS服务器地址”，然后填写相应的DNS服务器IP地址。经过核实后，DNS也没有问题。
排查三、是中ARP病毒还是有流量攻击?
故障发生前期，个别分支机构经常有人反映说上网时经常出现丢包现象，想到最近局域网中经常出现的ARP地址欺骗病毒，笔者就向所有相关的网络技术人员介绍了一下排查各自局域网，是否感染了ARP地址欺骗病毒，希望通过找到并解决感染ARP地址欺骗病毒的机器来解决IP业务不能恢复的问题，并没有查出结果。难道设备更换后，所有的路由表丢失了吗？把前几天的数据备份重新导入后，故障现象的依然存在。为了更快的恢复业务，咨询了设备厂家的技术支持，把所有的故障现象反馈给技术工程师，并查看了所有的告警及系统日志，并没有发现可疑的问题。最后得到的结果是：该设备运行正常，没有病毒的攻击、流量异常等现象。
故障解决
路是通的，说明该设备没有问题。网元是通的，DNS又没有问题，但是业务不能够恢复。在检查IP ARP信息时，发现所有的MAC地址与IP地址都在地址表。看见笔者使用的IP地址及MAC地址也在表中（如图）。但笔者的计算机并没有开！难道核心层与路由器的端口出现了问题？尝试着，把端口关闭后，再重新启用。发现笔者使用IP地址后，没有MAC地址。所有的IP业务全部恢复。
故障总结
虽然故障已经被解决了，但让笔者感到疑惑不解的是：为什么重新启动端口，业务就能够正常。而出现的故障点不是在路由器上，而是在核心层交换机上。不重新启动端口，测试的现象的都是正常的。后来咨询了相关的技术人员，故障发生前，数据的流量很大，故障发生时，很多的数据包不能正常转发，端口就会出现假死现象，传输的数据流量很小。关闭后，把多余的数据遗弃掉，重新启动，传输正常的数据信息。
总结上面的故障排除过程发现，出现网络故障应该从正常网络中去检测上段部分网络运行情况，来判断网络上段网络是否正常，然后，再检查下段网络，使用PING命令测试，进行针对性排查。即使发生的故障点恢复，并不代表业务的恢复，思考问题不能局限于局部信息，应该从全局思考。并结合具体的网络工作环境，说不定发现故障就在疏忽那一瞬间，要认真观察对网络有影响因素，可以避免少走一些弯路。作为一名网络管理员，除了日常网络故障的处理外，还会不时碰到自己知识范围以外的东西，但只要引起足够的重视，总会找到解决问题的办法。
