เอาปัญหาระบบ Network มาเล่าให้ฟัง
ประมาณ Week ที่ผ่านมา ที่ Office ลูกค้า เจอปัญหา ระบบจะ Down ทุกๆตี 3 .. แล้วล่มระดับ พังทั้ง Site ต้อง Full Reboot ถึงจะกลับมา Remote ได้
จาก Log ที่เช็คได้ก็คือ โดน Network Loop เล่นงานในระบบ
แต่ Network ที่ผมออกแบบ เรามี RSTP เปิดไว้อยู่แล้ว กำหนด Root Bridge อะไรไว้เรียบร้อย แล้วเราก็จงใจทำ Link ให้มัน Loop เพราะว่าจะให้มันเป็น Spare Link ยามที่ Main Link Fail นี่แหละครับ
ก็เลยงงๆ ว่า เอ๊ะ มัน Loop จากอะไรหว่า???
Hardware ใน Site นี้ มี Gateway เป็น Mikrotik และมี Switch + AP เป็น UNIFI ทั้งระบบ มี Switch ประมาณ 9 ตัว กับ Access Point ประมาณร้อยกว่าตัว
แล้วเหตุการณ์ Loop จนต้อง Reset ก็เกิดขึ้น 3 วันติด ทำให้ Network ใช้งานไม่ได้ตอนตี 3 ที่ ทีม Operation ของ Site นี้ยังต้องทำงานอยู่ ซึ่ง มันก็แปลกมาก เพราะมันนิ่งมาเป็น 3-4 ปี แทบไม่เคยมีปัญหา อยู่ดีๆมาบ๊องได้ไง
จุดที่เป็น Key point ในการค้นหาปัญหาก็คือตี 3 นี่แหละครับ ถ้าระบบมันจะ Loop มันก็ Loop จนเจ๊งแบบไม่เลือกเวลาตั้งนานแล้ว ไม่ต้องมารอตี 3 เป๊ะๆ ทุกวันหรอก
ก็เลยไปค้น Cron ในระบบ + พวก Schedule Task ว่ามันทำอะไรตอนตี 3 หว่า
โชคดีมากที่เจออันเดียว นั่นก็คือ ระบบ Auto Update Firmware ของอุปกรณ์ ที่รันให้เช็คตอนตี 3 ครับ
ให้ผมเดานะ สถานการณ์ก็คือ
ตอนตี 3 ระบบพยายามที่จะทำ Auto Update ก็เลยสั่งให้อุปกรณ์ Auto Update
แล้วตอน Update มันน่าจะไม่ผ่าน เพราะว่า ผมเห็นสถานะ Switch มันยังเป็น Firmware เก่าอยู่เลย พอมัน Update ไม่ผ่าน ตัว OS บน Switch มันก็ค้าง ผลก็คือ ระบบกัน Loop ที่เป็น RSTP มันก็พังไปด้วย
แล้วกลายเป็น Loop ก็พังระบบทั้งหมด เละเป็นโกโก้ครัชชชชชชจ้าาาาา
ตอนนี้แก้ไขชั่วคราวด้วยการทำ Manual Update + ปิด Auto Update ไปก่อน เดี๋ยวรอลุ้นคืนนี้อีกที ว่าจะหายไหม
เฮ้อออออออ