VTR Tools - FMS

Monitoring System
VTR Tools - Broadband
VP T&O
Gerencia Continuidad Operacional
19/02/2019
VTR Monitoring System
FMEXEL (FMS)
LIBERTY LATIN AMERICA | Comité de Interacciones Técnicas y Banda Ancha| VTR | 26/09/18 222
Alarm navigator
Critical Mayor Minor Normal
NNOC
FMS VTR-FMS Open Open Vendor

HPoV Source
Source
 Nagios, HPoV, OPENNMS, Midle

alarm concentrator.
• Nagios, used to monitoring

mainly variables from servers.
• HPoV, focus on Backbone IP

monitoring.
• OPENNMS, based on traps.

VTR
Platform
Critical Mayor Minor Normal
NNOC
VTR-FMS Open Open Vendor

HPoV Source
Source
VTR
Platform
Formato Alarma a FMS
String Standar
<PREFIJOPLATAFORMA>
<CODIGOCOMUNA_SITE>_<PLATAFORMA>_<IP>_<nombre_servidor>_<SERVICIO>
<CODIGO_ALARMA>
<DETALLE_ALARMA>
<SEVERIDAD>
<FECHA>
Severidad
CRITICAL CR
MAJOR MJ
WARNING MJ
MINOR MN
CLEAR CL
PREFIJOPLATAFORMA CODIGO_ALARMA SEVERIDAD
INCO*PENA_P1_INCOGNITO_192_168_216_161_CPU*INC062*Warning: 83 %*MJ*07/04/2017 23:48
CODIGOCOMUNA_SITE>_<PLATAFORMA>_<IP>_<nombre_servidor>_<SERVICIO DETALLE_ALARMA FECHA
Monitoring Broadband
25
Arquitectura General Backbone IP
Internet Telefonía
Fija -Móvil
Video
Intranet
Broadcast
VoD B2B
Unique Backbone  Multiple Service over it…..

Unicast and Multicast protocol…
26
VTR Fiber Optic
North
ANTO
Los Andes
Quillota 94 KM (18,6 dB @ 1550 nm)
LSER
56,8 KM (19,5 dB @ 1310 nm) 144 KM (29,9 dB @ 1550 nm)
Llay llay
Hub
Independencia
Hub Viña del
Center Metro
Mar
Center Zone Hub Las

Condes
140 KM (29 dB @ 1550 nm)

Estimado
Hub Maipú RANC
Metro Zone Hub
Peñalolen
140 KM (29 dB @ 1550 nm)
San Antonio Estimado
South
60 KM Aproximado
Cabl 24 FO Autosportado CHIL
Hub La
Cisterna Hub La
Florida
27
Arquitectura General Internet
Total Traffic: 1.5 Tbps

International Traffic: 260Gbps North
ANTO
Total Cache: 1.2Tbps
Peering Cache: 93Gbps
Domestic peering: 23Gbps
LSER
Centro Metro
RANC
South
CHIL
28
Mainly Providers….
• 1.250.000 CPEs • 139 CMTS Security
•
Access
• 34 Models 73 E6K (80% cust.)

• 86% Arris • 6 E6K GEN2
• 800K Mercury • 66 C4
• 88k Downstream • 1 IPS (2 DMZ)
• 22k Upstream
• 150 Cache Server • 1 Peakflow

• 108 Google
• 105 Akamai
IP Services
• 67 Netflix
• 52 Facebook
• 4 MediaStream
• 29 SAA
• 9 ACS
• 30 DHCP-Incognito
• 5 Speedtest
• 20 Monitoring
• Equipment
Networking
• 318 Backbone IP
• 626 Corporate
• International Link
• 72 port 10G
• 260Gbps Utili.
• Domestic Link
• 440 port 10G
Backhaul
29
Plataforma Monitoreo Internet
SIT: Alarmas CM Offline y Lineas System Busy
DHCP-ACS: Alarmas de Servicio
Cacti-SSIP: Monitoreo y Alerta de Variables de Servidores
Cacti-Networking: Monitoreo y Variables de equipos de Red.
Nagios: Monitoreo y Alerta de Infraestructura Servidores
DNS: Monitoreo Servidores DNS
Portal CMTS: Monitoreo Variables de CMTS
Ser Assure: Arris, Monitoreo Variables CMTS
30
Monitoreo SIT
31
Diagrama Conectividad SIT
32
Diagrama General Plataforma SIT
BD SITRAC(6tb)
ORACLE 12C
Release 12.2.0.1.0
NODO BD1 NODO BD2 NODO BD3 NODO BD4
SERVIDOR WEB
SIT1
COLECTOR SIT2 COLECTOR SIT3 COLECTOR SIT4 COLECTOR SIT5

Procesos: Procesos: Procesos: Procesos:
Linea system bussy Consulta cable modem PVG Consulta
Carga clientes tango offline USP INCONGNITO
PASSPORT
MTT
S.O. NODOS BD: Oracle Linux Server release 6.9 ENDPOINT
S.O. COLECTORES: Red Hat Enterprise Linux Server release 6.5
S.O. SERVIDOR WEB: Red Hat Enterprise Linux Server release 6.5
33
Servidores Web y Colectores SIT
Umbral de alarma
Plat.
Plataforma Variable frecuencia WARNING CRITICAL FMS
Monitoreo
Nagios,
CPU 5 min 80% 90% si
Cacti
DISCO_RO Nagios,
5 min 80% 90% si
OT Cacti
SIT1 DISCO_HO Nagios,
SIT2 5 min 80% 90% si
ME Cacti
SIT3
Nagios,
SIT4 LOAD 5 min 2,2,2 3,3,3 si
Cacti
SIT5
5000.0,100%
PING Nagios 5 min 3000.0,80% si
-p 3 respuesta negativas
Nagios,
RAM 5 min 98% 99% si
Cacti
Alarmas generadas vía Nagios, registro gráfico histórico vía Cacti_SSIP
34
Servidores Base de Datos SITRAC
Umbral de alarma
Plataforma Variable Plat. Monitoreo frecuencia WARNING CRITICAL FMS
CPU nagios, Cacti 5 min 80% 90% si
DISCORAIZ nagios, Cacti 5 min 80% 90% si
BD1 DISCO_HOME nagios, Cacti 5 min 80% 90% si

BD2
BD3 DISCO_TMP nagios, Cacti 5 min 80% 90% si
BD4
DISCO_U01 nagios, Cacti 5 min 85% 90% si
DISCO_USR nagios, Cacti 5 min 80% 90% si

DISCO_VAR nagios, Cacti 5 min 80% 90% si
LOAD nagios, Cacti 5 min 2,2,2 3,3,3 si
5000.0,100% -p 3
PING nagios 5 min 3000.0,80% respuesta si
negativas
RAM nagios, Cacti 5 min 90% 95% si
Alarmas generadas vía Nagios, registro gráfico histórico vía cacti
35
Alarma CM Offline
(umbral + moda) > muestra cm offline
Muestra cm offline: cantidad de clientes sin servicio de un CNC, las muestras se obtienen cada
10 minutos y consultan a los equipos cmts(140), en un día completo son 144 muestras.
Umbral: 15% del total de clientes de un CNC.
Moda: moda sobre muestras de cable modem offline de 48hrs, se calcula a las 02:00am todos
los días, es decir moda sobre un total de 288 muestras.
36
Evento CM Offline
1
2
3
Umbral = 60, moda = 25, umbral + moda = 23
Identificardor Tipo Count Description Create time Update Time
1 Alarma 1 SIT:179282 offlineCM en CNC:ANTO_009_003 - offline CM:119 - SIT 23/02/2019 8:00 23/02/2019 8:00
2 Alarma 13 SIT:179282 offlineCM en CNC:ANTO_009_003 - offline CM:119 - SIT 23/02/2019 8:00 23/02/2019 10:00
3 Clear 1 SIT:179282 offlineCM en CNC:ANTO_009_003 - offline CM:69 - SIT 23/02/2019 11:40 23/02/2019 11:40
37
Diagrama Alarma CM Offline
38
Alarma Linea System Busy
(umbral + moda) > muestra LSB
Muestra LSB: cantidad de clientes sin servicio de un CNC, las muestras se obtienen cada 5 minutos y
consultan las centrales softswitch(3) e hibridas(4), en un día completo son 288 muestras.
Umbral: tiene 3 niveles de umbral, estos son fijos y corresponden a 5,10 y 15 lsb.
Moda: moda sobre muestras de cable modem offline de 48hrs, se calcula a las 02:00am todos los días, es
decir moda sobre un total de 572 muestras.
39
Evento Linea System Busy
1
2
3
Umbral = 15, moda = 8, umbral + moda = 23
Identificardor Tipo Count Description Create Time Update Time
1 Alarma 1 SIT: LineasSB en CNC:VINA_021_002 - Lineas SB afectadas:34 - SIT 23/02/2019 16:30 23/02/2019 16:30
2 Alarma 13 SIT: LineasSB en CNC:VINA_021_002 - Lineas SB afectadas:34 - SIT 23/02/2019 16:30 23/02/2019 17:35
3 Clear 1 SIT: LineasSB en CNC:VINA_021_002 - Lineas SB afectadas:19 - SIT 23/02/2019 19:05 23/02/2019 19:05
40
Flujo Alarma Linea System Busy
41
Monitoreo DHCP
42
DHCP - Incognito
Cluster Hub Clientes @ Telefonía

IQUIQUE 28.793 11.735
LA SERENA 28.765 14.704
130/131 CALAMA 25.800 13.568
ARICA 24.293 11.312
COPIAPO 13.836 6.025
CHILLAN 11.862 6.313
SRMTango CMexel Cluster DHCP PUERTO

MONTT
11.814 8.290
LOS ANGELES 8.307 4.181
MPS DHCP/TFTP 132/133 VALDIVIA 7.410 5.899
OSORNO 4.875 3.480
TALCA 14.860 6.737
TEMUCO 12.864 9.281
CURICO 8.966 4.868
A 135/136 ANTOFAGASTA 62.873 26.862
137/138
B LAS CONDES 101.921 55.662
145/146
151/152 LA FLORIDA 112.744 65.268
INDEPENDENCI
128.384 57.204
153/154 A
VINA DEL MAR 132.425 59.679
QUILLOTA 19.335 11.033
155/156
LOS ANDES 9.573 5.224
• 12 DHCP Cluster. SAN ANTONIO 6.991 4.035
CONCEPCION 68.593 40.880
161/162
RANCAGUA 34.203 18.562
29/30 MAIPU 95.744 54.744
LA CISTERNA 59.545 34.665
60/61
PENALOLEN 58.697 30.135
43
Diagrama General DHCP-Incognito
44
Network Count
Type Count
CPE 4847 (5124 mask /24 eq.) assigned
MTA 682 mask /22
CM one /16 or /17 per cmts, 147 configured
HUB DHCP REDES CPE REDES MTA

MAIPU 30 407 60
PENA 60 24 32
LACI 62 258 38
IQUI 130 55 75
CHIL 132 394 85
ANTO 135 271 30
LCON 138 12 17
LCON 146 328 43
LFLO 151 478 74
INDE 153 63 64
VINA 156 746 98
SUR-RANC 161 425 66
45
ALARMAS DHCP DESDE NAGIOS
frecuenci Umbral de alarma (3)

Plataforma Variable (1) Plat. Monitoreo (2) FMS
a WARNING CRITICAL
/usr/local/lib
DISCODATA nagios, Cacti 2 min 10%
15%
si
DISCOROOT nagios, Cacti 2 min / 15% 10% si
DISCOVAR nagios, Cacti 2 min /home %15 10% si
90%, 70%, 99%, 80%,
LOADAVG nagios, Cacti 2 min
70% 80%
DHCP (24 si
servers)
servicios != 7 process
MULTICAST nagios 2 min
(1ry + 2dary)
si
3000ms o 5000ms
PING nagios 2 min
80% 100%
si
RAM nagios, Cacti 2 min 90% (total) 95% (total) si
Process memory Cacti 5 min n/a n/a no
Traffic Cacti 5 min n/a n/a no
46
DHCP traps a fms
Se pueden configurar varios destinos. Ejemplo:
Se envían traps snmp directos a los destinos, según los eventos habilitados
47
DHCP traps a fms
Configuración de eventos que generan mail/trap/syslog.

Aquellos sin uso no generan eventos.
48
DHCP traps a fms
Configuración de eventos que generan mail/trap/syslog.
Eventos relevantes
49
DHCP traps a fms
• CRI - Network view ha alcanzado umbral de uso (98-99%)
• CRI - Falta de IP en scope
• CRI - Server fuera del cluster (failover)
• CRI - Falla de sincronía/conflicto IP
• CRI – error en update ddns
• WARN - Servicio sobrecargado
50
ACS
Auto Configuration Server
51
ACS
Auto Configuration Server
Umbral de alarma (3)
Plataforma Variable (1) Plat. Monitoreo (2) frecuencia FMS
WARNING CRITICAL
DISCOROOT nagios, Cacti 2 min / 15% 10% si
90%, 70%, 99%, 80%,
LOAD nagios, Cacti 2 min
70% 80% si
PING nagios 2 min 3000ms o 80% 5000ms 100% si
RAM nagios, Cacti 2 min 90% (total) 95% (total) si
SSH nagios 2 min connection refused / error si
ACS (9 TCP nagios 2 min connection refused / error si
servers)
HTTP_9673 nagios 2 min connection refused / error si
MongoDB nagios 2 min connection refused / error si
MySQL nagios 2 min connection refused / error si
Memoria, swap Cacti 5 min n/a no
Traffic Cacti 5 min n/a no
52
ACS traps nagios->fms
Alertas server
Ping
Puerto http (soap/tr-69)
Conexión MongoDB / disco
Ram
Nagios
• Evento red monitoreo
53
Monitoreo Plataformas Web
54
Plataformas Web
55
Variables VTR.com
Plataforma Variable (1) Plat. Monitoreo (2) frecuencia Umbral de alarma (3) FMS
CPU nagios, Cacti 5 min -w 80% -c 90% si
DISCO_HOMEWEB nagios, Cacti 5 min -w 80% -c 90% si
DISCO_ROOT nagios, Cacti 5 min -w 80% -c 90% si
LOAD nagios, Cacti 5 min w 15,10,5 c 30,25,20 si
-w 3000.0,80% -c 5000.0,100% -p 3 respuesta
PING nagios 5 min si
negativas
RAM nagios, Cacti 5 min w 98% c 99% si
Trafico de red Cacti 5 min solo grafica no
Swap cacti 5 min solo grafica no
VTR.com check_snmp -H "IP" -C "community" -o

Snmp nagios 5 min si
(Dione) .1.3.6.1.2.1.1.4.0
(Rhea) Web nagios 5 min check_http -H "IP" si
Apache Cacti 5 min solo grafica no
(BDPrincipal)
FTP Nagios 5 min check_ftp -H 192.168.105.1 si
(BD Backup)
INTERNOVTR Nagios 5 min wget internovtrcom.vtr.cl si
HTTPS Nagios 5 min check_http_ssl!SERVER.reb.vtr.net!/ si
HTTP Nagios 5 min check_websitePort!80!SERVIDOR.reb.vtr.net si
MINISITIOS Nagios 5 min check_http_ssl!SERVER.reb.vtr.net!/concursos si
check_mysql -c 10 -w 8 -H $HOSTADDRESS$ -d
Mysql nagios 6 min si
$ARG1$ -l $ARG2$
56
Variables VTR.com
Ejemplos de alarmas que llega a FMS
Error a realizar un wget hacia ambiente Backend de VTR.com
Error a realizar un conexión https hacia VIP de VTR.com
Alarma en Nagios
57
Portal centro de Ayuda Online
Plat. Monitoreo Umbral de alarma

Plataforma Variable (1) frecuencia FMS
(2) (3)
LOAD nagios, Cacti 5 min w 15,10,5 c 30,25,20 si
-w 3000.0,80% -c
PING nagios 5 min 5000.0,100% -p 3 si
respuesta negativas
Centro de Ayuda
Online

Web nagios 5 min check_http -H "IP" si
check_mysql -c 10 -
w 8 -H
Mysql nagios 6 min $HOSTADDRESS$ - si
d $ARG1$ -l
$ARG2$
58
Portal Centro Ayuda Online
No respuesta de agente NRPE en servidor
Ejemplos de alarmas que llega a Nagios
59
Plataforma SpeedTest
Cliente
velocidad.vtr.net
qoe.velocidad.vtr.net Mysql
200.104.250.34 > Router PE1 INDE 0/7/0/15

VTR UID 1 2
HP
ProLiant
DL320
G5
NACIONAL
UID 1 2
HP
ProLiant
DL320
Base de Datos
G5
200.104.250.35 > Router PE1 INDE 0/0/0/17

tecnicos.velocidad.vtr.net
ayuda.velocidad.vtr.net
INTERNACIONAL
Sondas Neutralidad
Level 3
1 2 3
! CONSOLE
UCS
4 5 6 7 8
C220 M3
SPEEDTEST MIAMI EN TELXIUS
60
Variables Monitoreo Speedtest
Plat. Umbral de alarma

Plataforma Variable (1) frecuencia FMS
Monitoreo (2) (3)
w 15,10,5 c
LOAD nagios, Cacti 5 min si
30,25,20
-w 3000.0,80% -c
PING nagios 5 min 5000.0,100% -p 3 si
respuesta negativas
Speedtest Trafico de red Cacti 5 min solo grafica no
(SpeedtestInde1)
(SpeedtestInde2)
check_snmp -H "IP"
Snmp nagios 5 min -C "community" -o si
.1.3.6.1.2.1.1.4.0
Web nagios 5 min check_http -H "IP" si
check_mysql -c 10 -
w 8 -H
Mysql nagios 6 min $HOSTADDRESS$ - si
d $ARG1$ -l
$ARG2$
61
Variables Monitoreo Speedtest
Ejemplo cuando servidor fue reinciado producto de trabajos programados, en el cual servidor
Nagios efectuó consulta hacia servidor y no obtuvo respuesta.
62
Cacti Servicios IP
Cacti-SSIP: http://cactissip.mon.vtr.net/cacti/
/
 Cacti SSIP, no genera ni envía alarmas a FMS, solo muestra históricos de tráficos.
63
Cacti Networking
Cacti-Networking: http://cacti.mon.vtr.net/
 Cacti-Networking, Genera y envía una sola alarma por alta y baja utilización de interfaces.
 Alarma por baja de Tráfico: Treshold: 500Mbps.
64
Cacti Networking
Evento: 22-Feb.
Baja trafico Plataforma Cache Netflix
• THOLD001,CACTI_MONITOREO_HPOV_caeb9371e0e0cbb5d63f5f0f34d7a556_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:18,2/22/19 20:18

ALERT: Router - CRS-X/16 Independencia Borde - Internacional - Twis_Link22_LACP - TenGigE0/3/0/2 [traff,_,HPOV,,,,HPOV,MONITOREO,
HPOV,,,,,540718228,,
• THOLD001,CACTI_MONITOREO_HPOV_8924e4b9d7444c955a130b5cd64b3834_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:18,2/22/19
20:18,,,
ALERT: Router - CRS-X/16 Independencia Borde - Internacional - Twis_Link28_LACP - TenGigE0/1/0/5 [traff,_,HPOV,,,,HPOV,MONITOREO,
HPOV,,,,,542332955,,
65
Cacti Networking
Evento: 22-Feb.
Baja trafico Plataforma Cache Netflix
 Alarma desplegada en FMS por evento.

CODALERT,NEAFFECTED,MANAGER,SEVERITY,OPERATORACK,OPERATORCLEAR,DATEALERT,DATECREATED,TYPECLEAR,TYPEALERT,DESCRIPTIONALERT,LOCATION,COMUNA,SE
THOLD001,CACTI_MONITOREO_HPOV_d2fed9e44ee7f08860d6888a00103b8f_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:12,2/22/19 20:12,,,WARNING: Router - ASR Independencia PE1 - Netf
THOLD001,CACTI_MONITOREO_HPOV_2cc2519ba0b404d823cf17a58c9cbbaf_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:12,2/22/19 20:12,,,WARNING: Router - ASR Independencia PE2 - Netf
THOLD001,CACTI_MONITOREO_HPOV_a228ba954d83de44cf9ce5f7ef31a056_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:12,2/22/19 20:12,,,WARNING: Router - ASR Independencia PE2 - Netf
THOLD001,CACTI_MONITOREO_HPOV_1045ed611eefc24017e5f7f115dfa2a1,MGR_ALL_HPOV,critical,,,2/22/19 20:22,2/22/19 20:22,,,ALERT: Router - ASR Conce PE2 - Netflix_Cache_1_200 1
THOLD001,CACTI_MONITOREO_HPOV_d924d14447b647824575450757e78634_INDE,MGR_ALL_HPOV,critical,,,2/22/19 20:27,2/22/19 20:27,,,ALERT: Router - ASR Independencia PE2 - Netflix
THOLD001,CACTI_MONITOREO_HPOV_4354da5df512af83334bbe716afd198d,MGR_ALL_HPOV,critical,,,2/22/19 20:27,2/22/19 20:27,,,ALERT: Router - ASR Conce PE1 - Netflix_Cache_1_200 1
66
HPoV
http://192.168.226.210/nnm/main
• Monitoreo:
Plataforma
Routers
CMTS
67
Arquitectura General Backbone IP
Internet Telefonía
Fija -Móvil
Video
Intranet
Broadcast
VoD B2B
Unique Backbone  Multiple Service over it…..

Unicast and Multicast protocol…
68
VTR Fiber Optic
North
ANTO
Los Andes
Quillota 94 KM (18,6 dB @ 1550 nm)
LSER
56,8 KM (19,5 dB @ 1310 nm) 144 KM (29,9 dB @ 1550 nm)
Llay llay
Hub
Independencia
Hub Viña del
Center Metro
Mar
Center Zone Hub Las

Condes
140 KM (29 dB @ 1550 nm)

Estimado
Hub Maipú RANC
Metro Zone Hub
Peñalolen
140 KM (29 dB @ 1550 nm)
San Antonio Estimado
South
60 KM Aproximado
Cabl 24 FO Autosportado CHIL
Hub La
Cisterna Hub La
Florida
69
Total Traffic: 1.5 Tbps

International Traffic: 260Gbps North
ANTO
Total Cache: 1.2Tbps
Peering Cache: 93Gbps
Domestic peering: 23Gbps
LSER
Centro Metro
RANC
South
CHIL
70
•
Access

• 22k Upstream

• 108 Google
• 105 Akamai
IP Services
• 67 Netflix
• 52 Facebook
• 4 MediaStream
• 29 SAA
• 9 ACS
• 5 Speedtest
• 20 Monitoring
• Equipment
Networking
• 318 Backbone IP
• 626 Corporate
• 72 port 10G
• 260Gbps Utili.
• Domestic Link
• 440 port 10G
Backhaul
71
Plataforma Monitoreo Internet
SIT: Alarmas CM Offline y Lineas System Busy
DHCP-ACS: Alarmas de Servicio
Cacti-SSIP: Monitoreo y Alerta de Variables de Servidores
Cacti-Networking: Monitoreo y Variables de equipos de Red.
Nagios: Monitoreo y Alerta de Infraestructura Servidores
DNS: Monitoreo Servidores DNS
Portal CMTS: Monitoreo Variables de CMTS
Ser Assure: Arris, Monitoreo Variables CMTS
72
DNS
Internet - ToIP
73
DNS Internet
Arquitectura General
74
DNS Internet - Autoritativos
75
Plataforma
Plat. frecuen
Variable (1) Umbral de alarma (3)
Monitoreo (2) cia FMS
CPU nagios, Cacti 5 min -w 80% -c 90%
si
DISCO_ROOT nagios, Cacti 5 min -w 80% -c 90%
si
DISCO_VAR nagios, Cacti 5 min -w 80% -c 90%
si
DNS nagios 5 min respuesta negativa ns00.vtr.net
si
LOAD nagios, Cacti 5 min w 15,10,5 c 30,25,20
DNS Autoritativo si
(Ns00.vtr.net) (Ns01.vtr.net) -w 3000.0,80% -c 5000.0,100% -p 3
PING nagios 5 min
respuesta negativas si
RAM nagios, Cacti 5 min w 98% c 99%
si
solo grafica
Trafico de red Cacti 5 min
no
solo grafica
Unicast Packet Cacti 5 min
no
solo grafica
Swap cacti 5 min
no
76
Trap que llega a FMS

Item Descripción Monitoreado Alarma en FMS
2 DNS Si  FMS PENA_P1_DNS_200_104_255_130_ns00
Autoritativos MACU_M1_DNS_200_74_121_200_ns01
77
DNS Internet - Resolver
78
Plataforma Plat. frecuen

DISCO_ROOT nagios 5 min -w 80% -c 90% si
DNS nagios 5 min respuesta negativa ns00.vtr.net si
LOAD nagios, Cacti 5 min -w 2,2,2 -c 3,3,3 si
-w 3000.0,80% -c 5000.0,100% -p 3
PING nagios 5 min
-w 3000.0,80% -c 5000.0,100% -p 3
PING interfaz VIP nagios 5 min
Vantio Estadisticas
Cacti,
(NoError,NxDomain,S 5 min Aumento Servfail o Nxdomain
networkview
ervFail,Req_Received
no
Disco
Cacti 5 min solo grafica
/var/nom/statmon no
DNS Resolver (6 Servidores ) Swap Cacti 5 min solo grafica no
79
 Trap que llega a FMS

6 DNS Resolver Si  FMS PENA_P1_DNS_200_83_1_201_asgard
PENA_P1_DNS_200_83_1_202_muspeltheim
MAIP_M1_DNS_190_160_0_51_e1b9maip
MAIP_M1_DNS_190_160_0_52_e1b10maip
PENA_P1_DNS_200_30_192_4_alfheim
PENA_P1_DNS_200_30_192_5_vanaheim
 Alarma en FMS
80
DNS - ToIP
81
DNS - ToIP

Monitoreo (2) cia
FMS
DISCO_ROOT nagios, Cacti 5 min -w 80% -c 90%

si
DNS nagios 5 min respuesta negativa test.cl si
LOAD nagios, Cacti 5 min -w 2,2,2 -c 3,3,3

si
-w 3000.0,80% -c 5000.0,100% -p 3
DNS TOIP (2 Servidores) PING nagios 5 min
Unicast Packet Cacti 5 min solo grafica no
Disco_Boot Cacti 5 min solo grafica no
Disco_Tmp Cacti 5 min solo grafica no
Swap Cacti 5 min solo grafica no
82
DNS - ToIP
Trap que llega a FMS

2 DDNS Si  FMS PENA_P1_TOIP_192_168_150_9_dnstoip03

PENA_P1_TOIP_192_168_150_8_dnstoip01
Ejemplo Visualización de Alarma en FMS
83
DNS Monitoreo Infraestructura VMWARE (ESX 6.5)
84
Monitoreo Infraestructura VMWARE (ESX 6.5)

-w 3000.0,80% -c 5000.0,100% -p 3
PING nagios 5 min
VHOST cacti 5 min cantidad de hosts activos no
DISCO_LOCAL Cacti 5 min Espacio en disco no
RAM Cacti 5 min Uso memoria RAM no
DISCO_STORAGE Cacti 5 min Espacio en disco no
Plataforma Virtual ESX 6.5 (4
Processes Cacti 5 min procesos activos no
servidores)
Trafico de red VLAN solo grafica
Cacti 5 min
100 no
Cacti 5 min
70 no
Cacti 5 min
Privada no
85
Monitoreo Infraestructura VMWARE (ESX 6.5)
Item Descripción Monitoread Alarma en FMS

o
4 s01esxpssip01.vtr.net Si  FMS PENA_P1_VMWARE_192_168_226_106_s01esxpssip01.vtr.net
s01esxpssip02.vtr.net PENA_P1_VMWARE__192_168_226_107_s01esxpssip02.vtr.net
s01esxpssip03.vtr.net PENA_P1_VMWARE_192_168_226_108_s01esxpssip03.vtr.net
s01esxpssip04.vtr.net PENA_P1_VMWARE__192_168_226_109_s01esxpssip04.vtr.net
86
Portal CMTS
87
Portal CMTS
URL: http://portalcmts.vtr.net/
88
Portal CMTS
Registro de variables principales de todos los CMTS Arris C4 y E6000.
89
Portal CMTS
 Variables monitoreadas:
Utilización: %Utilización interfaces Upstream y Downstream.
Tráfico Utilización interfaces Upstream y Downstream.
FEC Error: Errores corregidos y no corregidos de interfaces Upstream.
Signal Noise: relación Señal a Ruido por Interfaces Upstream.
90
Arquitectura Portal CMTS
91
Alarmas Portal CMTS
Infraestructura
Plataforma Servidor Alarma (descripción) Periodicidad Plat. Monitoreo Umbrales FMS
Collector x 4 CPU 3min nagios nrpe, cacti -w 80% -c 90% si
LOAD 3min nagios nrpe, cacti -w 9,9,9 -c 10,10,10 si
PING 3min nagios nrpe - si
RAM 3min nagios nrpe, cacti 95 c 90 w si
DISCOROOT 3min nagios nrpe, cacti -w 15 -c 10 -p / si
Controller x 2 CPU 3min nagios nrpe, cacti -w 80% -c 90% si
PortalCMTS
Web x 2 CPU 3min nagios nrpe, cacti -w 80% -c 90% si
DWR x 2 CPU 3min nagios nrpe, cacti -w 80% -c 90% si
92
Alarma FECUN
1. Alarma FEUNC Upstream fms
Las alertas generadas por FECUNC “fec uncorrectables” en upstream son enviadas conforme a la regla definida por
operaciones conforme al tiempo y amplitud.
>=25 >=80
Amplitud Fecunc%
>=40 >=60
>=60 >=30
>=120 >=10
>=180 >=5
Tiempo (Minutos)
93
Portal CMTS
Flujo Alarma FECUN
94
Serv Assure
Serve Assure
95
Serv Assure
Diagrama Arquitectura
96
Serv Assure
Infraestructura
SN x 23 CPU 2min nagios nrpe, cacti -w 80% -c 90% si
UIServer x 2 CPU 2min nagios nrpe, cacti -w 80% -c 90% si
ServAssure DISCOVAR 2min nagios nrpe, cacti -w 20 -c 10 -p /var si
DISCOOPT 2min nagios nrpe, cacti -w 20 -c 10 -p /opt si
DISCOUSR 2min nagios nrpe, cacti -w 20 -c 10 -p /usr si
WSC CPU 2min nagios nrpe, cacti -w 80% -c 90% si
DISCOVAR 2min nagios nrpe, cacti -w 20 -c 10 -p /var si
97
Serv. Assure
Infraestructura
Controller CPU 2min nagios nrpe, cacti -w 80% -c 90% si
DISCOVAR 2min nagios nrpe, cacti -w 20 -c 10 -p /var si
ServAssure
DWR x 2 CPU 2min nagios nrpe, cacti -w 80% -c 90% si
DISCOBACKUP 2min nagios nrpe, cacti -w 10 -c 5 -p /backup_rman si
DISCOORACLE 2min nagios nrpe, cacti -w 20 -c 10 -p /oracle si
DISCOGRID 2min nagios nrpe, cacti -w 20 -c 10 -p /grid si
98
Serv. Assure
1. Alarm: Falla en colección de datos desde CMTS o StarNode
- Se genera alerta para las ultimas colecciones por CMTS si son indeterminadas, ultima colección sin datos.
99
Serv. Assure
Alarma: Estado de los servicios criticos

Se genera alerta si los servicios no se encuentran en estado “running”
100
Red Corporativa
101
North
ANTO
LSER
Centro Metro
RANC
South
CHIL
102
•
Access

• 22k Upstream

• 108 Google
• 105 Akamai
IP Services
• 67 Netflix
• 52 Facebook
• 4 MediaStream
• 29 SAA
• 9 ACS
• 5 Speedtest
• 20 Monitoring
• Equipment
Networking
• 318 Backbone IP
• 626 Corporate
• 72 port 10G
• 260Gbps Utili.
• Domestic Link
• 440 port 10G
Backhaul
103
Red Corporativa
La red Corporativa se compone de:
• 389 switches Extreme

• 79 Access point Extreme
• 4 controladoras wi-fi Extreme
• 31 switches Cisco
• 153 Access point Cisco
• 57 firewall Juniper
• 8 balanceadores F5
Lo que lleva a un total de 721 equipos de comunicación
Existen múltiples servicios que son parte de la Red Corporativa como por ej:
• Recaudación • Correo corporativo
• VTR.com • Active directory
• Bases de Datos • DNS internos
• Plataforma Smartflex • Wi-fi corporativo
• Plataforma Tango • Pagina del NOC
• Plataforma Andes • Conectividad con Empresas de CallCenter
• Conectividad para acceder a URLs de Liberty
• Conectividad con otras empresas para envió de SMS
• Portabilidad numérica
104
Red Corporativa
Los equipos de comunicación se monitorean mediante sistema o software

llamado Traverse, este equipo se encuentra alojado en VM ubicada en
DataCenter de Peñalolen administrada por OPTI.
105
Red Corporativa
Traverse monitorea distintas variantes como por ej:

• Uptime
• CPU
• Fuentes de Poder
• Ventiladores
• Módulos
• Memoria
• Temperatura
• Ping o latencia
• Interfaz Up/Down
• Interfaz BW
• Vecindad OSPF
• Cantidad de Sesiones (esto en FW y F5)
• VPNs s2s
Existen cuentas de lectura para personal del NOC y Soporte
URL para acceder a pagina WEB de Traverse
http://172.17.113.17/html/main.html
106
Red Corporativa
3. Traverse procesa la
respuesta, si el valor está
fuera del rango normal
que utiliza OID, envía trap
a FMS
TRAVERSE FMS
4. FMS procesa TRAP
enviado por Traverse y lo
refleja en su aplciacion
1. Traverse 2. Traverse
realiza consulta recibe respuesta
por OID SNMP de consulta
SNMP
5. Operador NNOC
Equipos de visualiza alerta en
aplicativo FMS
comunicación
FW, SW, F5, etc.
107
108
Monitoring System
VTR Tools
VP T&O
Gerencia Continuidad Operacional
19/02/2019

VTR Tools - FMS

Cargado por

Copyright:

Formatos disponibles

VTR Tools - FMS

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

VTR Tools - FMS

Cargado por

Copyright:

Formatos disponibles

Monitoring System

VTR Tools - Broadband

Critical Mayor Minor Normal

FMS VTR-FMS Open Open Vendor

 Nagios, HPoV, OPENNMS, Midle

• Nagios, used to monitoring

• HPoV, focus on Backbone IP

• OPENNMS, based on traps.

Critical Mayor Minor Normal

VTR-FMS Open Open Vendor

PREFIJOPLATAFORMA CODIGO_ALARMA SEVERIDAD

INCO*PENA_P1_INCOGNITO_192_168_216_161_CPU*INC062*Warning: 83 %*MJ*07/04/2017 23:48

CODIGOCOMUNA_SITE>_<PLATAFORMA>_<IP>_<nombre_servidor>_<SERVICIO DETALLE_ALARMA FECHA

Unique Backbone  Multiple Service over it…..

Center Zone Hub Las

140 KM (29 dB @ 1550 nm)

Total Traffic: 1.5 Tbps

• 34 Models 73 E6K (80% cust.)

• 150 Cache Server • 1 Peakflow

SIT: Alarmas CM Offline y Lineas System Busy

DHCP-ACS: Alarmas de Servicio

Cacti-SSIP: Monitoreo y Alerta de Variables de Servidores

Cacti-Networking: Monitoreo y Variables de equipos de Red.

Nagios: Monitoreo y Alerta de Infraestructura Servidores

DNS: Monitoreo Servidores DNS

Portal CMTS: Monitoreo Variables de CMTS

Ser Assure: Arris, Monitoreo Variables CMTS

NODO BD1 NODO BD2 NODO BD3 NODO BD4

COLECTOR SIT2 COLECTOR SIT3 COLECTOR SIT4 COLECTOR SIT5

Alarmas generadas vía Nagios, registro gráfico histórico vía Cacti_SSIP

Plataforma Variable Plat. Monitoreo frecuencia WARNING CRITICAL FMS

CPU nagios, Cacti 5 min 80% 90% si

DISCORAIZ nagios, Cacti 5 min 80% 90% si

BD1 DISCO_HOME nagios, Cacti 5 min 80% 90% si

DISCO_USR nagios, Cacti 5 min 80% 90% si

Alarmas generadas vía Nagios, registro gráfico histórico vía cacti

(umbral + moda) > muestra cm offline

Umbral: 15% del total de clientes de un CNC.

Umbral = 60, moda = 25, umbral + moda = 23

Identificardor Tipo Count Description Create time Update Time

(umbral + moda) > muestra LSB

Umbral = 15, moda = 8, umbral + moda = 23

Identificardor Tipo Count Description Create Time Update Time

Cluster Hub Clientes @ Telefonía

SRMTango CMexel Cluster DHCP PUERTO

HUB DHCP REDES CPE REDES MTA

frecuenci Umbral de alarma (3)

Configuración de eventos que generan mail/trap/syslog.

Configuración de eventos que generan mail/trap/syslog.

• CRI - Falta de IP en scope

• CRI - Server fuera del cluster (failover)

• CRI - Falla de sincronía/conflicto IP

• CRI – error en update ddns

• WARN - Servicio sobrecargado

Puerto http (soap/tr-69)

Conexión MongoDB / disco

• Evento red monitoreo

VTR.com check_snmp -H "IP" -C "community" -o

INCOPENA_P1_INCOGNITO_192_168_216_161_CPUINC062Warning: 83 %MJ*07/04/2017 23:48