GERENCIA AEROESPACIAL & GOBIERNO

In
te

CC 0262
Proyecto: SINARAME

rn
o

DIVISION SEGMENTO TERRENO

-U

so

SINARAME, COP, Ingestor RMA,

Documento de Detalle

Preparado por

Fecha: 9/09/2014

Pag. 1 / 20

lid

SEGMENTO TERRENO

Cdigo del Documento: C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

REV

DESCRIPCION DE LOS CAMBIOS:

Versin Original

ESCRIBI

REVIS

APROB

Pando, Claudia

Gon Klubek, Mariela

Sandoval, Mnica

Ramis, Carolina

RESUMEN

C262-M1ST-3ETST-004-A.docx

lid

-U

so

Nombre del archivo electrnico:

In
te

Descripcin detallada del Ingestor RMA

rn
o

Co Autores: Prez Hortal, Andrs

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 2 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

TABLA DE CONTENIDOS
INTRODUCCIN ................................................................................................................... 4
Propsito ................................................................................................................................ 4
Alcance .................................................................................................................................. 4
Documentacin aplicable....................................................................................................... 4
Documentacin de referencia ................................................................................................ 4
Definiciones, Acrnimos y Abreviaturas ................................................................................ 4
ARQUITECTURA GENERAL DEL INGESTOR RMA .......................................................... 4
DESCRIPCIN FUNCIONAL DEL INGESTOR RMA .......................................................... 5
Ingestor Tiempo Real ............................................................................................................ 6
3.1.1
TMY de cada Ingestor TR .............................................................................................. 9
LA LISTA LAS ALARMAS ASOCIADAS A CADA TM SE DESCRIBEN EN EL .......................... 10
3.2
Archivo de configuracin ..................................................................................................... 10
3.3
Directorios utilizados para cada tipo de archivo .................................................................. 11
3.4
Generacin de Logs ............................................................................................................ 11
3.5
Ingestor Histrico ................................................................................................................. 12
3.6
Ingestor Manual ................................................................................................................... 12
3.7
Empaquetador ..................................................................................................................... 12
3.8
Agente SNMP ...................................................................................................................... 12
4
INTERFACES DEL INGESTOR RMA ................................................................................ 13
4.1
Interfaz RMA-Ingestor.......................................................................................................... 13
4.2
Interfaz Ingestin-Monitoreo y Control ................................................................................ 13
4.3
Interfaz Ingestin-gestin de la produccin ......................................................................... 13
5
ANEXO 1: LISTADO DE VARIABLES DE TM DE CADA INGESTOR TR ....................... 15
6
ANEXO 2: ALARMAS ASOCIADAS A LAS TM DE CADA INGESTOR TR..................... 18
7
ANEXO 3: BORRADO AUTOMTICO DE ARCHIVOS ANTIGUOS ................................ 19
7.1
Rotacin de archivos de Logs ............................................................................................. 19
7.2
Borrado de archivos L2 antiguos ......................................................................................... 20
8
ANEXO 4: PLANILLA DE TM DEL INGESTOR RMA ....................................................... 20

lid

-U

so

In
te

rn
o

1
1.1
1.2
1.3
1.4
1.5
2
3
3.1

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 3 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

1.1

INTRODUCCIN
PROPSITO

1. El presente es documento describe en detalle el

perteneciente al Sistema de Ingestin del COP.

1.2

diseo del Ingestor RMA,

ALCANCE

1. Este documento es aplicable solo al proyecto SINARAME.

DOCUMENTACIN APLICABLE

In
te

1.3

rn
o

1. [DA1] 0876-2230-3RCST-001-C, SINARAME, COP, Requerimientos del Sistema de

Ingestin
2. [DA2] 0876-2210-3ECIS-001-A, SINARAME, COP, Arquitectura de Software

1.4

DOCUMENTACIN DE REFERENCIA

so

1. [DR1] 0876-5100-1LCIS-001-D, SINARAME, Glosario del Proyecto

1.5

-U

2. [DR2] 0876-5100-3ICIS-006-B; SINARAME, Ciclo de vida de los datos

DEFINICIONES, ACRNIMOS Y ABREVIATURAS

1. Ver [DR1]

ARQUITECTURA GENERAL DEL INGESTOR RMA

lid

1. El Ingestor RMA del Sistema de Ingestin es el encargado de obtener de manera

automtica y continua, los datos L2 generados por cada RMA. Los datos son
adquiridos de manera independiente para cada radar.

2. La forma en la que los datos L2 son almacenados en el COP es en un archivo por cada
volumen y cada variable L2. Para hacer disponibles los datos a medida que estos son
generados, el RMA genera archivos BUFR con un contenido parcial de estos
volmenes a medida que los datos L2 son generados por el radar (BUFR de paquetes
de haces). Estos archivos son publicados por el RMA y puestos a disposicin de los
publicados al COP inmediatamente despus de ser generados.
3. Luego de ingestar todas las partes que componen un volumen, a partir de estos
archivos se genera un archivo por variable y por volumen para facilitar su
procesamiento. Los archivos empaquetados se dejan en un directorio definido.
4. Ingestor RMA pblica informacin sobre su funcionamiento mediante protocolo SNMP.
Las variables publicadas se describen en detalle en la seccin Anexo 1: Listado de
variables de TM de cada Ingestor TR.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 4 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

so

In
te

rn
o

5. En la siguiente Figura se muestra la arquitectura conceptual del Ingestor RMA y las

interfaces con otros SS, para un RMA. Esa misma arquitectura aplica a cada RMA se
que se ingesta. El smbolo # denota el nmero de RMA (comenzando desde 0).

-U

6. Los archivos generados en los RMA son publicados al COP mediante protocolo
RSYNC. La convencin de nombres y la estructura de directorio se encuentra descripta
en el [DR2] 0876-5100-3ICIS-006-B; SINARAME, Ciclo de vida de los datos.
7. Para la ingestin de los datos el Ingestor RMA tiene una interfaz con la UA del RMA,
mediante la cual obtiene los datos. Para ms detalles sobre la interfaz ver la
Seccin 4.1 Interfaz RMA-Ingestor.

DESCRIPCIN FUNCIONAL DEL INGESTOR RMA

lid

8. El monitoreo de los mdulos del Ingestor se lleva a cabo a travs del protocolo SNMP.

1. El Ingestor RMA est divido funcionalmente en 4 mdulos:

2. Ingestor Tiempo Real: encargado de la adquisicin de los datos ms recientes con alta
prioridad.
3. Ingestor Histrico: encargado de la adquisicin del resto de los archivos en baja
prioridad (TBC).
4. Ingestor Manual: encargado de la ingestin de archivos desde medios extrables.
(TBC)
5. Empaquetador: Se encarga de empaquetar un conjunto de archivos BUFR que
corresponden a un volumen y a una variable, en un solo archivo.
6. En las secciones siguientes se describe en detalle cada uno de los mdulos.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 5 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

3.1

INGESTOR TIEMPO REAL

1. El Ingestor Tiempo Real es el encargado de la adquisicin de los archivos BUFR de

paquetes de haces en Tiempo real de manera continua. Este proceso se ejecuta desde
consola de comandos en un sistema operativo Linux.

rn
o

2. Los parmetros que definen el funcionamiento del ingestor son obtenidos de un archivo
de parmetros. La ruta al archivo se pasa como parmetro al ejecutar el Ingestor
Tiempo Real. Los parmetros que se encuentran en el archivo y su formato se describe
en la seccin Archivo de configuracin en la pgina 10.

In
te

3. Se define como Tiempo Real a la adquisicin del Volumen en progreso en el RMA, a

medida que este es generado. Si comienza la generacin de un nuevo volumen y aun
no se ha bajado todo el volumen anterior se sigue descargando volumen anterior. Solo
cuando quede ms de un volumen entre el que se encuentra en proceso de descarga y
el ltimo se debe ignorar el resto y descargar el ltimo. La antigedad del volumen a
descargar no debe superar el valor configurable maxAgeInMinutes =10 minutos.

-U

so

4. El Ingestor Tiempo Real busca los archivos que debe adquirir en la UA del RMA y los
adquiere utilizando la herramienta Rsync, realizando sincronizaciones con carpetas
determinadas. Para esta sincronizacin se utiliza el protocolo Rsync sin autenticacin.
Rsync es una aplicacin libre para sistemas de tipo Unix y Microsoft Windows que
ofrece transmisin eficiente de datos incrementales, que opera tambin con datos
comprimidos y cifrados. Mediante una tcnica de delta encoding, permite sincronizar
archivos y directorios entre dos mquinas de una red o entre dos ubicaciones en una
misma mquina, minimizando el volumen de datos transferidos. Una caracterstica
importante de Rsync no encontrada en la mayora de programas o protocolos es que la
copia toma lugar con slo una transmisin en cada direccin. Rsync puede copiar o
mostrar directorios contenidos y copia de archivos, opcionalmente usando compresin
y recursin.

5. Para la ingestin de nuevos archivos el Ingestor Tiempo Real se sincroniza con el

directorio de la UA correspondiente al volumen del cual se desea ingestar sus archivos.
Esta sincronizacin se realiza contra un directorio local (Mirror) que contiene los
archivos que se estn ingestando. De esta manera el proceso de ingestin trata de
replica el contenido de la UA en el COP.

lid

6. Para cada RMA se utiliza un directorio de Mirror diferente. Estas variables son
configuradas en un archivo de configuracin por cada radar.

7. Cuando se adquieren todas las partes que corresponden a un volumen (para una
variable) se empaquetan las mismas utilizando el mdulo Empaquetador. En esta
instancia se verifica que todas las partes del volumen, transmitido en partes, estn
disponibles para generar los archivos por volumen. Caso contrario no realiza el
empaquetado y espera a que las mismas sean adquiridas. Puede darse el caso que
nunca se ingesten todas las partes que componen un volumen para una dada variable,
en estas situaciones el ingestor se considera Fuera de Tiempo Real.
8. Los archivos ingestados (partes de volmenes) son mantenidos por el ingestor por el
trmino de un mes. Luego de ese tiempo los mismos son borrados mediante un
proceso automtico que corre por fuera del Ingestor, ver Anexo 3: Borrado Automtico
de Archivos Antiguos para ms detalle sobre este proceso.
9. En la Figura siguiente se muestra un esquema detallado de una instancia del Ingestor
Tiempo Real para un radar.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 6 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

Ingestor RMA de tiempo real

RMA1

P
SNM
GET

Agente
SNMP

rsync

SM
B

Publicacin

Catalogacin y
Almacenamiento

In
te

Ingestor TR
RMA1

Monitoreo COP

rn
o

Sistema de
Ingestin

Empaquetador de
volmenes

so

Mirrors UAs

-U

10. En normal funcionamiento el ingestor adquiere del RMA todos los archivos generados.
En caso que algunos archivos no puedan ser adquiridos de acuerdo a la definicin de
Tiempo Real dada anteriormente, se considera que el Ingestor dej de funcionar de la
manera esperada y se produce un evento denominado Fuera de Tiempo Real.
Inmediatamente despus de que se detecta esta situacin, el Ingestor intenta adquirir
los archivos correspondientes al volumen ms reciente.

11. El ingestor tiempo real requiere una relacin entre el ancho de vnculo entre la tasa de
datos generado por el radar y el ancho de banda disponible de mayor a 1 para su
correcto funcionamiento (siempre el Tiempo Real).

lid

12. En caso que alguno de los mdulos tenga una falla distinta al evento Fuera de Tiempo
Real, se produce un evento de error en el Ingestor y la informacin sobre el mismo se
publicada mediante protocolo SNMP.

13. Los eventos mencionados anteriormente as como informacin relativa a su

funcionamiento son almacenados en archivos de logs. El tamao de estos archivos de
logs se encuentra limitado a 1MiB. Se mantiene una historia de los ltimos 10MiB de
logs (10 archivos de 1MiB cada uno). Para ms detalles del proceso ver Anexo 3:
Borrado Automtico de Archivos Antiguos en la pgina 19. Este manejo de logs se
realiza de manera automtica e independiente del Ingestor.
14. Como un herramienta adicional de monitoreo del normal funcionamiento del Ingestor,
durante la ejecucin del mismo, se incrementa un contador (Watchdog). En caso que
este contador no se incremente durante un tiempo configurado, indica que el ingestor
se encuentra funcionado pero algunos de sus procesos internos est demorando ms
de lo habitual y se encuentra frenado. Luego de cada uno de los procesos descriptos
en la Figura siguiente se incrementa el contador en una unidad.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 7 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

15. El proceso de ingestin es descripto en la Figura siguiente:

rn
o

Inicio Ingestin

Leer archivo de configuracin

In
te

Bsqueda de ltimos 2 Volumenes publicados en

RMA

Toma de Decisin -> Volumen a adquirir

so

Guardo en Transfer

NO

-U

Realizar sincronizacin

Volumen Completo

SI

Empaqueto partes del

Volumen

16. En la siguiente tabla se muestra la tabla de verdad para la toma de decisiones si un

volumen se adquiere o no.

Antigedad<=10
min

Ultimo Volumen
en UA (Volumen
1)

lid

Caso
N

Penltimo Volumen en
UA (Volumen 2)

Ultimo
Volumen
Local

Resultado

Antigedad<=10 min

Volumen 1 Sincronizo volumen 1

Sincronizo
primero
volumen 2 y luego el
Volumen 2 volumen 1

Antigedad<=10
min

Antigedad<=10 min

Antigedad<=10
min

Antigedad<=10 min

Antigedad<=10
min

Antigedad>10 min

Volumen 1 Sincronizo el volumen 1

Antigedad<=10
min

Antigedad>10 min

Volumen 2 Sincronizo el volumen 1

C262-M1ST-3ETST-004-A

Otro

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Sincronizo el volumen 1

Pg. 8 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

Penltimo Volumen en
UA (Volumen 2)

Ultimo
Volumen
Local

Antigedad<=10
min

Antigedad>10 min

Otro

Antigedad>10
min

Antigedad<=10 min

Volumen 1 Esta posibilidad no existe

Antigedad>10
min

Antigedad<=10 min

Volumen 2 Esta posibilidad no existe

Antigedad>10
min

Antigedad<=10 min

10

Antigedad>10
min

Antigedad>10 min

11

Antigedad>10
min

Antigedad>10 min

12

Antigedad>10
min

Antigedad>10 min

3.1.1 TMY de cada Ingestor TR

Resultado

rn
o

Sincronizo el volumen 1

Otro

Esta posibilidad no existe

In
te

Ultimo Volumen
en UA (Volumen
1)

Volumen 1 No sincronizo
Volumen 2 No sincronizo
Otro

No sincronizo

so

Caso
N

-U

1. Cada instancia del Ingestor hace disponible al COP la siguiente TM por medio del
Agente SNMP:
Fecha/Hora de Inicio del Ingestor (UpTime)

Estado de Conexin con RMA (ConnectionState)

Fecha y hora del ltimo Volumen Ingestado (LastVolumeTimeStamp)

Contador prdidas de ingestin en Tiempo Real (RealTimeFailuresCount)

Contador de Errores de Rsync (RsyncErrorsCount)

lid

Contador de errores de empaquetador (PackagerErrorsCount)

ltimo error de empaquetado (LastPackagerError)

ltimo error de Rsync (LastRsyncError)

Contador del Watchdog del Ingestor (WatchDogCounter)

Fecha y Hora de la ltima prdida de ingestin en Tiempo Real (

LastRealTimeFailureTimeStamp)

Fecha
y
Hora
del
(LastPackedVolumeTimeStamp)

Cantidad de Volmenes empaquetados (PackedVolumes)

ltimo

volumen

empaquetado

2. Estas TM puede ser ledas y escritas localmente con la comunidad rwsinarame o

ledas por otras PC del COP con la comunidad rosinarame.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 9 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

LA LISTA LAS ALARMAS ASOCIADAS A CADA TM SE DESCRIBEN EN EL

3. Anexo 2: Alarmas asociadas a las TM de cada Ingestor TR, en la pgina 18 del
presente documento.

3.2

rn
o

4. Para ms detalles sobre el agente SNMP y como publica estas variables ver la
seccin 3.8 Agente SNMP en la pgina 12.

ARCHIVO DE CONFIGURACIN

1. Los parmetros configurables del Ingestor Tiempo Real se almacenan en un archivo de

parmetros en formato INI.

In
te

2. Un archivo .INI consiste en un simple archivo de texto ASCII que contiene dos tipos de
entradas:

so

Secciones: permiten agrupar parmetros relacionados. Por ejemplo: "Parmetros de

red".
Valores: definen parmetros y su valor. Primero se define el nombre del parmetro y
despus su valor separado por el signo de igualdad (=).
Comentarios: permiten explicar el propsito de una seccin o parmetro. Los
comentarios comienzan con el carcter punto y coma (;).
3. Como restriccin este archivo no puede tener secciones duplicadas.
4. Las secciones y sus respectivos parmetros que contiene el archivo son:

radarName: nombre asignado al radar (RMA1)

radarNumber: nmero de RMA.
UARootDir: nombre del directorio raz de la UA del radar en el cual
se publican los datos.
localVolDir: directorio local contra el cual se sincronizan los datos
IP_UA: IP de la UA
maxAgeInMinutes: Mxima antigedad del archivo admitida.
transferDir: Directorio donde se dejan los volmenes empaquetados
logFolder: directorio donde se almacenan los logs del
ingestorUASnmpCommunityString: Comunidad con la cual la UA
publica las variables SNMP
ingestorSnmpCommunityString: Comunidad con la cual el ingestor
fija el valor de las variables SNMP

lid

-U

[LOCATIONS]

[RSYNC]
user: usuario de Rsync de la UA
pass: password de rsync

5. Un ejemplo de archivo de configuracin sera

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 10 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

3.3

In
te

[RSYNC]
user = "remotecop"
pass = "caf192"

rn
o

[LOCATIONS]
radarName = RMA0
radarNumber = 0
UARootDir = RMA0
localVolDir = /srv/UAmirrors/RMA0
IP_UA = "192.168.0.104"
maxAgeInMinutes = 10
transferDir = /srv/transfer/RMA0
logFolder = /var/log/ingestorRMA/
UASnmpCommunityString = public
ingestorSnmpCommunityString = rwpublic

DIRECTORIOS UTILIZADOS PARA CADA TIPO DE ARCHIVO

lid

-U

/opt/invap/ingestorRMA: Directorio en el cual se encuentra los archivos

del ingestor
/srv/UAmirrors/RMA#: Directorio local donde se mantiene una rplica de
la UA del RMA#
/srv/transfer/RMA#: Directorio donde el ingestor guarda los archivos L2
empaquetados. Este directorio es publicado a travs del protocolo SAMBA
para que el Mdulo Catalogacin y Almacenamiento del Sistema Gestin
de la Produccin pueda adquirir los datos.
/var/log/ingestorRMA: Directorio en el cual se almacenan los log de cada
Ingestor RMA funcionando. El nombre del archivo utilizado es
IngestorRMA_TR.log.

so

1. El Ingestor RMA utiliza diferentes directorios para almacenar cada tipo de archivo.
Estos son:

donde # representa el nmero de radar (0-30).

3.4

GENERACIN DE LOGS

1. Cada ingestor en funcionamiento genera un archivo de Logs de texto, con informacin

relevante al funcionamiento del mismo. Todos los archivos de los son almacenados en
un directorio dedicado solamente a ese fin.

2. La rura completa del archivo creado resulta

3. <logFolder>/Ingestor<radarName>_TR.log
4. Donde <logFolder> es el directorio donde se almacenan los logs y <radarName> es el
nombre del radar, ambos definidos en el archivo de parmetros.
5. Para la siguiente configuracin la estructura de logs quedara de la siguiente manera:

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 11 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

6. logFolder = /var/log/ingestorRMA/
7. radarName = RMA# (con # de 0 a 30)
/var/log/ingestorRMA/logs/
ingestorRMA0_TR.log
TR del RMA1)
ingestorRMA1_TR.log
TR del RMA0)
ingestorRMA#_TR.log
TR del RMA#)

rn
o

(Log correspondiente a la ingestion

(Log correspondiente a la ingestion

In
te

3.5

(Directorio de logs)
(Log correspondiente a la ingestion

INGESTOR HISTRICO

1. TBD

3.6

INGESTOR MANUAL

3.7

so

1. TBD

EMPAQUETADOR

-U

1. El empaquetador es una aplicacin para Linux desarrollada por INVAP. La misma es

una aplicacin para lnea de comandos. El ingestor realiza llamadas a sistema para
poder ejecutar la misma. El ingestor obtiene el resultado del empaquetado (Exitoso,
Falla) mediante el cdigo de retorno de la aplicacin (0 normal, distinto de 0 error).

3.8

2. Cuando todas las partes del volumen se encuentran disponibles, el Empaquetador

permite crear un solo archivo BUFR, por cada producto L2.

AGENTE SNMP

lid

1. Agente SNMP es una aplicacin de administracin de red que se encuentra en un

perifrico y que es responsable de la transmisin de datos de administracin local
desde el perifrico en formato SNMP Versin 2c (Protocolo simple de administracin de
red)

2. Es el encargado de publicar la TM del Sistema de Ingestin.

3. El Ingestor RMA, mediante el comando snmpset (SNMP SET) actualiza el valor de las
variables de TM que mantienen el agente. El monitoreo COP consulta peridicamente
el estado de las variables. El Agente internamente no le asigna ningn valor a las
variables, estas solamente pueden ser fijadas por aplicaciones externas.
4. El Ingestor para la escritura de las variables SNMP debe utilizar la comunidad
rwsinarame. Mientras que el SS de Monitoreo del COP debe utilizar la comunidad
rosinarame.

5. Por cada RMA, el agente soporta las variables que se listan en el Anexo 1: Listado de
variables de TM de cada Ingestor TR en la pgina 15 de este documento.

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 12 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

INTERFACES DEL INGESTOR RMA

1. El Ingestor RMA tiene 3 interfaces bien definidas:

3. Interfaz con el Sistema de Monitoreo y Control del COP
4. Interfaz con el SubSistema Gestin de la Produccin

rn
o

2. Interfaz con los RMA

5. En las secciones siguientes se describe en detalle cada una de ellas.

4.1

INTERFAZ RMA-INGESTOR

In
te

1. Los datos generados por los RMA son publicados por la UA de cada RMA a travs del
protocolo Rsync. El formato de los archivos es BUFR.

so

2. Los datos del volumen se fraccionan en varias partes para ser enviados,
empaquetndolos en archivos conteniendo la informacin de entre 1 y 360 (TBC)
radiales por archivo. De esta manera se reduce el tiempo en que el COP recibe los
datos, comenzado a transmitir los mismos a medida que son generados por el radar.
Los paquetes de radiales contienen un producto L2 y se utiliza un archivo por cada
dato L2 disponible.
3. La estructura de directorios y el formato del nombre del archive se describe en [DR2]
0876-5100-3ICIS-006-B; SINARAME, Ciclo de vida de los datos.

INTERFAZ INGESTIN-MONITOREO Y CONTROL

-U

4.2

1. La TM del Sistema de Ingestin es publicada al Sistema de Monitoreo y Control del

COP mediante el protocolo SNMP (Simple Network Management Protocol o Protocolo
Simple de administracin de red).

2. SNMP es un protocolo que pertenece al nivel de aplicacin del modelo TCP/IP y que
est diseado para facilitar el intercambio de informacin entre dispositivos de red y es
ampliamente utilizado en la administracin de redes para supervisar el desempeo, la
salud y el bienestar de una red, equipos de cmputo y otros dispositivos).

lid

3. Para la publicacin de la TMY se utiliza un agente SNMP el cual corre en el mismo

lugar que el Ingestor. El agente SNMP es nico para todos los ingestores que
componen el Sistema de Ingestin.

4. El ingestor puede ser iniciado mediante lnea de comandos, el mismo no recibe ningn
parmetro ya que la configuracin del mismo se encuentra en un archivo para tal fin.

4.3

INTERFAZ INGESTIN-GESTIN DE LA PRODUCCIN

1. Para la entrega de los archivos BUFR obtenidos por el Ingestor RMA se utiliza un
directorio compartido entre el Ingestor RMA y el Subsistema GdP mediante el protocolo
SMB (SAMBA). Este directorio recibe el nombre de Directorio de Transferencia o
Transfer.
2. SMB (Server Message Block) es un protocolo de red (que pertenece a la capa de
aplicacin en el modelo OSI) que permite compartir recursos entre nodos de una red.
Se usa principalmente en computadoras con Windows y DOS. El protocolo equivalente
libre para sistemas operativos basados en UNIX se llama Samba).

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 13 / 20

DIVISION SEGMENTO TERRENO

SINARAME, COP, Ingestor RMA, Documento de Detalle

3. Los archivos BUFR, correspondientes a un volumen y una variable, son dejados en ese
directorio por el Ingestor RMA luego de ser empaquetados. Peridicamente el mdulo
de Catalogado y Almacenamiento del Sistema de Gestin de la Produccin busca
nuevos volmenes, y en caso de encontrarlos procede a su catalogado y
almacenamiento permanente.

rn
o

4. Luego de realizada estas tareas, los archivos son borrados del directorio de
transferencia.
5. En la siguiente figura se muestra la estructura de directorios utilizada en la interfaz.
RMA0/

(Radar)
RMA#_1234_1_DBZH_20130125T225010Z.BUFR
RMA#_1234_1_VRAD_20130125T225010Z.BUFR
RMA#_1234_1_WRAD_20130125T225010Z.BUFR
RMA#_1234_1_TH_20130125T225010Z.BUFR
RMA#_1234_1_ZDR_20130125T225010Z.BUFR

lid

-U

so

RMA#/

(Datos L2)
(Radar)
RMA0_1234_1_DBZH_20130125T225010Z.BUFR
RMA0_1234_1_VRAD_20130125T225010Z.BUFR
RMA0_1234_1_WRAD_20130125T225010Z.BUFR
RMA0_1234_1_TH_20130125T225010Z.BUFR
RMA0_1234_1_ZDR_20130125T225010Z.BUFR

In
te

L2/

C262-M1ST-3ETST-004-A

CONFIDENCIAL

_2L40SBLPT - 28/06/2016

Pg. 14 / 20

DIVISION SEGMENTO TERRENO

ANEXO 1: LISTADO DE VARIABLES DE TM DE CADA INGESTOR TR

In
te

1. El OID padre de las TM del Ingestor es siguiente:

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

iso(1).org(3).dod(6).internet(1).private(4).enterprises(1).41163(INVAPMIB).5(Radares).5(Meteorologicos).20(COPMIB).1(Ingestion).1(IngestorRMA).#(IngestorRma#)
( # representa el nmero de radar. De 0 a 30)

2. En la siguiente tabla se muestra una lista de las TM asociadas a cada mdulo de Ingestin TR:

Nombre Largo
( # representa el nmero de radar. De 0 a 30)

so

Nombre Corto

ID

Tipo

Descripcin

IngestorRMA#UpTime

integer

Fecha/Hora de Inicio del Ingestor Tiempo Real

(Segundos desde 01/01/1970 00:00:00 UTC)

ConnectionState

IngestorRMA#ConnectionState

integer

Estado de conexin con RMA

LastVolumeTimeStamp

IngestorRMA#LastVolumeTimeStamp

string

Fecha y hora del ltimo Volumen Ingestado

(YYYYMMDDThhmmssZ)

RealTimeFailuresCount
RsyncErrorsCount

IngestorRMA#RealTimeFailuresCount
IngestorRMA#RsyncErrorsCount

4
5

integer
integer

Contador prdidas de ingestin en tiempo real

Contador de Errores de Rsync

IngestorRMA#PackagerErrorsCount

integer

Contador de errores de empaquetador

string

ltimo error de empaquetado. Incluye Fecha y

Hora. (YYYYMMDDThhmmssZ=<Cdigo de
error>)

LastPackagerError

lid

PackagerErrorsCount

-U

UpTime

IngestorRMA#LastPackagerError

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

CONFIDENCIAL

Pg. 15 / 20

DIVISION SEGMENTO TERRENO

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

Nombre Largo
( # representa el nmero de radar. De 0 a 30)

ID

Tipo

LastRsyncError

IngestorRMA#LastRsyncError

string

ltimo error de Rsync. Incluye Fecha y Hora.

(YYYYMMDDThhmmssZ=<Cdigo de error>)

WatchDogCounter

IngestorRMA#WatchDogCounter

integer

Watchdog de Ingestor

10

string

Fecha y hora de la ltima prdida de de

ingestion en tiempo real

11

string

Fecha y hora
empaquetado

integer

Cantidad de Volmenes Empaquetados desde

que se inicio el ingestor

IngestorRMA#LastRealTimeFailureTimeStamp

LastPackedVolumeTimeStamp

IngestorRMA#LastPackedVolumeTimeStamp

PackedVolumes

IngestorRMA#PackedVolumes

so

LastRealTimeFailureTimeStamp

Descripcin

In
te

Nombre Corto

12

del

ultimo

volumen

-U

Tabla N 1: Listado de TM de cada Ingestor RMA

3. Los OIDs, valores de status y valores por defecto son:

Nombre Largo
( # representa el nmero de radar. De 0 a 30)

UpTime

IngestorRMA#UpTime

Nombre Corto

LastVolumeTimeStamp
RealTimeFailuresCount

OID
( # representa el nmero de radar. De 0 a
30)

1,3,6,1,4,1,41163,5,5,20,1,1,#,1,0

IngestorRMA#ConnectionState

1,3,6,1,4,1,41163,5,5,20,1,1,#,2,0

IngestorRMA#LastVolumeTimeStamp

""

1,3,6,1,4,1,41163,5,5,20,1,1,#,3,0

IngestorRMA#RealTimeFailuresCount

1,3,6,1,4,1,41163,5,5,20,1,1,#,4,0

lid

ConnectionState

Valor por
defecto

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

CONFIDENCIAL

Pg. 16 / 20

DIVISION SEGMENTO TERRENO

Nombre Corto

Nombre Largo
( # representa el nmero de radar. De 0 a 30)

RsyncErrorsCount

IngestorRMA#RsyncErrorsCount

PackagerErrorsCount

IngestorRMA#PackagerErrorsCount

LastPackagerError

IngestorRMA#LastPackagerError

LastRsyncError

IngestorRMA#LastRsyncError

WatchDogCounter
LastRealTimeFailureTimeStamp
LastPackedVolumeTimeStamp
PackedVolumes

Valor por
defecto

OID
( # representa el nmero de radar. De 0 a
30)

1,3,6,1,4,1,41163,5,5,20,1,1,#,5,0

In
te

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

1,3,6,1,4,1,41163,5,5,20,1,1,#,6,0

""

1,3,6,1,4,1,41163,5,5,20,1,1,#,7,0

""

1,3,6,1,4,1,41163,5,5,20,1,1,#,8,0

IngestorRMA#WatchDogCounter
IngestorRMA#LastRealTimeFailureTimeStamp
IngestorRMA#LastPackedVolumeTimeStamp

0
""
""

1,3,6,1,4,1,41163,5,5,20,1,1,#,9,0
1,3,6,1,4,1,41163,5,5,20,1,1,#,10,0
1,3,6,1,4,1,41163,5,5,20,1,1,#,11,0

IngestorRMA#PackedVolumes

1,3,6,1,4,1,41163,5,5,20,1,1,#,12,0

-U

so

lid

Tabla N 2: OIDs, valores de status y valores por defecto de cada TM del IngestorRMA

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

CONFIDENCIAL

Pg. 17 / 20

DIVISION SEGMENTO TERRENO

ANEXO 2: ALARMAS ASOCIADAS A LAS TM DE CADA INGESTOR TR

In
te

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

1. Las alarmas asociadas a cada TM del Ingestor RMA se muestran en la tabla siguiente:

UpTime

Nombre Largo
Valores de Estatus
( # representa el nmero de radar. De 0 a 30)

IngestorRMA#UpTime

Condicin de Alarma

Criticidad

Advertencia

so

Nombre Corto

0 - Con Conexin
1 - Sin Conexin

IngestorRMA#ConnectionState

LastVolumeTimeStamp

IngestorRMA#LastVolumeTimeStamp

RealTimeFailuresCount
RsyncErrorsCount

IngestorRMA#RealTimeFailuresCount
IngestorRMA#RsyncErrorsCount

En incremento
En incremento

PackagerErrorsCount

IngestorRMA#PackagerErrorsCount

En incremento

LastPackagerError

IngestorRMA#LastPackagerError

LastRsyncError

IngestorRMA#LastRsyncError

WatchDogCounter

IngestorRMA#WatchDogCounter

1 - Sin Conexin

Falla

Sin nuevos volmenes luego de un tiempo TR

Advertencia Severa

Advertencia Severa
Advertencia
Advertencia Severa

lid

-U

ConnectionState

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

Sin cambios durante un tiempo WD_Timeout

CONFIDENCIAL

Pg. 18 / 20

Falla

DIVISION SEGMENTO TERRENO

Nombre Largo
Valores de Estatus
( # representa el nmero de radar. De 0 a 30)

Nombre Corto

LastPackedVolumeTimeStamp

IngestorRMA#LastPackedVolumeTimeStamp

PackedVolumes

IngestorRMA#PackedVolumes

Condicin de Alarma

In
te

LastRealTimeFailureTimeStamp IngestorRMA#LastRealTimeFailureTimeStamp

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

Sin cambios luego de un tiempo TR_Timeout

Criticidad

Advertencia Severa

ANEXO 3: BORRADO AUTOMTICO DE ARCHIVOS ANTIGUOS

-U

so

2. Los parmetros TR_Timeout y WD_Timeout son configurados en el sistema de M&C del COP.

1. La plataforma en la cual corren los Ingestores poseen procesos automticos para el borrado de archivos de logs y datos L2 antigos.

7.1

ROTACIN DE ARCHIVOS DE LOGS

1. Para el borrado de logs se utiliza la herramienta logrotate de Linux. Esta herramienta est diseada para la fcil administracin de los
logs generados por las diferentes aplicaciones que corren sobre un sistema operativo Linux. Permite la rotacin automtica,
compresin y eliminado de archivos de logs. Cada log puede ser rotado segn perodos de tiempo o segn el tamao del archivo.

lid

2. Esta aplicacin es ejecutada cada hora mediante el Cron de Linux. Cron es un administrador regular de procesos en segundo plano
(demonio) que ejecuta procesos.

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

CONFIDENCIAL

Pg. 19 / 20

DIVISION SEGMENTO TERRENO

rn
o

SINARAME, COP, Ingestor RMA, Documento de Detalle

3. Un archivo de configuracin de ejemplo sera:

7.2

In
te

/var/log/ingestorRMA/*.log {
missingok
size 1M
create 0664 ingestor cop
rotate 10
}

BORRADO DE ARCHIVOS L2 ANTIGUOS

so

1. El borrado de los archivos L2 antiguos se realiza mediante una aplicacin llamada consejeIngestor. Esta aplicacin borra todos los
archivos y directorios correspondientes a archivos de una antigedad mayor a un tiempo maxAge configurable.
2. Todos los parmetros necesarios para su funcionamiento son tomados de un archivo de parmetros.
3. Los parmetros son:

mirrorRootDir: Directorio donde se mantienen las rplicas de las UA de cada RMA.

maxAge: Antigedad mxima en das de los archivos a mantener en el directorio anterior.

-U

4. Esta aplicacin es ejecutada cada hora mediante el Cron de Linux. Cron es un administrador regular de procesos en segundo plano
(demonio) que ejecuta procesos.

ANEXO 4: PLANILLA DE TM DEL INGESTOR RMA

1. Al siguiente documento se adjunta la planilla con la informacin detallada de la TM del Ingestor RMA (archivo TM_RMA.xlsm).

lid

2. Esta planilla contiene una macro que permite generar el XML que es utilizado para generar los mdulos del agente SNMP mediante
la aplicacin snmpfilegen.

C262-M1ST-3ETST-004-A

_2L40SBLPT - 28/06/2016

CONFIDENCIAL

Pg. 20 / 20

Fecha: 12-09-2014
Hora: 12:05:40

Resumen del circuito de firmas del documento: C262-M1ST-3ETST-004-A

Nombre

Fecha

Autor

Pando, Claudia

12-09-2014

Revisor

Gon Klubek, Mariela

12-09-2014

Revisor

Sandoval, Mnica

12-09-2014

Aprob.Servicio

Ramis, Carolina

12-09-2014

En reemplazo de: Pando, Claudia

En reemplazo de: Ramis, Carolina

lid

-U

so

In
te

rn
o

Descripcin

El presente Documento fue validado mediante un proceso de aprobacin electrnica, el mismo puede
verificarse en el Sistema de Administracin de Documentos utilizando el identificador:
C262-M1ST-3ETST-004-A (cdigo interno: _41N0KFBNA)

_2L40SBLPT - 28/06/2016