Sistemas Big Data

AL

 

Los sistemas Big Data, se ejecutan bajo un estricto control, y se apoyan principalmente en la Arquitectura Lamda; permitiendo que el análisis de los datos se realice en tiempo real, asegurando una detección de patrones eficaz.


 

                ¿Qué es la Arquitectura Lamda?

Es la construcción de un sistema Big Data en una serie de capas.

Inicia con una consulta (query) a toda la información; el sistema, genera una función pre calculada que se dirige a la vista de lotes(batch views), permitiendo obtener los valores (información específica) que se necesita de manera rápida, sin tener que visualizar todo el contenido. 

La parte de la Arquitectura Lamda que implementa la ecuación vista por lotes = función (batch view =función) se llama capa de lote. La capa de lote almacena y calcula arbitrariamente funciones en el conjunto de datos. La capa de lote corre en un ciclo y continuamente recalcula los batch views desde cero. 

 

El próximo paso es cargar las vistas donde puedan ser consultadas. La capa de servicio es una base de datos distribuida especializada que carga un batch view y hace posible hacer lecturas aleatorias en ella. Cuando nuevas batch views están disponibles, la capa de servicio automáticamente cambia esas para que más resultados actualizados estén disponibles. 

Las actualizaciones de la capa de servicio son realizadas cuando la capa de lotes termina de pre calcular un batch view, lo que queda por hacer es tener un sistema de datos completamente en tiempo real, su meta es asegurar la nueva información representada en funciones de consulta tan rápido como se necesite por los requerimientos de aplicación.

 

AL1
La capa de velocidad sólo ve la información reciente, la capa de lotesbusca en toda la información al mismo tiempo. La capa de velocidad hace actualizaciones en tiempo real de las vistas conforme va recibiendo la nueva información, en vez de recalcular las vistas desde cero. En vez de resolver las consultas solo haciendo la función del batch view, podemos resolver estas consultas viendo a ambas, la vista en lote y a tiempo real y juntando los resultados.  

Una vez que la información llega de la capa de lote a la capa de servicio, los resultados correspondientes en la vista de tiempo real no son necesitados ya. Esta propiedad de la Arquitectura Lambda es llamada aislamiento complejo, significando que esa complejidad es empujada en una capa cuyos resultados son solo temporales. Si algo llega a salir mal, puedes descartar el estado para toda la capa de velocidad, y todo regresará a la normalidad en pocas horas.

Un sistema que hace el cálculo exacto en la capa de lotes y un cálculo aproximado en la capa de velocidad exhibe eventual precisión, porque la capa de lotes corrige lo que la capa de velocidad calcula.