Había tenido anteriormente algunas iniciativas relacionadas con escribir, comunicar y discutir ideas y conceptos de analytics dentro de lo que considero uno de los hitos más importantes en la historia de la humanidad (la captura, procesamiento y análisis de Datos); comparable incluso con todo aquello que incentivó la revolución industrial. Pero ahora he tomado un camino más ordenado de desplegar todos estos conceptos a través de una serie de post que estaré publicando en este blog en el marco de lo que se podría llamar la revolución de los datos.
Hace algunos meses tuve la oportunidad de asistir a un evento relacionado con medios de pago, específicamente tarjetas de crédito y pude analizar en detalle diferentes casos de uso relacionados con Big Data; pero antes que nada, ¿qué es Big Data?, bueno hay muchas definiciones, no me puedo imaginar la cantidad de devoluciones que puede dar Google escribiendo esas palabras en su buscador. De todas formas hay quienes seguramente se animan a dar una definición evidente -todo aquello que implica grandes volúmenes de datos- y es acertada en parte, va mucho mas allá de eso en el que intervienen diversas tecnologías pero sobretodo capital humano que pueda ser el arquitecto de lo que se espera lograr con iniciativas de Big Data.
Volvamos a los medios de pago, la amplia adopción y uso de las tarjetas de crédito han generado necesidades de análisis de información eficiente. El comercio online se consolidó cómo un canal de ventas competitivo y en algunos casos excluyente en un mercado de consumo cada vez más exigente de valor agregado. Recientemente hice una compra online en una página de comercio electrónico y pensé en que esa transacción que estaba generando iba a ser parte de los millones de transacciones que se estaban generando y almacenando en ese momento, acá entonces hablamos de una de las v’s de Big Data (Volumen). Por supuesto que hay volumen de datos y su resguardo requiere de costosa infraestructura, acá se me viene a la mente edificios llenos de racks de servidores. En todo caso no tendría ningún sentido capturar y resguardar datos si no se planea hacer algo con ellos.
Los datos viajan de un lugar a otro, por eso se han hecho grandes inversiones en las redes de fibra óptica submarina. La disponibilidad del dato es muy relevante, las transacciones de tarjetas de crédito deben verse al instante; acá se me viene a la mente algunas escenas de películas en las que ubican a una persona en el lugar donde uso un determinado medio de pago, pero el dato sirve si es ubicación en tiempo real, no sirve saber que la uso ayer en un determinado punto, por lo menos no para ese caso de uso. Acá entonces tenemos otra de las v’s (Velocidad) dentro del concepto de Big Data. Nada de esto tendría sentido si los datos que se capturan, transfieren y resguarda no son coincidentes, no obedecen a una dato integral y auténtico. De manera que la protección del dato para que refleje la verdad (Veracidad) en todas las instancias en el que utilice el mismo es otro concepto más cuando hablamos de entornos de BD.
Hoy los datos provienen de muchas fuentes u orígenes; están los sistemas de información (ERP’s), redes sociales, dispositivos, sensores (IoT), etc. y es lógico pensar que los datos están estructurados de forma diferente. Esa (Variedad) de estructura y tipo de dato es otro concepto cuando se habla de BD. La tecnología y procesamiento de datos avanza para encontrar nuevas formas que incentiven el uso de medios de pago y en ese proceso se desarrollan diferentes alternativas para trabajar eficientemente los datos. De manera que un sistema de Big Data también debe ser capaz de manejar diferentes estructuras y tipos de dato.
Hasta acá podemos decir que se ha dado algún detalle sobre lo que es Big Data en la relación a las 4 v’s. No obstante, no hace mucho se habla de una quinta «v» (Valor) y para mi es la más importante. Todo el concepto de Big Data debe estar dirigido hacia la generación de valor. El éxito de una iniciativa de Big Data debe estar medido en función del valor que genera. Recientemente recibí un correo de mi banco informándome que mis tarjetas de crédito iban a vencer pronto y que serían reemplazadas por unas nuevas; cierto día posterior llegué a casa y encontré un notificación de una compañía de logística informándome que habían ido pero al no encontrar a nadie no pudieron dejar mis tarjetas. Llamé y tratamos de coordinar algún día de entrega, el resultado fue una segunda entrega fallida. Mi conclusión respecto de la situación es que el costo de las entregas fallidas es muchísimo menor al costo de oportunidad que tiene el banco o el emisor de las tarjetas para analizar mis consumos, frecuencias, monto, etc y así poder acercarme campañas de marketing particularmente dirigidas a mis hábitos de consumo.
El proyecto Apache Hadoop (Map Reduce, HDFS) permiten que Big Data sea tecnológicamente posible, y lo mejor de todo es que es open source, incluso distribuciones de Hadoop como cloudera también lo son. Big Data está al alcance de todos pero no necesariamente es para todos, debe estar enmarcado dentro de iniciativas claras que agreguen valor, los casos de uso son tan diversos y focalizados que permiten (en el marco de tarjetas de crédito) por ejemplo detección y prevención de fraude, customer insights (nada más poderoso que tener un 360 de los clientes). Acá intervienen algoritmos y análisis avanzado de datos (Machine Learning).
Para eso es Big Data, para descubrir oportunidades usando todos los datos disponibles junto con herramientas de análisis de información. Todo lo demás está ampliamente cubierto por lo que consideramos small data, la capacidad de computo ha crecido notablemente al punto que muchas opciones de lo que podríamos considerar Big Data todavía pueden ser manejados con los sistemas tradicionales de análisis de información. Es por eso que emprender un viaje de Big Data reviste una madurez analítica importante, pero sobre todo la pasión por descubrir y dar solución a escenarios o problemáticas que en los mejores casos de uso mejoren la vida de las personas.
César B.