Bases de datos en memoria: almacenamiento de big data

La comunicación digital genera cada vez más cantidades de datos, lo que ofrece una gran oportunidad a las empresas que trabajan con big data. Sin embargo, cuantos más datos tenga una empresa a su disposición, mayor será el reto de filtrar las relaciones, los patrones y las conclusiones que se dan entre ellos. Se necesitan soluciones y sistemas de TI para ayudar a las empresas a evaluar toda esta avalancha de información. El análisis de datos utilizando bases de datos tradicionales ya no es suficiente para almacenar, recuperar y procesar conjuntos de datos extremadamente grandes: cuando las bases de datos clásicas alcanzan sus límites, se requiere el uso de las bases de datos en memoria.

Una base de datos en memoria o in-memory (IMDB, por sus siglas en inglés) se basa en un sistema de gestión de bases de datos que almacena toda la información directamente en la memoria RAM de uno o más ordenadores. El uso de una RAM tiene una ventaja decisiva: las bases de datos en memoria cuentan con una velocidad de acceso mucho más rápida que las memorias tradicionales y, por lo tanto, una transmisión de los datos más eficiente.

Las bases de datos in-memory almacenan grandes cantidades de datos y proporcionan una amplia gama de resultados de análisis. Pero ¿cómo funciona exactamente el almacenamiento de big data y qué tecnologías lo hacen posible?

Cuando se almacena información en una base de datos en memoria, hay que distinguir entre almacenamiento de datos basado en columnas y en filas, aunque algunos sistemas utilizan ambas variantes de almacenamiento. Las bases de datos orientadas a filas organizan los registros de datos recopilados en una fila. Por ejemplo, en el almacenamiento de los valores “nombre”, “ciudad” y “país”, los datos se organizarían de la siguiente manera: nombre 1, ciudad 1, país 1, nombre 2, ciudad 2, país 2. En un tipo de almacenamiento basado en columnas, los datos se clasifican en función de sus categorías: nombre 1, nombre 2, ciudad 1, ciudad 2, país 1, país 2.

El registro de datos en columnas recibe el nombre de Column Store Format. Al almacenar juntos los datos con valores idénticos, el sistema minimiza el volumen total de datos, por lo que el espacio de almacenamiento y los tiempos de transmisión se reducen. También mejora el rendimiento del análisis, ya que solo es necesario analizar las columnas imprescindibles, en lugar de hacerlo con todas. Esta forma de evaluación de datos se denomina proyección columnar.

El concepto de bases de datos en memoria no es nada nuevo. Los fundamentos de las tecnologías de este tipo de bases de datos se desarrollaron ya a mediados de los años 1980. Sin embargo, la insuficiencia de las infraestructuras de TI impidió el éxito de su aplicación. Las modernas arquitecturas informáticas como los almacenes de datos (data warehouse), la tecnología de 64 bits y los procesadores multi-core finalmente permitieron una implementación del concepto. La disminución de los precios de las memorias RAM también impulsó su propagación.

• Las bases de datos en memoria suelen pertenecer a un almacén de datos. Estos sistemas de bases de datos recopilan y comprimen datos de diversas fuentes, los guardan a largo plazo y los preparan para el análisis.
• Con la tecnología de 64 bits es posible aumentar la capacidad de la memoria principal hasta alcanzar los terabytes. Como resultado, las DB en memoria han crecido en tamaño.
• Con los procesadores multinúcleo varios núcleos de procesador trabajan en un solo chip, lo que resulta en un mejor rendimiento de procesamiento y una mayor capacidad para almacenar datos.

Durante la ejecución práctica de las bases de datos in-memory se producen procesos recurrentes e idénticos. Las bases de datos en memoria realizan los siguientes pasos para realizar una copia de seguridad de los datos:

1. Inicio de la base de datos: cuando se inicia la base de datos, el sistema carga todos los datos del disco duro a la memoria RAM. Esto significa que no es necesario cargar ningún dato mientras la base de datos está en ejecución.
    
2. Cotejo de los datos modificados: si los datos cambian, la base de datos los ajusta a intervalos regulares.
    
3. Copias de seguridad del registro de transacciones: los cambios actuales se registran en los registros de transacciones. Si se produce un error, la base de datos se puede restaurar al momento anterior de que se hubiera producido el error. Este proceso se denomina "rollforward".
    
4. Tratamiento de los datos: los datos se procesan según el principio AKID (atomicidad, consistencia, aislamiento y durabilidad) al igual que con las bases de datos tradicionales. Este principio describe las propiedades que han de tener los procesos en los sistemas de gestión de bases de datos.
    
5. Replicación de la base de datos: el proceso copia continuamente los datos a un ordenador o servidor para realizar copias de seguridad.

Como hemos mencionado anteriormente, las bases de datos en memoria alcanzan una velocidad de acceso mucho más alta almacenando los datos en la memoria RAM. La ventaja de estas bases de datos es también la causa de su mayor desventaja, porque no es posible almacenar permanentemente los datos en la memoria de trabajo. ¿Qué otras ventajas y desventajas tienen?

La mayor ventaja de usar bases de datos en memoria son las velocidades de acceso significativamente más altas que resultan del uso de RAM. Esta velocidad también se refleja en un acelerado análisis de los datos y en la precisión del cálculo del tiempo que dura una consulta. Pero no es solo el factor velocidad el que optimiza el análisis de datos. Las bases de datos en memoria permiten la evaluación de datos estructurados y no estructurados de cualquier sistema. Hasta ahora, las empresas y las soluciones de software se han enfrentado al reto de almacenar y procesar grandes cantidades de datos no estructurados, como textos, imágenes o archivos de audio y vídeo.

Mediante el uso de infraestructuras distribuidas, los datos no estructurados pueden almacenarse en una base de datos in-memory en la que varias unidades de procesamiento (ordenadores, procesadores, etc.) trabajan en una tarea común en paralelo y la distribuyen a diferentes clusters de servidores. El resultado es una mayor capacidad de almacenamiento y el aumento de la velocidad de procesamiento y transferencia de los datos no estructurados.

Por un lado, el uso de la memoria principal asegura una mayor velocidad de acceso, pero también trae consigo una desventaja decisiva: el almacenamiento de datos se realiza a corto plazo. En caso de un fallo del sistema, se perderían todos los datos. Se han establecido los siguientes métodos para contrarrestar la posible pérdida de datos:

• Archivos de instantáneas: en determinados momentos, por ejemplo, cada ciertos intervalos o antes de desconectar, se almacena la versión actual de la base de datos. Sin embargo, una crítica importante a esta medida es que todos los archivos añadidos después de la última instantánea se pierden.
   
• Copia de seguridad del registro de transacciones: la nota de cambios en los registros de transacciones se integra en el proceso en curso como método de copia de seguridad. En combinación con instantáneas regulares, se puede rastrear el último estado después de un fallo.
   
• Replicación: la mayoría de bases de datos en memoria ya incluyen una función para almacenar una copia exacta de la base de datos en un disco duro convencional. En caso de fallo, se puede acceder a la base de datos almacenada.
   
• Memoria RAM no volátil: una memoria RAM es capaz de hacer que los archivos estén disponibles para su recuperación incluso después de reiniciar el sistema, cuando se combina con un almacén de energía.

Otra desventaja causada por el uso de RAM es que el ordenador común no suele tener tanto espacio de RAM disponible. La computación en red puede ser una solución para contrarrestar este límite, ya que conecta muchos ordenadores diferentes. Para participar en este enlace, se debe instalar un software especial en el ordenador: mediante la fusión de los recursos no utilizados se crea un ordenador virtual de alto rendimiento.

Una base de datos se entiende generalmente como una colección de información que está disponible de forma electrónica. Las bases de datos tradicionales solo almacenan datos estructurados, que ocurre cuando se organizan campos de datos claramente definidos en registros de datos concretos. Los registros de datos se organizan en tablas, donde cada campo de datos representa un atributo diferente y recibe el nombre correspondiente. El cambio al big data que se inició hace algunos años llevó este modelo a sus límites, ya que muestra debilidades en el almacenamiento y en el procesamiento de grandes cantidades de datos. Otro problema es la falta de adaptabilidad, ya que los datos no estructurados, como las imágenes y los documentos en lenguaje natural, no se pueden almacenar ni evaluar tan fácilmente.

Una vez explicadas las ventajas y desventajas de las bases de datos en memoria y la comparación directa con las bases de datos tradicionales, debes considerar qué sistema de gestión de bases de datos (SGBD) es el adecuado para ti o tu empresa. Si trabajas con big data, la decisión está muy clara: para el almacenamiento y el análisis de grandes cantidades de datos solo se puede utilizar una base de datos in-memory. Sin embargo, este tipo de base de datos también puede ser la mejor opción en otros casos.

Una base de datos en memoria es el DBMS correcto para tus datos cuando:

• tienes una gran cantidad de datos
• necesitas acceso rápido y frecuente a sus datos
• tus sistemas de gestión de bases de datos o servidores existentes están sobrecargados
• la persistencia de tus datos no tiene la máxima prioridad
• puedes aceptar una posible pérdida de sus datos

Entre las bases de datos in-memory más conocidas se encuentran SAP HANA y Oracle TimesTen. Si buscas software empresarial con una amplia gama de funciones, las soluciones de SAP y Oracle son las más comunes. Ambos sistemas de gestión de bases de datos alcanzan el mayor rendimiento posible. ¿Qué los distingue y cuál es su aplicación práctica en una empresa?

La base de datos en memoria SAP HANA (High Performance Analytic Appliance) es una combinación de hardware y software. El software fue desarrollado especialmente por SAP, mientras que el hardware (servidor físico) proviene de diez fabricantes diferentes. A diferencia de otras bases de datos en memoria, SAP HANA no almacena los datos temporalmente, sino en la memoria de trabajo de forma permanente y graba los datos utilizando logs de transacciones.

El procesamiento de transacciones y análisis en una base de datos en común permite procesar información en tiempo real. SAP HANA se puede implementar tanto en el servidor de la empresa como en la nube, lo que reduce los desafíos para las estructuras de TI de la empresa. Además, se minimizan los costes de los métodos anteriores de gestión de datos y los responsables de la toma de decisiones reciben previsiones nuevas y precisas.

La base de datos de Oracle tiene mucho en común con la de SAP. El procesamiento de datos también se realiza en tiempo real y la aplicación se puede realizar a través de un servidor o como un servicio en la nube. A diferencia de la base de datos de SAP, el software y el hardware de Oracle TimesTen proceden del propio Oracle.

Por consiguiente, se trata de un puro dispositivo Oracle. La ventaja resultante para el usuario es que en caso de error se puede actuar internamente y no se depende de varias empresas de hardware y software. Oracle no almacena los datos recopilados exclusivamente en la memoria: los datos que dependen menos del alto rendimiento se pueden almacenar en el disco duro o en un disco flash.

Las funciones de SAP HANA y Oracle TimesTen son en gran medida idénticas, lo que incrementa las ventajas para las empresas que se decanten por cualquiera de estas soluciones:

• Procesamiento acelerado de datos
• Reorientación de la empresa a través de aplicaciones innovadoras
• Mayor agilidad en términos de flexibilidad, actividad y adaptabilidad

La siguiente tabla resume las diferencias y similitudes entre estas dos bases de datos en memoria:

A medida que avance la digitalización, las ya enormes montañas de datos seguirán creciendo. Por lo tanto, los desarrolladores de bases de datos en memoria se enfrentan al constante desarrollo de los sistemas anteriores. Deben abordarse las siguientes tareas:

• Recopilar datos de un número creciente de fuentes.
• Simplificar aún más las estructuras de TI y reducir al mismo tiempo los tiempos de respuesta y las velocidades de análisis.
• Obtener más información sobre el análisis de datos y apoyar a las empresas en la toma de decisiones.
• Desarrollar aplicaciones que respondan aún mejor a los desafíos del cambio digital.