El paradigma de programación Map-Reduce, que fue publicado por primera vez por Google, fue la inspiración para Hadoop, un proyecto de Apache.
La función principal del framework es almacenar una gran cantidad de datos y permitir consultas sobre los mismos, lo que será provisto con un rápido tiempo de respuesta. Esto se logra haciendo que el código se ejecute en múltiples nodos (máquinas), cada uno de los cuales está a cargo de procesar una parte diferente del trabajo que debe realizarse.
La característica más destacable de esta arquitectura es cómo, a pesar de que cada máquina funciona de forma independiente, el clúster de Hadoop funciona como una unidad con recursos altamente escalables.
Características de Apache Hadoop
La capacidad de realizar el procesamiento de datos distribuidos es la función principal de Map-Reduce (y de Hadoop). Esto es posible gracias a:
- Un sistema de almacenamiento distribuido (HDFS) donde cada nodo almacena una sola pieza de datos.
- Un método para organizar el procesamiento de datos que permite que cada nodo procese los datos de su propio nodo.
La alta escalabilidad es posible gracias a este método de organización de datos, lo que hace que sea fácil y asequible ampliar la capacidad de almacenamiento del sistema y acortar el tiempo que se tarda en responder a una consulta determinada.
El framework de trabajo posibilita la aplicación de Map-Reduce con varios lenguajes de programación, dotando a todo el sistema de una mayor versatilidad.
Hadoop también tiene las siguientes características:
-Tolerancia a fallos: Dado que la arquitectura está distribuida en una gran cantidad de nodos, existe tolerancia a fallos en ellos porque, en caso de fallo, las tareas se transfieren de forma transparente a otro par. Múltiples máquinas reciben replicación automática de datos.
Los datos no se procesan antes de almacenarse, lo que permite flexibilidad. Tanto los datos estructurados como los no estructurados (como textos, imágenes, etc.) pueden almacenarse indefinidamente. ), según lo requiera y tome sus decisiones de uso más adelante.
Una licencia de software libre y el uso de hardware estándar para el procesamiento y almacenamiento de datos hacen que el costo sea relativamente bajo.
Partes de Apache Hadoop
Sus partes fundamentales son las siguientes:
-Sistema de archivos distribuido HDFS: los datos se distribuyen entre todas las máquinas que componen el clúster en lugar de almacenarse en una sola máquina.
El sistema de archivos distribuido HDFS es utilizado por -MAP-REDUCE Framework, un enfoque metódico, para procesar datos en paralelo. El sistema está organizado utilizando una arquitectura maestro-esclavo, donde el servidor maestro de cada clúster de Hadoop acepta, pone en cola y distribuye las solicitudes de los usuarios a los servidores esclavos para su procesamiento.
Los beneficios de usar Hadoop
Aquí hay algunos beneficios de usar Hadoop:
Los problemas con la programación paralela no son algo con lo que los desarrolladores deban lidiar.
- Permite la ejecución paralela de procesos y la distribución de información a través de múltiples nodos.
- Cuenta con controles para realizar un seguimiento de los datos.
- Permite solicitudes de datos.
Cuenta con una amplia gama de funcionalidades que facilitan la gestión, seguimiento y tratamiento de la información almacenada.
¿Por qué se usa Hadoop para Big Data?
Para capacidades avanzadas de análisis de datos, Hadoop se usa en big data. entre sus aplicaciones más populares se encuentran:
- Almacenar grandes cantidades de datos de forma estructurada o en su formato original para su posterior procesamiento y análisis.
- Realizar investigaciones y desarrollar entornos de prueba para mejorar las operaciones y procesos organizacionales, inventar, etc.
- Utilice Hadoop como su depósito de información para analizar, encontrar y definir patrones de comportamiento mediante el procesamiento de cantidades masivas de datos de dispositivos IoT ("Internet de las cosas").
- Debido a la adaptabilidad del sistema Hadoop, las empresas y organizaciones pueden cambiar sus sistemas de datos para satisfacer las demandas cambiantes.
Si deseas ampliar esta información no dejes de inscribirte en Maestría en Data Science de CEUPE.
Comentarios