Big Data


language: ES

                  WEBVTT
recordará que Hadut se divide en dos partes, una parte de almacenamiento y una parte de
procesamiento. Ok, entonces voy a iniciar con la parte de almacenamiento. En la parte de
almacenamiento voy a hacer lo siguiente, ya en esta máquina virtual está montado Hadut,
carece ese sentido, explicá cómo se montó porque normalmente pues uno desarrolla y ya tiene la
y después que termine de ejecutar comprueba qué servicios montó, qué demonios montó con el
comando JPS. Por lo regular deberíamos mostrarte el comando JPS 6 demonios,
they know, JPS, secondary they know, resource managers y node manager, son propios de arquitectura.
Claro que esto no lo vamos a dejar montado aquí y esta máquina virtual la vamos a guardar el
estado para que no tengamos que montar en cada clase. Ahora a nivel de redes,
esos servicios y esos demonios van a montar unos servicios y esos se van a exponer sobre
unos puertos. Entonces como comando de redes que esto lo habíamos visto cuando vimos el talent
system y debería aparecer a todo vacío porque acabamos de formatear el sistema de ficheros,
cómo lo formateamos con el HDFS, they know, menos forma. Listo, vamos nuevamente a la máquina virtual,
si quiere dele comando clear aquí, clear para limpiar esa máquina un momento, clear y vamos
a hacer lo siguiente, comandos adusivos acá. Vamos a crear una carpeta donde vamos a organizar
nuestros archivos. Para crear una carpeta la le da HDFS, HDFS, DFS menos MKDIR,
Slash inputs, lo coloca en inglés, inputs. Esto es lo que hace que crea una carpeta dentro del
sistema de ficheros. Yo la voy a hacer acá, HDFS, DFS menos MKDIR, menos MKDIR, input. Perfecto,
agregue el siguiente comando para permisos, HDFS, sería el mismo comando HDFS.
Ya se cuenta que estos comandos están ejecutando sobre el sistema de ficheros,
pero son los mismos que tienen nivel de Linux. HMOD, le va a colocar aquí HMOD,
para cambiar los permisos 777, pues todos los permisos. Estamos en seguridad,
estamos a nivel académico y le da este comando así. Le daría aquí CHMOD 777.
Por último podía dar lo siguiente, HDFS, DFS menos LS, si no estoy mal, Slash.
Eso me va a mostrar la estructura directorio que tengo montado en Hadoop. HDFS, DFS menos LS,
perdón ahí se me fue un Slash. Y ahí aparece la carpeta inputs que creamos ahora.
HDFS, el último, voy a guardar este señor fichadito aquí, guardar. Lo voy a guardar aquí en C.
Me voy a guardar en documentos y lo voy a llamar comandos. Martina, que te salió vuestra ver.
Dale flechita arriba, por favor, para ver que ejecutaste flecha arriba.
Ah, te faltó, vete con flecha de izquierda, después del HDFS agrega DFS. Enter, ahora sí,
enter. Y ahora dale el comando para listar, que es el último, que es HDFS, DFS menos LS, Slash,
menos, menos, menos, menos LS. Ahí creo que está Slash, enter. Listo, ese mismo comando que tiene
ahí, cuando yo doy HDFS menos LS es lo mismo que hace esta página. Por favor, ahora sí,
vaya a hacer browser y dele por favor enter ahí. Y debería aparecer la carpeta inputs que creo ahora.
Hagamos lo siguiente entonces, cerremos esta shell que tengo aquí. Voy a cerrar esta ventana,
que esta ventana lo que hace es que cierre la conexión, la UI de conexión, pero me queda
ejecutando acá. O sea, aquí me queda ejecutando la máquina virtual, no va a hacer más nada con la
voy a agregar ahora un componente que es el que me va a permitir agregar elementos al sistema
de HDFS, que es T, H, D, F, S, todos empiezan en el mismo y se llama PUT de poner.
Estos son componentes propios de lo que es HADUT y ahora va a colocar un componente general que
se llama teward, de warning, teward.
No lo habíamos visto, este teward no manda ninguna salida en consola o muestra algo,
simplemente es para que agregue este elemento en el archivo log que tengas configurado en tu
proyecto. O sea, los logs, de acuerdo, tengo la fecha, dice que fue lo que hice, es ese teward,
para eso se llama teward. Vamos a ver los puntos rojos que nos está indicando algún problema de
configuración, vamos a el HDFS connection por favor y nos dice que ese componente no está instalado,
instalaremos ese componente, bajar todo, aquí lo de aquí, bajar todo a instalar
y creo que automáticamente también bajó el del HDFS punto, listo, perfecto, ningún problema.
Dale por favor instalar y dice que bajar instalar todo, la del botón que dice bajar instalar todo.
Listo, sigamos entonces, vamos al HDFS connection y vamos a darle doble clic y vamos entonces a
configurar ese componente. Perfecto, entonces vamos a lo siguiente, aquí en las configuraciones
básicas del componente de conexión le preguntan la distribución de haduq que existe, ya le había
dicho que la mayor parte de estas empresas tomaron haduq open source y le colocaron una capa de ellos
propia, entre esos tengo el EMR que es de amazon y aquí está el de azur, claudera, horto y en este
caso como es una configuración que es propia, no la de ningún proveedor, voy entonces a escoger
la opción que dice universal y te pide que instales los componentes necesarios para universal,
entonces le damos aquí instalar, esto ahí va a buscar entonces los componentes, bueno aquí los
bajamos todos, perfecto, esto solamente lo descargará una sola vez y lo deslizaremos en nbs, bajar e instalar
por favor. Listo, acto seguido entonces vamos a configurar donde dice name node uri, que es el
nodo principal en el cluster de haduq que tengo, entonces por defecto lo que nada más debería
cambiar y por eso fue lo que te comenté que principalmente tengo que tener puertos 98,
70 y 9 mil abiertos, tienes que tener en cuenta que si te vas a montar tu propia infraestructura
tienes que abrir firewall en ese puerto, entonces voy a cambiar la palabra localhost por la dirección
ip de mi equipo que sería 10.0.3.250, nueve mil, nada me quedaría, o sea quedaría al final 10.10,
mira te lo voy a colocar acá en grande para que veas cómo te va a quedar, lo único que
cambié fue la palabra localhost por 10.0.350 que es la máquina virtual, la dirección de la máquina

on 2024-10-09

Visit the Big Data course recordings page

United Arab Emirates - Talend Big Data Integration

5 videos