web_scraping_mexico_2024.py

#!/usr/bin/env python
# coding: utf-8

# In[ ]:


get_ipython().system('pip install selenium')


# In[ ]:


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select


# In[265]:


driver = webdriver.Chrome()


# In[266]:


driver.get('https://www.rhnet.gob.mx/servlet/CheckSecurity/JSP/mss_g1/mss_g1_organigrama_pos_filtro.jsp')


# In[267]:


boton_cerrar = driver.find_element(By.XPATH, '/html/body/div[2]/div/div[1]/button')
boton_cerrar.click()


# In[268]:


boton_consulta_estructura = driver.find_element(By.XPATH, '//*[@id="linkEOR"]')
boton_consulta_estructura.click()


# In[270]:


rama = driver.find_element(By.XPATH, "//select[@name='ID_ORGANIZATION']/option[@value='02']")
rama.click()


# In[ ]:


# Si queremos transformar el valor de forma dinámica.

valores = ['04']  # Añade más valores según necesites

for valor in valores:
    try:
        # Construir el XPath dinámicamente para cada valor
        xpath = f"//select[@name='ID_ORGANIZATION']/option[@value='{valor}']"
        
        # Localizar la opción por su XPath
        rama = driver.find_element(By.XPATH, xpath)
        
        # Hacer clic en la opción
        rama.click()
        
        # Esperar un momento para que los cambios tengan efecto (si es necesario)
        time.sleep(1)  # Ajusta el tiempo según tus necesidades
        
        # Aquí puedes agregar cualquier acción adicional que desees realizar después de seleccionar
        print(f"Opción con value='{valor}' seleccionada.")

    except Exception as e:
        print(f"Ocurrió un error al seleccionar el valor '{valor}': {e}")


# In[ ]:


solicitud_envio = driver.find_element(By.XPATH, "//button[normalize-space()='Enviar']")
solicitud_envio.click()


# In[ ]:


lista_elementos = [element.strip() for element in driver.find_element(By.ID, "ResTipoPersonal").text.split('\n')]
lista_elementos


# In[ ]:


encabezado = lista_elementos[1].split()  # ['Tipo', 'de', 'personal', 'Plaza', '%']

datos = []

for elemento in lista_elementos[2:]:
    # Separar los elementos
    partes = elemento.split()
    tipo_personal = " ".join(partes[:-2])  # Unir todas menos las últimas dos partes
    cantidad = partes[-2]  # Penúltimo elemento es la cantidad
    porcentaje = partes[-1]  # Último elemento es el porcentaje
    datos.append([tipo_personal, cantidad, porcentaje])

# Crear el DataFrame
df = pd.DataFrame(datos, columns=['Tipo de Personal', 'Cantidad', 'Porcentaje'])
df


# In[ ]:


lista_elementos_2 = [element.strip() for element in driver.find_element(By.ID, "ResCarOcu").text.split('\n')]
lista_elementos_2


# In[ ]:


encabezado = lista_elementos_2[1].split()  # ['Característica', 'ocupacional', 'Plaza', '%']
datos = []

for elemento in lista_elementos_2[2:]:
    # Separar los elementos
    partes = elemento.split()
    caracteristica_ocupacional = " ".join(partes[:-2])  # Unir todas menos las últimas dos partes
    cantidad = partes[-2]  # Penúltimo elemento es la cantidad
    porcentaje = partes[-1]  # Último elemento es el porcentaje
    datos.append([caracteristica_ocupacional, cantidad, porcentaje])

# Crear el DataFrame
df_2 = pd.DataFrame(datos, columns=['Característica Ocupacional', 'Cantidad', 'Porcentaje'])
df_2


# In[ ]:


lista_elementos_3 = [element.strip() for element in driver.find_element(By.ID, "ResTipoFun").text.split('\n')]
lista_elementos_3


# In[ ]:


encabezado = lista_elementos_3[1].split()  # ['Tipo', 'de', 'función', 'Plaza', '%']
datos = []

for elemento in lista_elementos_3[2:]:
    # Separar los elementos
    partes = elemento.split()
    tipo_funcion = " ".join(partes[:-2])  # Unir todas menos las últimas dos partes
    cantidad = partes[-2]  # Penúltimo elemento es la cantidad
    porcentaje = partes[-1]  # Último elemento es el porcentaje
        
    datos.append([tipo_funcion, cantidad, porcentaje])

# Crear el DataFrame
df_3 = pd.DataFrame(datos, columns=['Tipo de Función', 'Cantidad', 'Porcentaje'])

# df_3.loc[[0,1,2]]
df_3 = df_3[~df_3['Tipo de Función'].str.contains("La identificación|Adicionalmente")]
df_3


# In[ ]:


from IPython.display import display

display(df)
display(df_2)
display(df_3)


# In[ ]:


import os
ruta_excel = os.path.join(os.path.expanduser('~'), 'Desktop', 'datos.xlsx')

# Guardar en un archivo Excel con tres hojas
with pd.ExcelWriter(ruta_excel) as writer:
    df.to_excel(writer, sheet_name='Tipo de Personal', index=False)
    df_2.to_excel(writer, sheet_name='Característica Ocupacional', index=False)
    df_3.to_excel(writer, sheet_name='Tipo de Función', index=False)

print(f"Archivo guardado en: {ruta_excel}")


# In[ ]:


# !conda list


# In[ ]:


solicitud_descarga = driver.find_element(By.XPATH, "//*[@id='BOTON_DESCARGA']")
solicitud_descarga.click()


# In[ ]:


driver.quit()


# In[ ]:


descarga_path = os.path.expanduser('~/Downloads')
print(descarga_path)

# Listar todos los archivos en la carpeta de descargas
archivos_xls = [f for f in os.listdir(descarga_path) if f.endswith('.xls')]
archivos_xls

if archivos_xls:
    print("Archivos .xls encontrados:")
    
    for archivo in archivos_xls:
        print(archivo)
else:
    print("No se encontraron archivos .xls en la carpeta de descargas.")


# In[ ]:


import os
import time
import pandas as pd
from IPython.core.display import display, HTML

# Definir la ruta de la carpeta donde buscar archivos
download_path = os.path.expanduser('~/Downloads')

# Listar todos los archivos .xls en la carpeta de descargas
archivos_xls = [f for f in os.listdir(download_path) if f.endswith('.xls')]

# Leer el primer archivo .xls encontrado
if archivos_xls:
    archivo_excel = os.path.join(download_path, archivos_xls[0])
    
    # Esperar a que el archivo se complete
    while not os.path.isfile(archivo_excel) or archivo_excel.endswith('.part'):
        time.sleep(1)  # Esperar un segundo antes de volver a verificar
    
    # Comprobar si el archivo está vacío
    if os.path.getsize(archivo_excel) == 0:
        print("El archivo está vacío.")
    else:
        try:
            # Imprimir la ruta del archivo y su tamaño
            print(f"Intentando leer el archivo: {archivo_excel}, tamaño: {os.path.getsize(archivo_excel)} bytes")

            # Intentar abrir el archivo y verificar su formato
            df = pd.read_excel(archivo_excel, engine='xlrd')
            
            # Convertir el DataFrame a HTML
            html = df.to_html()
            
            # Mostrar el contenido como HTML
            display(HTML(html))
        except Exception as e:
            print(f"Ocurrió un error al leer el archivo: {e}")
else:
    print("No se encontraron archivos .xls en la carpeta de descargas.")


# In[ ]:


import os
import pandas as pd

# Definir la ruta de la carpeta donde buscar archivos
download_path = os.path.expanduser('~/Downloads')

# Listar todos los archivos .xls en la carpeta de descargas
archivos_xls = [f for f in os.listdir(download_path) if f.endswith('.xls')]

# Leer y convertir el primer archivo .xls encontrado
if archivos_xls:
    archivo_xls = os.path.join(download_path, archivos_xls[0])
    archivo_xlsx = os.path.splitext(archivo_xls)[0] + '.xlsx'  # Cambiar la extensión a .xlsx
    
    try:
        # Leer el archivo .xls
        df = pd.read_excel(archivo_xls, engine='xlrd')
        
        # Guardar como .xlsx
        df.to_excel(archivo_xlsx, index=False)
        print(f"Archivo convertido a: {archivo_xlsx}")
        
        # Leer el nuevo archivo .xlsx
        df_xlsx = pd.read_excel(archivo_xlsx)
        
        # Mostrar el contenido del archivo .xlsx
        print("Contenido del archivo .xlsx:")
        print(df_xlsx.head())  # Muestra las primeras filas del DataFrame
        
    except Exception as e:
        print(f"Ocurrió un error: {e}")
else:
    print("No se encontraron archivos .xls en la carpeta de descargas.")