Buenas estoy interesado en crear un bot que haga funcionalmente un análisis de los datos de una web en concreto, para lanzar correos electrónicos personalizados.
Explicado sería: se accede a una URL con unos parámetros concretos de entrada para ir a la categoría y Sub categoría necesaria.
Aparece un listado con paginación de los resultados 1/N.
Se entra en cada uno de los resultados, se analiza el contenido, pasando alguna referencia a base de datos para el tema reiterativo (no enviar muchos correos al mismo item de respuesta).
Se completa mediante la misma web un envío de respuesta al anunciante.
Es posible que aparezca captcha, no es seguro.
Todo esto me gustaría desarrollarlo con Python, no tendría que será gráfico ni mucho menos, un script podría valer.
Alguien tiene alguna idea, he leído que hay un Framework para web scraping llamado scrapy, alguien lo ha utilizado?
Saludos y gracias.