[Mini Tutorial] Extraer precios desde web con Power Bi
- Autor del tema Morello
- Fecha de inicio
Morello
ODUM
- Desde
- 24 Jul 2019
- Mensajes
- 2.345
pasa por acámariolos' pid='46141' dateline='1587951191 dijo:
https://www.odumeros.cl/showthread.php?tid=1127
mariolos
ODUM
- Desde
- 24 Jul 2019
- Mensajes
- 991
en el ejemplo que das de televisores son varias paginas, se debe hacer una consulta por cada una? hay alguna forma de que el powerbi lo automatice? digo esto por que estoy viendo alguna producto o seccion que tienen muchas paginas.. seria harta pega hacerlo uno por uno.
pd: lo solucione con esto https://www.odumeros.cl/showthread.php?tid=1125&pid=15541#pid15541 , me funciono
pd: lo solucione con esto https://www.odumeros.cl/showthread.php?tid=1125&pid=15541#pid15541 , me funciono
Morello
ODUM
- Desde
- 24 Jul 2019
- Mensajes
- 2.345
en ese momento traté de que fuese simple, y tampoco lo había intentado.
con este video me guío
https://www.youtube.com/watch?v=6PZSZ53iSos&list=PLFB5zgNNuf1ZXP0JgBFUbZQsOIdUgW_7D
pd: con el tiempo la tienda verde aumento la seguridad, no funciona en esa web.
con este video me guío
https://www.youtube.com/watch?v=6PZSZ53iSos&list=PLFB5zgNNuf1ZXP0JgBFUbZQsOIdUgW_7D
pd: con el tiempo la tienda verde aumento la seguridad, no funciona en esa web.
Peyoda
ODUM
- Desde
- 30 Jul 2019
- Mensajes
- 1.591
Estimados, conozco bien poco del asunto, pude sacar precios de tienes retail, pero hay algunas en las que no pude:
Bencinaenlinea.cl
Autoplanet.cl
Y en otros temas, tampoco para seguir causas en poderjudicial.cl
¿Alguno tiene alguna idea de como extraer de cualquiera de esas páginas?
Enviado desde mi Redmi Note 5 mediante Tapatalk
Bencinaenlinea.cl
Autoplanet.cl
Y en otros temas, tampoco para seguir causas en poderjudicial.cl
¿Alguno tiene alguna idea de como extraer de cualquiera de esas páginas?
Enviado desde mi Redmi Note 5 mediante Tapatalk
wizard_live
ODUM
- Desde
- 26 Jul 2019
- Mensajes
- 1.280
Excelente tema.
Intentaré hacer seguimiento. A veces reviso tuganga.cl y temprano en la mañana las ofertas no duran ni 10 minutos.
Intentaré hacer seguimiento. A veces reviso tuganga.cl y temprano en la mañana las ofertas no duran ni 10 minutos.
- Desde
- 24 Jul 2019
- Mensajes
- 7.260
Soy muy noob en el tema, pero creo que tiene que ver con las distintas medidas de seguridad implementadas en cada página o simplemente como están 'creadas'.Peyoda' pid='61049' dateline='1596120663 dijo:
Quizás hay que ver de otra manera o con distintas configuraciones (creando cuenta en la página y luego agregando ese user y pass en power bi, que se yo..).
Como lo dije son suposiciones, pero mejor investigar mas del tema xD
Yerba Mate
ODUM
- Desde
- 30 Oct 2020
- Mensajes
- 987
Estaba muy weno el post, justo ahora que estoy jugando con los cursos de PowerBi que postearon.
Lastima el [No message]
Lastima el [No message]
- Desde
- 2 Nov 2020
- Mensajes
- 2.014
Aprendan un poco de js y usen cypress para hacer scrapping avanzado , cypress es lo que fue selenium pero con súper poderes y una experiencia de desarrollo súper fácil e intuitiva.
la gracia de cypress es que puede incluso bypassear captchas o hacer cosas más avanzadas , muchos otros scapers si el
Contenido se carga de forma asíncrona en pantalla no funciona (porque escrapea el contenido de la página inicial, y no el contenido que se va generando dinámicamente en tiempo de navegación )
también corre en headless en forma
De package/api lo que permite tenerlo funcionando en segundo plano y customizar alertas etc.
tiene más sabores como grabar videos, sacar screenshots, etc etc. Mucha magia de la buena (pero siempre ojalá saber como se hace esa magia por debajo para poder entender posibles Comportamientos )
si o si deben aprender un poco de javascript
ps: de hecho lo que decía el user más arriba de que no le funciona en algunas páginas es básicamente porwue esas páginas entregan un html inicial y después con eso se comienza a carga el
Demás contigo que se va pidiendo poco de forma bajo demanda o asíncrona . Entonces se traen el html inicial y este obviamente no tiene datos para scrapear.
Con cypress al final simulas un usuario “real” navegando en la wea , puedes esperar que el contenido se cargue y después “reaccionar”/analizar etc etc
la gracia de cypress es que puede incluso bypassear captchas o hacer cosas más avanzadas , muchos otros scapers si el
Contenido se carga de forma asíncrona en pantalla no funciona (porque escrapea el contenido de la página inicial, y no el contenido que se va generando dinámicamente en tiempo de navegación )
también corre en headless en forma
De package/api lo que permite tenerlo funcionando en segundo plano y customizar alertas etc.
tiene más sabores como grabar videos, sacar screenshots, etc etc. Mucha magia de la buena (pero siempre ojalá saber como se hace esa magia por debajo para poder entender posibles Comportamientos )
si o si deben aprender un poco de javascript
ps: de hecho lo que decía el user más arriba de que no le funciona en algunas páginas es básicamente porwue esas páginas entregan un html inicial y después con eso se comienza a carga el
Demás contigo que se va pidiendo poco de forma bajo demanda o asíncrona . Entonces se traen el html inicial y este obviamente no tiene datos para scrapear.
Con cypress al final simulas un usuario “real” navegando en la wea , puedes esperar que el contenido se cargue y después “reaccionar”/analizar etc etc
Última edición:
- Desde
- 2 May 2021
- Mensajes
- 42
Excelente, voy a ir viendo como podria aportar con un script automatico por último con selenium para ir sacando algo entretenido jejeje.
No tienes algun tutorial o algo para hacerlo? Lo e intentado pero e fallado rotundamente. Probe con falabella y no tuve éxito. Saludos!
- Desde
- 24 Jul 2019
- Mensajes
- 7.260
Creo que falabella resulta solo con emuladores de chromium, cada página está hecha de maneras distintas, por eso en algunas se puede hacer scraping y en otras no..
- Desde
- 21 Jun 2023
- Mensajes
- 91
Que buen tema!!!, algo de web scraping me ha tocado hacer y como dicen más arriba muchas veces funciona muy bien con algunas webs, pero con otras simplemente no funciona, según dicen, las webs se construyen de muchas formas diferentes y eso dificulta lograr una herramienta, por ejemplo en python, que sirva para todo lo que se requiere.
He estado usando esta herramienta que permite hacer web scraping y sacar los datos al pc como excel o csv, incluso se podrían sacar a bases de datos........
https://www.octoparse.com/
Hay que hacer la descarga y se puede usar en un primer nivel free que tiene algunas limitaciones, pero igual sirve para llevar datos a excel y por ejemplo, haciendo a veces algunos retoques en excel, poder visualizar los descuentos de los productos de mayor a menor o hacer cualquier otro ordenamiento que sirva para ir detectando precios de oferta.
Acá dejo un archivo excel tal como lo entrega el programa y un segundo archivo con modificaciones y ordenado según el porcentaje del descuento (no se puede dejar en formato excel, pero dejo las fotos)
Para extraer los datos del ejemplo, se uso el siguiente link de Falabella, en categoría Notebooks, y se obtuvieron 771 registros de datos únicos (el software identifica datos duplicados y permite eliminarlos antes de guardarlos en el excel).....
https://www.falabella.com/falabella-cl/category/cat70057/Notebooks
Algunas webs en que funciona bien el software: Falabella, Lider, Abcdin, Autoplanet, Mercado Libre, Ripley, Hites, Jumbo, Santa Isabel, Tottus, Fernapet, Tricot. En otras webs es necesario ir haciendo cambio en la configuración para ir consiguiendo resultados.
Si alguien quiere usar esta herramienta, comenten y puedo dejar un paso a paso de como la estoy usando ahora.
He estado usando esta herramienta que permite hacer web scraping y sacar los datos al pc como excel o csv, incluso se podrían sacar a bases de datos........
https://www.octoparse.com/
Hay que hacer la descarga y se puede usar en un primer nivel free que tiene algunas limitaciones, pero igual sirve para llevar datos a excel y por ejemplo, haciendo a veces algunos retoques en excel, poder visualizar los descuentos de los productos de mayor a menor o hacer cualquier otro ordenamiento que sirva para ir detectando precios de oferta.
Acá dejo un archivo excel tal como lo entrega el programa y un segundo archivo con modificaciones y ordenado según el porcentaje del descuento (no se puede dejar en formato excel, pero dejo las fotos)
Para extraer los datos del ejemplo, se uso el siguiente link de Falabella, en categoría Notebooks, y se obtuvieron 771 registros de datos únicos (el software identifica datos duplicados y permite eliminarlos antes de guardarlos en el excel).....
https://www.falabella.com/falabella-cl/category/cat70057/Notebooks
Algunas webs en que funciona bien el software: Falabella, Lider, Abcdin, Autoplanet, Mercado Libre, Ripley, Hites, Jumbo, Santa Isabel, Tottus, Fernapet, Tricot. En otras webs es necesario ir haciendo cambio en la configuración para ir consiguiendo resultados.
Si alguien quiere usar esta herramienta, comenten y puedo dejar un paso a paso de como la estoy usando ahora.
