Prendi il potere del web scraping nelle tue mani
La frase “abbiamo abbastanza dati” non esiste nel linguaggio della scienza dei dati. Nunca me he encontrado con nadie que haya dicho voluntariamente que no a la recopilación de más datos para su proyecto de aprendizaje automático o apprendimento profondoApprendimento profondo, Una sottodisciplina dell'intelligenza artificiale, si affida a reti neurali artificiali per analizzare ed elaborare grandi volumi di dati. Questa tecnica consente alle macchine di apprendere modelli ed eseguire compiti complessi, come il riconoscimento vocale e la visione artificiale. La sua capacità di migliorare continuamente man mano che vengono forniti più dati lo rende uno strumento chiave in vari settori, dalla salute.... E ci sono spesso situazioni in cui i dati che hai non sono sufficienti..
È allora che il potere del web scraping viene alla ribalta.. È una tecnica potente che qualsiasi analista o scienziato dei dati dovrebbe possedere e che ti manterrà in buona posizione nel settore. (E quando sei seduto per le interviste!).
È disponibile un gran numero di librerie Python per eseguire il web scraping. Ma, Come decidi quale scegliere per il tuo progetto particolare?? Quale libreria Python ha la maggiore flessibilità? Il mio obiettivo è rispondere a queste domande qui, Attraverso la lente di cinque popolari librerie Python per il web scraping che penso che ogni appassionato dovrebbe conoscere.
Librerie Python per il web scraping
Il web scraping è il processo di estrazione di dati strutturati e non strutturati dal web con l'aiuto di programmi ed esportazione in un formato utile. Se vuoi saperne di più sul web scraping, ecco un paio di risorse per iniziare:
Ottimo, Diamo un'occhiata alle librerie di scraping web in Python!!
1. Richiedi libreria (HTTP per gli umani) per raschiare il web
Iniziamo con la libreria Python di base per il web scraping. "Richieste"’ ci consente di effettuare richieste HTML al server del sito Web per recuperare i dati sulla tua pagina. Ottenere il contenuto HTML di una pagina web è il primo e più importante passo del web scraping.
petizioni è una libreria Python utilizzata per effettuare vari tipi di richieste HTTP come OTTENERE, MAIL, eccetera. Grazie alla sua semplicità e facilità d'uso, viene fornito con lo slogan HTTP per gli umani.
Direi che questa è la libreria più elementare ma essenziale per il web scraping. tuttavia, la libreria di richiesta non analizza i dati HTML recuperati. Se vogliamo farlo, abbiamo bisogno di librerie come lxml e Beautiful Soup (li tratteremo più avanti in questo articolo).
Diamo un'occhiata ai vantaggi e agli svantaggi della libreria Requests Python.
Vantaggio:
- Semplice
- Autenticazione di base / implicito
- URL e domini internazionali
- Richieste frammentate
- Supporto proxy HTTP (S)
Svantaggi:
- Recupera solo il contenuto statico di una pagina
- Non può essere utilizzato per analizzare l'HTML
- Non riesco a gestire siti web creati esclusivamente con JavaScript.
2. libreria lxml per il web scraping
Conosciamo il richieste la libreria non può analizzare l'HTML recuperato da una pagina web. Perciò, noi richiediamo lxml, una libreria Python di analisi HTML e XML di qualità di produzione, incredibilmente veloce e ad alte prestazioni.
Combina la velocità e la potenza degli alberi degli elementi con la semplicità di Python. Funziona bene quando il nostro obiettivo è estrarre grandi set di dati. Combinando richieste e lxml è molto comune nel web scraping. Consente inoltre di estrarre i dati da HTML utilizzando i selettori XPath e CSS.
Diamo un'occhiata ai vantaggi e agli svantaggi di lxml Libreria Python.
Vantaggio:
- Più veloce della maggior parte degli analizzatori
- Leggero
- Usa gli alberi degli oggetti
- API Pythonic
Svantaggi:
- Non funziona bene con HTML mal progettato
- La documentazione ufficiale non è molto adatta ai principianti.
3. Bella libreria di zuppe per il web scraping
Bella zuppa è forse la libreria Python più utilizzata per il web scraping. Crea un albero di analisi per analizzare documenti HTML e XML. Beautiful Soup converte automaticamente i documenti in entrata in Unicode e i documenti in uscita in UTF-8.
Uno dei motivi principali per cui la libreria Beautiful Soup è così popolare è che è più facile da usare e adatta ai principianti.. Possiamo anche combinare Beautiful Soup con altri analizzatori come lxml. Ma tutta questa facilità d'uso ha un costo: è più lento di lxml. Anche indossando lxml come analizzatore, è più lento del puro lxml.
Uno dei principali vantaggi della libreria Beautiful Soup è che funziona molto bene con HTML mal progettato ed è ricco di funzionalità. Combinando Bella zuppa e petizioni è abbastanza comune nel settore.
Vantaggio:
- Richiede poche righe di codice
- Ottima documentazione
- Facile da imparare per i principianti
- Robusto
- Rilevamento automatico della codifica
Svantaggi:
Se vuoi imparare a copiare pagine web con Beautiful Soup, questo tutorial è per te:
4. Libreria di selenio per il web scraping
C'è una limitazione per tutte le librerie Python di cui abbiamo discusso finora: non possiamo estrarre facilmente dati da siti web popolati dinamicamente. Succede perché a volte i dati presenti sulla pagina vengono caricati tramite JavaScript. In parole semplici, se la pagina non è statica, le librerie Python sopra menzionate lottano per estrarre i dati da esso.
È qui che entra in gioco il selenio..
Selenio è una libreria Python originariamente creata per il test automatizzato delle applicazioni web. Sebbene non sia stato originariamente creato per il web scraping, La comunità della scienza dei dati ha cambiato le cose abbastanza rapidamente!!
È un controller web creato per rendere le pagine web, ma questa funzionalità lo rende molto speciale. Dove altre librerie non sono in grado di eseguire JavaScript, Il selenio eccelle. Puoi cliccare su una pagina, compilare moduli, scorri la pagina e fai molto di più.
Questa capacità di eseguire JavaScript su una pagina Web offre a Selenium il potere di estrarre pagine Web popolate dinamicamente. Ma ecco un compromesso. Carica ed esegui JavaScript per ogni pagina, il che lo rende più lento e non adatto a progetti su larga scala.
Se il tempo e la velocità non ti preoccupano, puoi sicuramente usare il selenio.
Vantaggio:
- Adatto ai principianti
- Raschiamento automatico del web
- Può raschiare pagine Web popolate dinamicamente
- Automatizza i browser web
- Puoi fare qualsiasi cosa su una pagina web simile a una persona
Svantaggi:
- Molto lento
- Difficile da configurare
- Utilizzo elevato di CPU e memoria
- Non ideale per grandi progetti.
Ecco un meraviglioso articolo per imparare come funziona il selenio (incluso il codice Python):
5. Scrapy
Ora è il momento di presentarti le librerie di scraping web BOSS di Python: ¡Scrapy!
Scrapy non è solo una libreria; è un framework di web scraping completo creato dai co-fondatori di Scrapinghub: Pablo Hoffman e Shane Evans. È una soluzione per raschiare il nastro a tutti gli effetti che fa tutto il lavoro pesante per te.
Scrapy fornisce robot spider in grado di eseguire la scansione di più siti Web ed estrarre i dati. Con Scrapy, puoi creare i tuoi robot ragno, ospitarli in Scrapy Hub o come API. Ti permette di creare ragni perfettamente funzionanti in pochi minuti. Puoi anche creare pipeline usando Scrapy.
La cosa migliore di Scrapy è che è asincrono. Può effettuare più richieste HTTP contemporaneamente. Questo ci fa risparmiare molto tempo e aumenta la nostra efficienza. (E non ci sforziamo tutti per questo??).
Puoi anche aggiungere plugin a Scrapy per migliorarne la funzionalità. Sebbene Scrapy non possa gestire JavaScript come il selenio, puoi abbinarlo a una libreria chiamata Splash, un browser web leggero. Con Splash, Scrapy può persino estrarre dati da siti Web dinamici.
Vantaggio:
- Asincrónico
- Ottima documentazione
- Vari componenti aggiuntivi
- Crea middleware e pipeline personalizzati
- Basso utilizzo di CPU e memoria
- Architettura ben progettata
- Una pletora di risorse online disponibili
Svantaggi:
- Ripida curva di apprendimento
- Eccesso per lavori facili
- Non adatto ai principianti
Se vuoi imparare Scrapy, che consiglio vivamente, dovresti leggere questo tutorial:
Qual è il prossimo?
Personalmente, Trovo queste librerie Python estremamente utili per le mie esigenze. Mi piacerebbe sentire i tuoi pensieri su queste librerie o se usi altre librerie Python, fammi sapere nella sezione commenti qui sotto.
Se ti è piaciuto l'articolo, condividilo sulla tua rete e continua a praticare queste tecniche.
