Spoustime Crawlee, open-source knihovnu na web scraping a automation rubrika: Programování: Jiné

3 jancurn
položil/-a 29.8.2022

Zdravim vsechny,

dnes jsme officialne spustili novou open-source knihovnu na web scraping a browser automation Crawlee. Je za tim 5 let prace, 42 contributors, 3,249 commits, a zahrnuje to vse, co jsme se v Apify za ta leta o web scrapingu naucili.

Budeme radi, kdyz si to vyzkousite, a poslete nam feedback. A pokud se vam to libi, muzete nas podporit na GitHub nebo Product Hunt ❤️

Hlavni features:

  • Supports headless browsers with Playwright or Puppeteer
  • Supports raw HTTP crawling with Cheerio or JSDOM
  • Automated parallelization and scaling of crawlers for best performance
  • Avoids blocking using smart sessions, proxies, and browser fingerprints
  • Simple management and persistence of queues of URLs to crawl
  • Written completely in TypeScript for type safety and code autocompletion
  • Comprehensive documentation, code examples, and tutorials
  • Actively maintained and developed by Apify—we use it ourselves!
  • Lively community on Discord
odkaz Vyřešeno
5 admin
odpověděl/-a 26.8.2022

Super.
Ale v příspěvku vám chybí ty "hlavní features" :)

Komentáře

  • jancurn : Diky za info, orpaveno. Nejak se tam nevlozily, obsahovaly totiz emojis. 29.8.2022

Pro plný přístup na Devel.cz se prosím přihlaste:

Rychlé přihlášení přes sociální sítě:

Nebo se přihlaste jménem a heslem:

Zadejte prosím svou e-mailovou adresu.
Zadejte své heslo.

Otázky uživatele jancurn