TweetScraper is a simple crawler/spider for Twitter Search without using API
- twitter-search
- scrapy
- tweets
132,241 visible repositories in the index
97–120 of 152 · Most stars
TweetScraper is a simple crawler/spider for Twitter Search without using API
各大网站登陆方式,有的是通过selenium登录,有的是通过抓包直接模拟登录(精力原因,目前不再继续维护)
A configurable web spider with a easy-to-use web console
SpiderSuite (web security crawler) releases, wiki and roadmap
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
Python website crawler.
A high performance web crawler / scraper in Elixir.
The repository host gives no description.
爬取百度百科中文页面,抽取三元组信息,构建中文知识图谱
使用“代理”的方式来抓取微信公众账号文章,可以抓取阅读数、点赞数,基于 anyproxy。
爬虫逆向案例,已完成:TLS指纹|瑞数|震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链
A multi-thread crawler framework with many builtin image crawlers provided.
Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索
闲鱼爬虫,基于闲鱼网页端开发,使用 FastAPI 构建的闲鱼商品搜索接口,支持异步并发请求和自动化数据去重存储。现已支持登录。
zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目
一个超级轻量的百度图片爬虫
Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.
HTTP API for Scrapy spiders
A set of spiders and scrapers to extract location information from places that post their location on the internet.
:point_right:一个基于spring boot 实现的java股票爬虫(仅支持A股),如果你:heart:请:star: . V2升级版正在开发中!
A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.
Web 端反爬技术方案
🕵️♂️ LinkedIn profile scraper returning structured profile data in JSON.
A Penetration Testing Framework, Information gathering tool & Website Vulnerability Scanner