新闻网站爬虫
多线程爬取，获得的结构化数据包括标题、来源、时间、正文
支持的搜索页面
| 网站 | URL |
|---|---|
| 新浪新闻 | https://search.sina.com.cn |
| 搜狗搜索 | https://www.sogou.com/sogou?interation=1728053249&query= |
支持的网站页面
| 网站 | URL |
|---|---|
| 搜狐 | www.sohu.com |
| 网易 | www.163.com, dy.163.com, news.163.com |
| 腾讯 | new.qq.com |
| 凤凰网 | news.ifeng.com, i.ifeng.com, mil.ifeng.com |
| 中国新闻网 | www.chinanews.com |
| 中国青年网 | news.youth.cn |
| 新华网 | www.news.cn, xinhuanet.com, www.xinhuanet.com |
| 环球网 | world.huanqiu.com, mil.huanqiu.com, china.huanqiu.com |
| 中华网 | news.china.com |
环境
- JDK17
- Gradle 7.2
运行
gradlew run