通过python定时任务执行的爬虫
main.py主入口控制
jack
f3ef21c171
增加输出
|
1 rok temu | |
|---|---|---|
| .gitignore | 1 rok temu | |
| Dockerfile | 1 rok temu | |
| README.md | 1 rok temu | |
| build.sh | 1 rok temu | |
| config.json.bak | 1 rok temu | |
| docker-compose.yaml | 1 rok temu | |
| main.py | 1 rok temu | |
| news_get_36kr_info.py | 1 rok temu | |
| news_get_36kr_key.py | 1 rok temu | |
| news_get_apprcn.py | 1 rok temu | |
| news_get_chiphell.py | 1 rok temu | |
| news_get_hello_github.py | 1 rok temu | |
| news_get_news.py | 1 rok temu | |
| news_get_rsshub.py | 1 rok temu | |
| requirements.txt | 1 rok temu | |
| spider_get_and_check_dlt.py | 1 rok temu | |
| spider_get_and_check_ssq.py | 1 rok temu | |
| spider_get_free_ip_proxy.py | 1 rok temu | |
| spider_get_one_week_weather.py | 1 rok temu | |
| tools_load_config.py | 1 rok temu | |
| tools_logs_handle.py | 1 rok temu | |
| tools_mongo_handle.py | 1 rok temu | |
| tools_proxy.py | 1 rok temu | |
| tools_send_email.py | 1 rok temu | |
| tools_sync_psql.py | 1 rok temu | |
| utils_daily_logs_generate.py | 1 rok temu | |
| utils_daily_logs_send.py | 1 rok temu | |
| utils_news_data_collation.py | 1 rok temu | |
| utils_timing_remove_data.py | 1 rok temu | |
| utils_timing_rss_gen.py | 1 rok temu |
README.md
auto_news
定时爬取各种新闻 存到mongodb 通过青龙面板执行定时任务