FictionDown小说下载器,支持校对及广告过滤

网络工具 2020-04-02 11:32:25

FictionDown小说下载器,支持校对及广告过滤

以起点为样本,多站点多线程爬取校对
支持导出 txt,以兼容大多数阅读器
支持导出 epub(还有些问题,某些阅读器无法打开)
支持导出 markdown,可以用 pandoc 转换成 epub,附带 epub 的metadata,保留书本信息、卷结构、作者信息
内置简单的广告过滤(现在还不完善)
用 Golang 编写,安装部署方便,可选的外部依赖:PhantomJS、Chromedp
支持断点续爬,强制结束再爬会在上次结束的地方继续

工作流程
输入起点链接
获取到书本信息,开始爬取每章内容,遇到 vip 章节放入Example中作为校对样本
手动设置笔趣阁等盗版小说的对应链接,tamp字段
再次启动,开始爬取,只爬取 VIP 部分,并跟Example进行校对
手动编辑对应的缓存文件,手动删除广告和某些随机字符(有部分是关键字,可能会导致 pandoc 内存溢出或者样式错误)
conv -f md生成 markwown
用 pandoc 转换成 epub