网站链接抓取器

资源介绍

网站链接抓取器顾名思义,主要是用来抓取网站链接的。也就是输入一个网站的首页地址,然后软件可以把整个网站页面地址给抓取下来并保存。

软件截图

网站链接抓取器插图

工具用途

一、制作网站地图
使用软件保存的TXT。直接上传到网站根目录就可以成为一个简单的TXT网站地图。
制作成网站地图后,可到 http://zhanzhang.baidu.com/sitemap/index 进行提交,以增加收录。
二、检查失误。
所谓的失误,是指某些后台链接。不想让用户知道的。但是由于不小心在程序的某个地方有该网页的链接自己没注意到。这时候就可以使用软件把整个网站的链接抓取下来。然后检查看看有没有敏感链接。
三、检查收录。
可以查看一下百度对本站的索引量。然后使用软件把网站的所有链接都抓取下来。看看数量上的差距是否比较大。如果差距过大,则要注意是否空间不稳定或者文章质量太低或者暴光率太低。

使用方法

1、输入需要抓取的网站首页地址。
2、设置线程数量。(线程越少,速度越慢,耗CPU及网速越低,越不容易漏掉链接。线程越多,速度越快,耗CPU及网速越高,漏抓取机率高。)
3、设置包含或排除规则。(使用方法见:《网站链接抓取器》抓取规则详解)
4、选择抓取后的链接保存地址。(注:如果选择的TXT名称为 abc.txt的话。软件会保存为 abc_*.txt 的形式)
5、选择每个TXT保存的条数。(以第3条举例,如果这里设置为5000,当abc_1.txt保存的链接数到达5000,后面的链接会自动保存到abc_2.txt里,依此类推。)
6、开始

下载权限

查看
  • 免费下载
    评论并刷新后下载
    登录后下载

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
软件工具黑帽资源

百度站长和熊掌号自动推送php脚本

2020-1-6 10:20:30

软件工具黑帽资源

火车头7.6企业完美破解版(无限制)

2020-1-9 10:20:30

⚠️
本站提供的源码、模板、软件工具等其他资源,均不包含技术服务,请大家谅解!
本站所有内容仅限学习交流,请在下载后24小时之内自行删除,不要用于商业用途。
下载所需积分可通过日常 签到、评论、关注 等途径免费获得,详情查看任务中心
若您的权利被侵害,请联系站长 QQ: 45644699 或者 留言反馈 ,我们将尽快处理。
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索