蜘蛛栏:分析和测试机器人排除协议文件和规则

“机器人排除协议”<https://www.robotstxt.org/orig.html>文件允许或排除机器人/蜘蛛在不同区域爬行的一套标准网站内容。提供了包装“rep-cpp”的工具<https://github.com/seomoz/rep-cpp>用于处理这些“robots.txt”文件的C++库。

版本: 0.2.5
取决于: R(≥3.2.0)
进口: 卢比
链接到: 卢比
建议: 覆盖(covr),机器人文本,小测试
出版: 2023-02-11
作者: 鲍勃·鲁迪斯(bob@rud.is)[aut,cre],SEOmoz公司[aut]
维护人员: 鲍勃·鲁迪斯
错误报告: https://github.com/hrbrmstr/spiderbar/issues网站
许可证: 麻省理工学院+文件许可证
网址: https://github.com/hrbrmstr/spiderbar网站
需要编译:
在视图中: 网络技术
CRAN检查: 蜘蛛棒结果

文档:

参考手册: 蜘蛛棒.pdf

下载内容:

包源: 蜘蛛棒_0.2.5.tar.gz
Windows二进制文件: r-预发布:蜘蛛棒_0.2.5.zip,r版本:蜘蛛棒_0.2.5.zip,r-oldrel:蜘蛛棒_0.2.5.zip
macOS二进制文件: r-prerel(arm64):蜘蛛棒0.2.5.tgz,r-release(arm64):蜘蛛棒0.2.5.tgz,r-oldrel(arm64):蜘蛛侠0.2.5.tgz,r-prerel(x86_64):蜘蛛棒0.2.5.tgz,r-release(x86_64):蜘蛛棒0.2.5.tgz
旧来源: 蜘蛛棒存档

反向依赖关系:

反向进口: 机器人文本

链接:

请使用规范形式https://CRAN.R-project.org/package=spiderbar链接到此页面。