“机器人排除协议”<https://www.robotstxt.org/orig.html>文件允许或排除机器人/蜘蛛在不同区域爬行的一套标准网站内容。提供了包装“rep-cpp”的工具<https://github.com/seomoz/rep-cpp>用于处理这些“robots.txt”文件的C++库。
请使用规范形式https://CRAN.R-project.org/package=spiderbar链接到此页面。