heritrix

Web抓取（也称为Web数据提取）是从网站检索和获取半结构化数据并将其存储在Microsoft Excel或CouchDB中的自动化过程。最近，关于Web数据提取的道德方面提出了许多问题。 网站所有者使用robots.txt（包含抓取条款和政策的文件）保护其电子商务网站