من المصدر يعطيك الكود لـ اختبار robots.txt

حياكم الله : ادخل احد الروابط
https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/
او
https://support.google.com/webmasters/answer/6062598?hl=ar
او
https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=+6062598&siteUrl=
كما بالصوره

او الاستخدام بالاضافه