మీ వెబ్సైట్ కోసం నమూనా robots.txt ఫైళ్ళు

మీ వెబ్సైట్ యొక్క మూలంలో నిల్వ చేసిన ఒక robots.txt ఫైల్ శోధన ఇంజిన్ స్పైడర్స్ వంటి వెబ్ రోబోట్లు ఏ డైరెక్టరీలు మరియు ఫైళ్లను క్రాల్ చేయడానికి అనుమతించాలో తెలియజేస్తుంది. ఇది ఒక robots.txt ఫైల్ను ఉపయోగించడానికి సులభం, కానీ మీరు గుర్తుంచుకోవాల్సిన కొన్ని విషయాలు ఉన్నాయి:

1. Blackhat వెబ్ రోబోట్లు మీ robots.txt ఫైల్ను విస్మరిస్తాయి. అత్యంత సాధారణ రకాలు మాల్వేర్ బాట్లను మరియు రోబోట్లను ఇమెయిల్ చిరునామాలను పంట కోసం చూస్తున్నాయి.
2. కొన్ని కొత్త ప్రోగ్రామర్లు robots.txt ఫైల్ను విస్మరించే రోబోట్లు రాయడం కనిపిస్తుంది. దీనిని సాధారణంగా పొరపాటుగా చేస్తారు.
3. ఎవరైనా మీ robots.txt ఫైల్ను చూడవచ్చు. ఇవి ఎల్లప్పుడూ robots.txt గా పిలువబడతాయి మరియు ఎల్లప్పుడూ వెబ్సైట్ యొక్క మూలంలో నిల్వ చేయబడతాయి.
4. చివరగా, మీ robots.txt ఫైల్ ద్వారా మినహాయించని ఒక పేజీ నుండి మీ robots.txt ఫైల్ ద్వారా మినహాయించబడిన ఒక ఫైల్ లేదా డైరెక్టరీకి ఎవరైనా లింక్ చేస్తే, శోధన ఇంజిన్లు ఎలాగైనా కనుగొనవచ్చు.

ముఖ్యమైన ఏదైనా దాచడానికి robots.txt ఫైళ్లను ఉపయోగించవద్దు. బదులుగా, మీరు సురక్షిత పాస్వర్డ్ల వెనుక ముఖ్యమైన సమాచారాన్ని ఉంచాలి లేదా పూర్తిగా వెబ్ను వదిలివేయాలి.

ఈ నమూనా ఫైళ్ళు ఎలా ఉపయోగించాలి

మీరు చేయదలచిన దానికి సన్నిహితమైన నమూనా నుండి వచనాన్ని కాపీ చేసి, మీ robots.txt ఫైల్లో అతికించండి. మీకు కావలసిన ఆకృతీకరణకు సరిపోలడానికి రోబోట్, డైరెక్టరీ మరియు ఫైల్ పేర్లను మార్చండి.

రెండు ప్రాథమిక Robots.txt ఫైళ్ళు

వినియోగదారు-ఏజెంట్: *అనుమతించవద్దు: /

ఈ ఫైలు ఏ రోబోట్ (

వినియోగదారు-ఏజెంట్: *) యాక్సెస్ ఇది సైట్ ప్రతి పేజీ విస్మరించు ఉండాలి (

అనుమతించవద్దు: /).

వినియోగదారు-ఏజెంట్: *అనుమతించవద్దు:

ఈ ఫైలు ఏ రోబోట్ (

వినియోగదారు-ఏజెంట్: *) యాక్సెస్ ఇది సైట్ లో ప్రతి పేజీ వీక్షించడానికి అనుమతి (

అనుమతించవద్దు:).

మీరు మీ robots.txt ఫైల్ను ఖాళీగా ఉంచడం ద్వారా లేదా మీ సైట్లో ఒకదానిని కలిగి ఉండకుండా దీన్ని చేయవచ్చు.

రోబోట్లు నుండి నిర్దిష్ట డైరెక్టరీలను రక్షించండి

వినియోగదారు-ఏజెంట్: *అనుమతించవద్దు: / cgi-bin /అనుమతించవద్దు: / తాత్కాలిక /

ఈ ఫైలు ఏ రోబోట్ (

వినియోగదారు-ఏజెంట్: *) యాక్సెస్ ఇది డైరెక్టరీలు / cgi-bin / మరియు / temp / (విస్మరించాలి

అనుమతించవద్దు: / cgi-bin / నిరాకరించు: / తాత్కాలిక /).

రోబోట్స్ నుండి ప్రత్యేక పేజీలు రక్షించండి

వినియోగదారు-ఏజెంట్: *అనుమతించవద్దు: /jenns-stuff.htmఅనుమతించవద్దు: /private.php

ఈ ఫైలు ఏ రోబోట్ (

వినియోగదారు-ఏజెంట్: *) యాక్సెస్ అది ఫైళ్లు /jenns-stuff.htm మరియు /private.php ()

అనుమతించవద్దు: /jenns-stuff.htm అనుమతించవద్దు: /private.php).

మీ సైట్ యాక్సెస్ నుండి ఒక నిర్దిష్ట రోబోట్ అడ్డుకో

వినియోగదారు ఏజెంట్: లైకోస్ / x.xఅనుమతించవద్దు: /

ఈ ఫైలు లైకోస్ బాట్ (

వినియోగదారు ఏజెంట్: లైకోస్ / x.x) సైట్లో ఎక్కడైనా ప్రాప్యత అనుమతించబడదు (

అనుమతించవద్దు: /).

ఒక్క ప్రత్యేక రోబోట్ యాక్సెస్ను అనుమతించు

వినియోగదారు-ఏజెంట్: *అనుమతించవద్దు: /యూజర్ ఏజెంట్: Googlebotఅనుమతించవద్దు:

ఈ ఫైల్ మొదట మేము పైన పేర్కొన్న అన్ని రోబోట్లను అనుమతించలేదు మరియు తర్వాత Googlebot ను స్పష్టంగా అనుమతిస్తుంది

యూజర్ ఏజెంట్: Googlebot) ప్రతిదీ యాక్సెస్ (

అనుమతించవద్దు:).

మీకు కావలసిన మినహాయింపులను సరిగ్గా పొందటానికి బహుళ లైన్లను చేర్చండి

వినియోగదారు-ఏజెంట్ లాంటి చాలా కలుపుకొని ఉన్న వినియోగదారు-ఏజెంట్ లైన్ ను ఉపయోగించడం మంచిది: *, మీకు నచ్చిన విధంగా మీరు నిర్దిష్టంగా ఉండవచ్చు. ఆ రోబోట్లు ఫైల్ను క్రమంలో చదవడం గుర్తుంచుకోండి. కాబట్టి మొదటి పంక్తులు అన్ని రోబోట్లు అన్నింటికీ బ్లాక్ చేయబడుతున్నాయని మరియు ఆ తరువాత ఫైల్లోని అన్ని రోబోట్లు అన్నింటికీ యాక్సెస్ చేయడానికి అనుమతించబడతాయి, రోబోట్లు అన్నింటికీ ప్రాప్తి చేయగలవు.

మీరు మీ robots.txt ఫైల్ను సరిగ్గా వ్రాశాడా లేదో మీకు ఖచ్చితంగా తెలియకపోతే, మీరు మీ robots.txt ఫైల్ను తనిఖీ చేయడానికి లేదా క్రొత్తదాన్ని వ్రాయడానికి Google యొక్క వెబ్మాస్టర్ ఉపకరణాలను ఉపయోగించవచ్చు.