ਤੁਹਾਡੀ ਵੈਬਸਾਈਟ ਦੇ ਰੂਟ ਵਿੱਚ ਸਟੋਰ ਕੀਤੀ ਇੱਕ robots.txt ਫਾਈਲ ਵੈਬ ਰੋਬੋਟ ਨੂੰ ਖੋਜ ਇੰਜਣ ਸਪਾਇਰਾਂ ਜਿਹਦਾ ਡਾਇਰੈਕਟਰੀਆਂ ਅਤੇ ਫਾਈਲਾਂ ਨੂੰ ਕ੍ਰੋਲਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗੀ, ਦੱਸੇਗੀ. ਇੱਕ robots.txt ਫਾਈਲ ਦਾ ਉਪਯੋਗ ਕਰਨਾ ਅਸਾਨ ਹੈ, ਪਰ ਕੁਝ ਗੱਲਾਂ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਯਾਦ ਰੱਖਣੇ ਚਾਹੀਦੀਆਂ ਹਨ:
- ਕਾਲੀ ਟੋਪੀ ਵੈਬ ਰੋਬੋਟ ਤੁਹਾਡੀ robots.txt ਫਾਇਲ ਨੂੰ ਅਣਡਿੱਠ ਕਰ ਦੇਵੇਗਾ. ਸਭ ਤੋਂ ਆਮ ਕਿਸਮ ਮਾਲਵੇਅਰ ਬੋਟਾਂ ਅਤੇ ਰੋਬੋਟ ਹਨ ਜੋ ਵਾਢੀ ਕਰਨ ਲਈ ਈਮੇਲ ਪਤੇ ਲੱਭ ਰਹੇ ਹਨ.
- ਕੁਝ ਨਵੇਂ ਪ੍ਰੋਗਰਾਮਰ ਰੋਬੋਟ ਲਿਖਣਗੇ ਜੋ ਰੋਬੋਟਸੈਟਿਕਸ ਫਾਇਲ ਨੂੰ ਅਣਡਿੱਠ ਕਰਦੇ ਹਨ. ਇਹ ਆਮ ਤੌਰ ਤੇ ਗਲਤੀ ਦੁਆਰਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ.
- ਕੋਈ ਵੀ ਤੁਹਾਡੀ robots.txt ਫਾਇਲ ਨੂੰ ਦੇਖ ਸਕਦਾ ਹੈ. ਉਹ ਹਮੇਸ਼ਾਂ robots.txt ਕਹਿੰਦੇ ਹਨ ਅਤੇ ਹਮੇਸ਼ਾਂ ਵੈਬਸਾਈਟ ਦੇ ਰੂਟ ਤੇ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ.
- ਅੰਤ ਵਿੱਚ, ਜੇਕਰ ਕੋਈ ਇੱਕ ਫਾਇਲ ਜਾਂ ਡਾਇਰੈਕਟਰੀ ਨਾਲ ਸਬੰਧਿਤ ਹੈ ਜੋ ਤੁਹਾਡੀ robots.txt ਫਾਇਲ ਦੁਆਰਾ ਕਿਸੇ ਅਜਿਹੇ ਪੇਜ ਤੋਂ ਬਾਹਰ ਕੀਤੀ ਗਈ ਹੈ ਜੋ ਉਸਦੀ robots.txt ਫਾਇਲ ਦੁਆਰਾ ਬਾਹਰ ਨਹੀਂ ਕੱਢਿਆ ਗਿਆ ਹੈ, ਤਾਂ ਖੋਜ ਇੰਜਣ ਇਸ ਨੂੰ ਕਿਸੇ ਵੀ ਤਰਾਂ ਲੱਭ ਸਕਦੇ ਹਨ.
ਕਿਸੇ ਵੀ ਮਹੱਤਵਪੂਰਣ ਚੀਜ਼ ਨੂੰ ਲੁਕਾਉਣ ਲਈ ਰੋਬੋਟਸਪੀਐਸਟੀ ਫਾਈਲਾਂ ਦੀ ਵਰਤੋਂ ਨਾ ਕਰੋ. ਇਸ ਦੀ ਬਜਾਇ, ਤੁਹਾਨੂੰ ਸੁਰੱਖਿਅਤ ਪਾਸਵਰਡ ਦੇ ਪਿੱਛੇ ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਨੂੰ ਪਾ ਜ ਇਸ ਨੂੰ ਪੂਰੀ ਵੈੱਬ ਤੱਕ ਇਸ ਨੂੰ ਛੱਡ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ
ਇਹ ਨਮੂਨਾ ਫਾਇਲਾਂ ਕਿਵੇਂ ਵਰਤਣੀਆਂ ਹਨ
ਉਸ ਨਮੂਨੇ ਦੀ ਨਕਲ ਨੂੰ ਕਾਪੀ ਕਰੋ ਜੋ ਤੁਸੀਂ ਸਭ ਤੋਂ ਨੇੜੇ ਕਰਨਾ ਹੈ, ਅਤੇ ਇਸ ਨੂੰ ਆਪਣੀ robots.txt ਫਾਇਲ ਵਿੱਚ ਪੇਸਟ ਕਰੋ. ਆਪਣੇ ਪਸੰਦੀਦਾ ਸੰਰਚਨਾ ਨੂੰ ਮੇਲ ਕਰਨ ਲਈ ਰੋਬੋਟ, ਡਾਇਰੈਕਟਰੀ, ਅਤੇ ਫਾਇਲ ਨਾਂ ਬਦਲੋ.
ਦੋ ਬੁਨਿਆਦੀ Robots.txt ਫਾਇਲਾਂ
ਯੂਜ਼ਰ-ਏਜੰਟ: *
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: /
ਇਹ ਫਾਈਲ ਦੱਸਦੀ ਹੈ ਕਿ ਕੋਈ ਵੀ ਰੋਬੋਟ (ਉਪਭੋਗਤਾ-ਏਜੰਟ: *) ਜੋ ਇਸਤੇ ਪਹੁੰਚਦਾ ਹੈ, ਉਹ ਸਾਈਟ ਤੇ ਹਰ ਸਫ਼ੇ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ (ਨਾਮ: /)
ਯੂਜ਼ਰ-ਏਜੰਟ: *
ਨਾਮਨਜ਼ੂਰ ਕਰੋ:
ਇਹ ਫਾਈਲ ਦੱਸਦੀ ਹੈ ਕਿ ਕਿਸੇ ਵੀ ਰੋਬੋਟ (ਉਪਭੋਗਤਾ-ਏਜੰਟ: *), ਜੋ ਇਸਤੇ ਪਹੁੰਚਦਾ ਹੈ, ਸਾਈਟ ਤੇ ਹਰ ਸਫ਼ੇ ਨੂੰ ਦੇਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ (ਨਾਮ::).
ਤੁਸੀਂ ਇਹ ਆਪਣੀ ਰੋਬੋਟਸ.txt ਫਾਈਲ ਨੂੰ ਖਾਲੀ ਛੱਡ ਕੇ ਜਾਂ ਤੁਹਾਡੀ ਸਾਈਟ ਤੇ ਕਿਸੇ ਨੂੰ ਵੀ ਨਹੀਂ ਕਰ ਸਕਦੇ.
ਰੋਬੋਟਾਂ ਤੋਂ ਖਾਸ ਡਾਇਰੈਕਟਰੀਆਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰੋ
ਯੂਜ਼ਰ-ਏਜੰਟ: *
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: / cgi-bin /
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: / ਆਰਜ਼ੀ /
ਇਹ ਫਾਈਲ ਦੱਸਦੀ ਹੈ ਕਿ ਕਿਸੇ ਵੀ ਰੋਬੋਟ (User-agent: *), ਜੋ ਇਸਤੇ ਪਹੁੰਚਦਾ ਹੈ, ਉਸਨੂੰ ਡਾਇਰੈਕਟਰੀ / cgi-bin / ਅਤੇ / temp / (ਅਸਵੀਹ: / cgi-bin / Disallow: / temp /) ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ.
ਰੋਬੋਟ ਤੋਂ ਖਾਸ ਸਫ਼ੇ ਸੁਰੱਖਿਅਤ ਕਰੋ
ਯੂਜ਼ਰ-ਏਜੰਟ: *
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: /jenns-stuff.htm
ਅਸਵੀਕਾਰ ਕਰੋ: /private.php
ਇਹ ਫਾਈਲ ਦੱਸਦੀ ਹੈ ਕਿ ਕੋਈ ਵੀ ਰੋਬੋਟ (ਉਪਭੋਗਤਾ-ਏਜੰਟ: *) ਜੋ ਇਸਤੇ ਪਹੁੰਚਦਾ ਹੈ, ਉਸਨੂੰ / jenns -stuff.htm ਅਤੇ /private.php (ਅਣਡਿੱਠ ਕਰੋ: /jenns -stuff.htm Disallow: /private.php) ਨੂੰ ਅਣਡਿੱਠਾ ਕਰ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ.
ਇੱਕ ਖਾਸ ਰੋਬੋਟ ਨੂੰ ਆਪਣੀ ਸਾਈਟ ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਰੋਕੋ
ਯੂਜ਼ਰ-ਏਜੰਟ: ਲਾਇਕੋਸ / xx
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: /
ਇਹ ਫਾਈਲ ਦੱਸਦੀ ਹੈ ਕਿ ਲਾਇਕੋਸ ਬੋਟ (ਯੂਜ਼ਰ-ਏਜੰਟ: ਲਾਇਕੋਸ / ਐਕਸ ਐਕਸ) ਨੂੰ ਸਾਈਟ 'ਤੇ ਕਿਤੇ ਵੀ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਨਹੀਂ ਹੈ (ਨਾਮ: /)
ਸਿਰਫ ਇੱਕ ਖਾਸ ਰੋਬੋਟ ਪਹੁੰਚ ਦੀ ਇਜ਼ਾਜਤ
ਯੂਜ਼ਰ-ਏਜੰਟ: *
ਨਾਮਨਜ਼ੂਰ ਕਰੋ: /
ਯੂਜ਼ਰ-ਏਜੰਟ: Googlebot
ਨਾਮਨਜ਼ੂਰ ਕਰੋ:
ਇਹ ਫਾਈਲ ਪਹਿਲਾਂ ਸਾਨੂੰ ਸਭ ਰੋਬੋਟਾਂ ਨੂੰ ਅਸਵੀਕਾਰ ਕਰਦੀ ਹੈ ਜਿਵੇਂ ਅਸੀਂ ਉਪਰੋਕਤ ਕੀਤਾ ਹੈ, ਅਤੇ ਫਿਰ ਸਪਸ਼ਟ ਤੌਰ ਤੇ Googlebot (ਉਪਭੋਗਤਾ-ਏਜੰਟ: Googlebot) ਨੂੰ ਹਰ ਚੀਜ਼ ਤੱਕ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ (ਨਾਮਨਜ਼ੂਰ ਕਰੋ:).
ਮਲਟੀਪਲ ਲਾਈਨਾਂ ਨੂੰ ਜੋੜੋ ਜੋ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਬਿਲਕੁਲ ਬੇਲੋੜੀਆਂ ਪ੍ਰਾਪਤ ਕਰੋ
ਹਾਲਾਂਕਿ ਇੱਕ ਬਹੁਤ ਹੀ ਸੰਮਲਿਤ ਯੂਜ਼ਰ-ਏਜੰਟ ਲਾਈਨ ਵਰਤਣ ਲਈ ਬਿਹਤਰ ਹੈ, ਜਿਵੇਂ ਕਿ ਉਪਭੋਗਤਾ-ਏਜੰਟ: *, ਤੁਸੀਂ ਜਿੰਨਾ ਚਾਹੋ ਖਾਸ ਹੋ ਸਕਦੇ ਹੋ. ਯਾਦ ਰੱਖੋ ਕਿ ਰੋਬੋਟ ਫਾਈਲ ਨੂੰ ਕ੍ਰਮ ਵਿੱਚ ਪੜ੍ਹਦੇ ਹਨ ਇਸ ਲਈ ਜੇ ਪਹਿਲੀ ਲਾਈਨ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਸਾਰੇ ਰੋਬੋਟ ਹਰ ਚੀਜ ਤੋਂ ਬਲੌਕ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਫਾਇਲ ਵਿੱਚ ਇਹ ਕਹਿੰਦੇ ਹਨ ਕਿ ਸਾਰੇ ਰੋਬੋਟ ਹਰ ਚੀਜ਼ ਤੱਕ ਪਹੁੰਚ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਰੋਬੋਟ ਹਰ ਚੀਜ਼ ਤੱਕ ਪਹੁੰਚ ਪ੍ਰਾਪਤ ਕਰੇਗਾ
ਜੇ ਤੁਸੀਂ ਨਿਸ਼ਚਿਤ ਨਹੀਂ ਹੋ ਕਿ ਕੀ ਤੁਸੀਂ ਆਪਣੀ robots.txt ਫਾਇਲ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਲਿਖਿਆ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਆਪਣੀ robots.txt ਫਾਈਲ ਦੇਖਣ ਜਾਂ ਇੱਕ ਨਵਾਂ ਲਿਖਣ ਲਈ Google ਦੇ ਵੈਬਮਾਸਟਰ ਟੂਲ ਦਾ ਉਪਯੋਗ ਕਰ ਸਕਦੇ ਹੋ.