Soekenjins is toegerus met robotte, ook bekend as spinnekoppe of bots, wat webblaaie kruip en indekseer. As u webwerf of bladsy onder ontwikkeling is of sensitiewe inhoud bevat, wil u moontlik voorkom dat bots deur u webwerf kan kruip en te indekseer. Leer hoe u volledige webwerwe, bladsye en skakels met robots.txt -lêers kan blokkeer en spesifieke bladsye en skakels met html -etikette kan blokkeer. Lees verder om te ontdek hoe u spesifieke bots toegang tot u inhoud kan blokkeer.
Stappe
Metode 1 van 2: Blokkeer soekenjins met robots.txt -lêers
Stap 1. Verstaan robots.txt -lêers
'N Robots.txt -lêer is 'n gewone of ASCII -tekslêer wat die soekenjins inlig oor die toegang tot u webwerf. Lêers en gidse wat in 'n robots.txt -lêer verskyn, mag nie deur 'n soekenjinspinner gekruip en geïndekseer word nie. U benodig moontlik 'n robots.txt -lêer as:
- U wil spesifieke inhoud van soekenjinspinnekoppe blokkeer.
- U ontwikkel 'n lewendige webwerf en is nie bereid om die soekenjinspinnekoppe te laat kruip en die webwerf te indekseer nie
- U wil toegang tot betroubare bots beperk.
Stap 2. Skep en stoor en robots.txt lêer
Begin 'n gewone teksredakteur of 'n kode -redakteur om die lêer te skep. Stoor die lêer as: robots.txt. Die lêernaam moet kleinletters wees.
- Moenie die “s” vergeet nie.
- As u die lêer stoor, kies die uitbreiding ''.txt ''. As u Word gebruik, kies die opsie 'Gewone teks'.
Stap 3. Skryf 'n volledige robots.txt-lêer wat nie toegelaat word nie
Dit is moontlik om elke betroubare spinnekop van die soekenjins te blokkeer om u webwerf te kruip en te indekseer met 'n robot.txt wat volledig nie toegelaat word nie. Skryf die volgende reëls in u tekslêer:
Gebruiker-agent: * Disallow: /
Stap 4. Skryf 'n voorwaardelike-toelaat robots.txt lêer
In plaas daarvan om alle bots te blokkeer, oorweeg dit om spesifieke spinnekoppe van sekere dele van u webwerf te blokkeer. Algemene voorwaardelike toelaatopdragte sluit in:
- Blokkeer 'n spesifieke bot: vervang die sterretjies langs Gebruikers-agent met googlebot, googlebot-nuus, googlebot-image, bingbot, of teoma.
-
Blokkeer 'n gids en die inhoud daarvan:
User-agent: * Disallow: /sample-directory /
-
Blokkeer 'n webblad:
Gebruiker-agent: * Disallow: /private_file.html
-
Blokkeer 'n prent:
Gebruikersagent: googlebot-image Disallow: /images_mypicture.jpg
-
Blokkeer alle prente:
Gebruikersagent: googlebot-image Disallow: /
-
Blokkeer 'n spesifieke lêerformaat:
Gebruikersagent: * Disallow: /p*.gif$
Stap 5. Moedig bots aan om u webwerf te indekseer en te kruip
Baie mense wil spinnekoppe in plaas van blok verwelkom omdat hulle hul hele webwerf geïndekseer wil hê. Om dit te bereik, het u drie opsies. Eerstens kan u besluit om nie 'n robots.txt-lêer te skep nie-as die robot nie 'n robots.txt-lêer kry nie, sal dit u hele webwerf deurkruip en indekseer. Tweedens kan u 'n leë robots.txt-lêer skep-die robot vind die robots.txt-lêer, herken dat dit leeg is, en gaan voort om te kruip en u webwerf te indekseer. Laastens kan u 'n volledig toegelate robots.txt-lêer skryf. Gebruik die kode:
Gebruikersagent: * Weier:
Stap 6. Stoor die txt -lêer in die wortel van u domein
Stoor die veranderinge nadat u die robots.txt -lêer geskryf het. Laai die lêer op na die wortelgids van u webwerf. Byvoorbeeld, as u domein www.yourdomain.com, plaas die robots.txt -lêer by www.yourdomain.com/robots.txt.
Metode 2 van 2: Blokkeer soekenjins met metatags
Stap 1. Verstaan HTML -robots metatags
Met die robots -metatiket kan programmeerders parameters stel vir bots, of soekenjinspinnekoppe. Hierdie etikette word gebruik om te voorkom dat bots 'n hele webwerf of slegs dele van die webwerf kan indekseer en kruip. U kan ook hierdie etikette gebruik om 'n spesifieke soekenjinspin te blokkeer om u inhoud te indekseer. Hierdie etikette verskyn in die kop van u HTML -lêer.
Hierdie metode word algemeen gebruik deur programmeerders wat nie toegang tot die wortelgids van 'n webwerf het nie
Stap 2. Blokkeer bots van 'n enkele bladsy
Dit is moontlik om alle bots te blokkeer om 'n bladsy te indekseer of om die skakels van 'n bladsy te volg. Hierdie etiket word algemeen gebruik wanneer 'n lewendige webwerf ontwikkel word. Sodra die webwerf voltooi is, word dit sterk aanbeveel dat u hierdie etiket verwyder. As u die etiket nie verwyder nie, word u bladsy nie deur soekenjins geïndekseer of gesoek nie.
- U kan bots blokkeer om die bladsy te indekseer en nie een van die skakels te volg nie:
- U kan alle bots blokkeer om die bladsy te indekseer:
- U kan alle bots blokkeer om die skakels van die bladsy te volg:
Stap 3. Laat die bots toe om 'n bladsy te indekseer, maar volg nie die skakels daarvan nie
As u toelaat dat die bots die bladsy indekseer, word die bladsy geïndekseer; as u verhoed dat die spinnekoppe die skakels volg, breek die skakelpad van hierdie spesifieke bladsy na ander bladsye. Voeg die volgende reël kode in u kop:
Stap 4. Laat die soekenjinspinnekoppe die skakels volg, maar moenie die bladsy indekseer nie
As u toelaat dat die bots die skakels volg, bly die skakelpad van hierdie spesifieke bladsy na ander bladsye taktvol; as u dit weerhou om die bladsy te indekseer, sal u webwerf nie in die indeks verskyn nie. Voeg die volgende reël kode in u kop:
Stap 5. Blokkeer 'n enkele uitgaande skakel
Om 'n enkele skakel op 'n bladsy te verberg, sluit 'n t.o.v. tag binne die skakel tag. U kan hierdie etiket gebruik om skakels op ander bladsye wat na die spesifieke bladsy wat u wil blokkeer, te blokkeer.
Voeg skakel na geblokkeerde bladsy in
Stap 6. Blokkeer 'n spesifieke soekenjinspinnekop
In plaas daarvan om alle bots van u webwerf te blokkeer, wil u voorkom dat een bot die bladsy kruip en indekseer. Om dit te bereik, vervang '' robot '' binne die metatag met die naam van 'n spesifieke bot. Voorbeelde sluit in: googlebot, googlebot-nuus, googlebot-image, bingbot, en teoma.
Stap 7. Moedig bots aan om u bladsy te kruip en te indekseer
As u wil verseker dat u bladsy geïndekseer word en die skakels daarvan gevolg sal word, kan u 'n follow-allow invoeg meta "robot" merk in u kop. Gebruik die volgende kode:
