A Google robotja nem járja be minden nap a weboldalunkat. Van úgy, hogy csak néhány hetente tér vissza az oldalra. Ez miatt a keresőptimalizáló erőfeszítéseket tesz, de az új landing page nem kerül beindexelésre. Ilyenkor kell a Google indexelését optimalizálni azért, hogy az oldalaink a lehető leggyorsabban indexelésre kerüljenek.
Azt nem lehet tudni, hogy a Google egy nap alatt mennyi oldalt térképez fel mert ez számos tényezőtől függ. Ezeket a tényezőket megváltoztatni nem tudjuk, de befolyásolással lehet rájuk a Googlebot feltérképezés optimalizálása.
Googlebot feltérképezés optimalizálása hogyan működik?
A weboldalon a googlebot mint egy lista szerűen térképezi fel az url, ezt szisztematikusan teszi. Első lépésként mindig megnézi a weboldalon található robots.txt amelyben le van írva, hogy mely oldalak térképezhetőek fel. Ezen információ alapján végig megy az url-eken, amennyiben újat talált azt beleteszi azt az eddigi listájába (adatbázisba). Ez a folyamatosan csinálja a googlebot amikor az oldalunkat feltérképezi.
Nagyon sok tényező alapján érezheti úgy a googlebot, hogy az oldalunkon található url-t fel lehet térképezni. Ezek a tényezők közé tartozik egy új tartalom megjelenése az oldalon, egy Twitter bejegyzés vagy az, hogy a sitemap.xml frissítésre került. Kizárt, hogy az összes tényezőt megtudjuk, de egy biztos, ha a googlebot talál url-t és megfelel az elvárásoknak azt feltérképezi.
Mennyi lehet feltérképezés mennyisége?
A feltérképezés mennyisége annyi amennyi URL-t a googlebot egy nap fel tud térképezni az adott weboldalon. Ezen oldalak száma nem minden nap azonos, de átlagosan mindig azonos számra kell gondolni. A feltérképezési mennyiséget úgy határozzuk meg, hogy mekkora az oldalak száma, egy egészséges weboldalon amit a google fel tud térképezni.
Mikor lehet feltérképezési probléma?
Alapvetően nincs probléma akkor ha majdnem minden oldalt feltérképez a googlebot, mondjuk a weboldalon 250.000 oldal található és naponta 20.000 oldal térképez fel akkor az is jó, de az is ha egy nap 50.000 oldalt.
A feltérképezésre figyelni kell, mert ha probléma van akkor az is gyorsan meg kell találni, mert ez biszony a weboldalunk hátrányára válhat. ettől függetlenül a googlebot bejárhatja az adott weboldalt, de az url-eket nem teszi bele az adatbázisába ( Indexébe ). Ez történt olyan miatt is, hogy például az oldal NOINDEX taggal van ellátva.
- A feltérképezéshez nagyon jó alapnak tekinthető ha a weboldalon megtalálható a sitemap.xml és külön jó ha még a Google Search Tools-ba is be van küldve.
- Lépj be a Google Search Consolba
- Lépj a Feltérképezés -> Feltérképezés statisztika pontra, itt megtekinthetőek a naponta átlagosan feltérképezett oldalak.
- Oszd el az oldalak számát a Átlagosn naponta feltérképezett oldalak számával
- Ha az így kapott szám nagyobb, mint 1o akkor a feltérképezést optimalizálni kell. Ha ez a szám kisebb, mint 3 akkor keress valami más megoldandó problémát ezen az oldalon, a feltérképezést optimalizálva van
Melyik oldalak kerültek feltérképezésre?
Nagyon fontos tudnunk, hogy mely oldalak kerültek feltérképezésre. Az egyetlen lehetséges út erre a szerver log fájlok felhasználásával lehetséges. Nagyon weboldalak esetében jól lehet használni a Logstash + Kibana páros, míg kisebb weboldalak esetében Screaming Frog SEO Log File Analyser-jét jó használni.
Nézd meg a szerver logot!
A tárhelyek nem mindig tudják megadni a weboldal tulajdonosoknak a szerver logot. De ha úgy látjuk, hogy szükségünk van a feltérképezés optimalizálására akkor kérjük meg a tárhely rendszergazdáját, hogy küldje meg nekünk. Ha nem hajlandó erre akkor javasolt másik tárhely keresése és a weboldal költöztetése.
A webhely feltérképezésének optimalizálása nagyon fontos, majdnem olyan fontos, mint egy autó megjavítása. Ha nem megy az autó akkor fel kell nyitni a motorházat, hogy megtaláljuk a problémát. Jelen esetben a motorház felnyitásakor fogjuk megkapni a szerver logokat amit át kell vizsgálni. Naplónk először nagyon félelmetes lesz, mert sok törött oldal fogunk találni, de ennek a napló fájlnak a letisztázása nagyon fontos és nagy segítségünkre lesz a keresőoptimalizálás során.
Növelje a feltkérképezést az oldalán!
Nézzük meg, hogy milyen eszközökkel lehetségek a weboldal ( googlebot feltérképezés optimalizálása )feltérképezésének növelése.
Weboldal karbantartás: hibák csökkentése
Első legfontosabb lépés az, hogy a feltérképezett oldalak minden esetben 200 ( “ok” ) vagy pedig 301 ( átirányítás ) fejlécet kapjanak. Minden más egyéb állapot jelen esetben a nincs rendbent fogja jelenteni számunkra. Ahhoz, hogy ezeket is megtaláljuk meg kell nézni a szerver logokat, mert minden más eszköz pl a Google Analytics csak a 200-as fejlécű oldalakat követi.
Első lépésben a szerver logok alapján keressük meg a hibás oldalakat, majd ezeket a hibákat fixáljuk. Szűrjük le azokat az oldalakat amelyek fejléce nem 200 vagy 301. Amit lehet javítsunk ki atirányítással ( 301 ) vagy ha tudjuk miért hivás az oldal akkor javítsuk a hibát.
Másik nagyon jó lehetőség a hibák javítására a Google Search Consolt használata, mert a hibákat ott is megtaláljuk és azon a listát végig lehet javítani.
Átirányítási láncok feltérképezése
Ha egy url átirányításra kerül akkor akkor a googlebot az új url-it bele fogja tenni az adatbázisába, így mindegyik új url is feltérképezésre kerül. Az új url-ket nem minden esetben követi a googlebot egyből, de fel lesz neki “írva” ezért nem felejti el. Éppen ezért van az, hogy ha www nélküli tartalmat átirányítjuk a www-s tartalomra, vagy pedig http-n lévő tartalmat a https tartalomra akkor ezeket is feltérképezi de egy kicsit lassabban.
Legyen akkor több url feltérképezve!
Könnyű ezt mondani, de annál nehezebb megcsinálni! Ahhoz, hogy több linkünk legyen azt nehéz megcsinálni, mert ahhoz jobb PR kell illetve nagyon jó közösségi média kapcsolatoknak.
Az új kapcsolatok, linkek kiépítése nagyon lassú folyamat ezért első lépésben koncentrálj a rossz oldalak javítására. A rossz oldalak javítása hamarabb szokott eredményt hozni, mint a hivatkozások gyűjtése.
APM és a feltérképezés
Google mindenkinek az javasolja, hogy használjon AMP-t ( Accelerated Mobile Pages ). Ezzel cssak annyi a probléma, hogy az AMP-s oldalakhoz új oldalként jelennek fel az oldalra. Például: example.com/page and example.com/page/ amp Ebben az esetben duplán kell az oldalt feltérképezni. Ez olyankor hátrány amikor már eleve problémánk van a feltérképezéssel. Épp ezért jó tanács, hogy ha problémánk van a feltérképezéssel akkor ne használjunk addig AMP oldalt amíg ezt a problémát meg nem oldjuk.
TL; DR: feltérkepzés optimalizálása nem könnyű
A webhelyek optimalizálása nem könnyű feladat. Ha a weboldal nem nagy akkor vélhetően nem is rá szükség. Amennyiben közepes méretű a weboldal akkor a fenti trükkök végrehajtása elég lesz a jobb eredmény eléréséhez. Ha viszont nagyon sok url-el rendelkezik a weboldal akkor már érdemes tapaszataltabb SEO-s hívni a probléma megoldásához.