eeblog

Heb je eindelijk na dagen, weken, maanden ploeteren een fatsoenlijke website in elkaar geknusteld, vol met de laatste snufjes conform de eisen van de web 2.0 websurfer (jQuery, FLIR image replacement, shadowbox, je eigen videoconverter a la Youtube, uiteraard XHTML correct, meertalige SEO vriendelijke URL’s) dan zou eigenlijk het hele internet alles uit hun handen moeten laten vallen en meteen naar je website moeten komen kijken.

Wat heb je aan een fatsoenlijke website als niemand er komt kijken? Bar weinig en daarom heb je natuurlijk een heleboel handige tools en weetikwat’s om je site te promoten.

Een goed begin is het maken van een degelijke sitemap. Sitemaps ze komen eigenlijk in 2 smaken, een gebruikersvriendelijke variant en een voor de zoekmachines/webcrawlers (zonder opmaak):

• De HTMLvriendelijke; zie je vaak bij uitgebreide websites om bezoekers te helpen wegwijs te worden op de website. Alle beschikbare pagina’s staan er op.
• Een voor Webcrawlers; die de website dan makkelijker kunnen doorlopen en indexeren, met o.a. een prioriteitstag, hoe belangrijk de pagina is. Wanneer de pagina voor het laatst is bijgewerkt

Het maken van een ingebakken Sitemap generator in een website is geen overbodige luxe. En een vaak vergeten functionaliteit. Alle beschikbare pagina’s van een website nalopen kan (afhankelijk van de opbouw van de website) een intensief proces zijn. Gelukkig zijn er ook tools om van buitenaf de website zelf te spideren en een sitemap te maken. Tuurlijk zijn er allerlei ‘handige’ plugins te vinden, maar als het echt wilt hebben zo als jij wilt hebben, dan doe je het zelf. Enter Wget…

Wget is your best friend

Wget is een krachtige unix tool die (ook beschikbaar voor Windows) die via http/ftp allerlei manieren (onderdelen van websites) kan nalopen, downloaden en archiveren. Het kan als spider worden gebruikt of als website mirror dienst, download tool en veel meer. In ons geval gebruiken we Wget om een website na te lopen en dan gevonden interne links ook te volgen. Alle resultaten worden opgeslagen in een log bestand wat we later gaan aanpassen om alle gevonden resultaten uit te filteren. In een console:
wget -m --follow-tags=a --reject=jpg,bmp,png,js,gif,css,flv,pdf,login --no-directories -o spider_results.txt --delete-after -erobots=off http://www.eeble.nl

• -m = mirror de website
• follow-tags = a levert alleen de anchor tags op
• –reject = negeer links met deze woorden in de URL
• –no-directories = geen lokale kopie van directories aanmaken (scheelt weer ruimte)
• –delete-after = verwijder bestanden na downloaden (scheelt weer ruimte)
• -erobots=off = negeer robots.txt

Dit levert een bestand genaamd spider_results.txt waar alle gevonden resultaten in terecht komen. Met een simpel cat opdrachtje wordt de output leesbaar. In een console type:

cat spider_results.txt | grep http://www.eeble.nl | cut -d ' ' -f4 | sort -u

En dat ziet er dan weer zo uit:

http://www.eeble.nl/
http://www.eeble.nl/11/home
http://www.eeble.nl/11/tetris.html
http://www.eeble.nl/13/research.html
http://www.eeble.nl/15/playground.html
http://www.eeble.nl/16/technieken.html
http://www.eeble.nl/17/links.html
http://www.eeble.nl/18/hosting.html
http://www.eeble.nl/1/home.html
http://www.eeble.nl/4/vacature.html
http://www.eeble.nl/6/contact.html
http://www.eeble.nl/blog
http://www.eeble.nl/blog/2008/08
http://www.eeble.nl/blog/2008/09
...

Dan is nog een php script om de resultaten weer te geven als XML bestand:

<php?

$logfile =  sitemap.txt;
if (is_readable($logfile)) {
 if ($links = file($logfile)) {
  if (count($links = array_filter(array_map('trim', $links),'strlen'))>0) {
   sort($links, SORT_STRING);
   $out ="\n
         xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\"\n
         xsi:schemaLocation=\"http://www.sitemaps.org/schemas/sitemap/0.9
         http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd\">\n";
   foreach($links as $link) {
      $num = substr_count($link,'/')-3;
      $out .= " \n ".trim(htmlentities($link))."\n";
      $out .= sprintf("%F\n \n",(1-$num/10*2));
  }
  $out .= "</urlset>";

  //output maken
  header ("content-type: text/xml");
  echo $out;
  exit(0);
 }
}
} else { //404 terug geven
  header("HTTP/1.0 404 Not Found");
  header("Cache-Control: no-cache, must-revalidate");
  header("Expires: Sat, 26 Jul 1997 05:00:00 GMT");
  exit(0);
}
?>

Tags: sitemap, spider, wget

Dit bericht is geplaatst op woensdag, 11 februari 2009 om 19:01 en hoort bij PHP, Techniek. Je kunt reacties volgen met de RSS 2.0 feed. Je kunt een reactie achterlaten, of een trackback plaatsen vanaf je eigen site.