rufbetten [moje postelje]

Da nadaljujem Porazdeljeno indeksiranje spleta.... Majestic-12 je drugi spletni iskalnik, ki deluje po principu porazdeljenega indeksiranja interneta. Anglež ruskega porekla Alex Chudnovsky si je zamislil iskalnik, ki za preiskavo spletnega prostora uporablja linije in procesorski čas prostovoljcev. To se je odločil zaradi same velikosti in seveda tudi nenehne rasti interneta, kjer je skoraj nemogoče preiskati celotno področje v kratkem času. Razmišlja tudi o porazdeljenem indeksu, kjer pa predstavlja velik problem hitrost poizvedb. V forumu sem odkril sliko Alexa in serverjev. Vsakič se nasmehnem, ko jo vidim. Zelo garažno. Uporaba je preprosta. Vsak prostovoljec si na svoj računalnik namesti majhno aplikacijo imenovano MJ12node. Nato si izbere uporabniško ime in geslo, popravi nekaj nastavitev in že lahko začne preiskovati internet. MJ12node in celoten iskalnik je narejen v .NET tehnologiji, kar me je rahlo presenetilo. Le kaj se je zgodilo z dobrim starim C-jem? Kljub MS .NET tehnologiji pa programček deluje tudi na Linuxu in FreeBSD-ju s pomočjo Mono knjižnic. Kot zanimivosti pri nastavitvah lahko omenim izbiro priljubljenih domenski prostorov, kjer pa žal naše .si ni zraven. Če prav razumem, sistem na vsakega klienta pošilja pakete po 10.000 url naslovov istega domenskega prostora. Klient preiskuje po vrsti naslov za naslovom in ko obdela vseh 10.000 se zbrani podatki pošljejo na centralni server. Majestic-12 polaga veliko upov na spletno skupnost, zato je zelo tekmovalnega značaja. Vsa statistika preiskanih url-jev in prenešenih megabytov se shranjuje in prikazuje na glavni spetnih strani projekta. Prostovoljci imajo na internetu pregled nad lastno statistiko in se med sabo primerjajo po število preiskanih url naslovih in prenešenih podatkih. Prav tako obstaja lestvica držav, kjer v skupnem seštevku vodijo Američani z 2,492,575,232 preiskanimi url naslovi, sledijo jim Norvežani z 825,468,745 preiskanimi url-ji. Slovenija je trenutno 41. z 416,900 preiskanimi url naslovi. Prostovoljci pa se lahko tudi združujejo v različne skupine in se primerjajo tudi tako. Iskalnik je trenutno še v alfa stanju. Malo sem preveril čase iskanj in so primerljive z Googlom. Je pa odzivnost veliko slabša, za kar predvidevam, da je kriva slabša povezava. V indeksu ima malo več kot 1 milijardo spletnih strani (google jih ima približno 9x več), kar pa naj bi se kmalu povečalo saj se je se je projekt začel pojavljati v medijih (npr. guardian). Pojavljanje v medijih pa je za takšen projekt ključnega pomena, saj je potrebo nabrati čim več prostovoljcev. Res me je zmotilo, da si nisem mogel sam izbrati katere strani naj se preiščejo. Mislim, da bi Alax tako prejel veliko podpore različnih razvijalcev spletnih vsebin. Vsak spletni razvijalec si želi, da so nove vsebine čimprej dodane v spletne iskalnike. Kot zaključek bi rad rekel samo, da se mi zdi projekt odličen. Sicer ima še veliko pomankljivosti, ampak se mi zdi, da je usmeritev kar prava. Si kar želim, da bi Alexu tale njegov projekt uspel...