Yacy - P2P search, aneb jak se obejít bez přítele Googla

Pryč jsou časy, kdy největším zlem ve světě IT byla firma Microsoft. Jako nová "velká zla" se dnes jeví třeba firmy Apple, Facebook nebo Google. Důvody, proč nedůvěřovat centralizovanému přístupu Applu nebo Facebooku, jsou myslím více než zjevné (více o Facebooku zde) - ale vysvětlit, proč není dobré slepě důvěřovat "hodnému" Googlu, který podporuje open source a vůbec se "hrozně snaží", bude troch složitější. O důvodech, proč nedůvěřuju přehnané centralizaci, kterou Google všemožně prosazuje, jsem psal už dříve. Ale od té doby jsem se dozvěděl i další alarmující skutečnosti - Google např. provozuje asi milion serverů, což je řádově více, než jakýkoliv z jeho konkurentů. A toto už zavání "nebezpečnou tržní silou" a hrozbou vzniku podobného monopolu, jakého dosáhl Microsoft v případě desktopových operačních systémů. A co je nejhorší: pravděpodobně si nelze představit, že by se v dohledné době objevil jakýkoliv subjekt, který by svým souhrnným výpočetním výkonem mohl megalomanii, kterou předvádí Google, nějak rozumně konkurovat. Proto při úvahách "jak se obejít bez Google" velice brzo dospějete k myšlence decentralizovaného a distribuovaného systému, který by měl v podstatě charakter peer-to-peer sítě. Anglicky se to řekne Distributed web crawling [en.wikipedia.org].

Výhody, které decentralizované prohledávání přináší, jsou myslím zjevné: prohledávač může provozovat široká komunita přispěvatelů výpočetního výkonu a konektivity, a ne jenom nějaká jediná obří americká firma. Výsledky vyhledávání nejsou zkreslené placenou inzercí ani různými SEO (Search Engine Optimalization) postupy, speciálně šitými na míru algoritmu, který Google používá. Zkrátka - webovému vyhledávání chybí možnost výběru z více nezávislých zdrojů - a iluze objektivity, kterou přináší Google skrze zcela zdrcující množstvím dosti svévolně seřazených výsledků vyhledávání, je pro budoucí vývoj Internetu potenciálně dosti nebezpečná. Prapůvodní Internet 90. let byl do jisté míry naplněním postmoderní představy o nahrazení jediného oficiálního pseudoobjektivního výkladu světa mnohostí různých subjektivních výkladů: jenže technokratický Bůh jednosměrných masmédií, který byl Internetem svržen, se v současnosti vrací zpět na scénu v podobně Google coby potenciální "singularity machine". A protože technologické singularitě pokládám za vhodné se pokud možno vyhnout (či před ní nějakým způsobem "utéct"), tak je myslím pochopitelné, proč se snažím zapojit do komunity, která se snaží prohledávat web bez pomoci Googlu (="jediného velkého centra").

Politické důsledky decentralizovaného prohledávání webu jsou pak myslím zjevné: je zde prakticky nulová možnost cenzury. Pravda - je možné mazat obsah konkrétních domén ze svého vlastního node, ale nelze mazat domény z cizích nodů ani zakázat komukoliv zřídit další node. Všechny debaty, které se točily kolem cenzury výsledků vyhledávní Googlem v Číně, nebo kolem snahy o zákaz The Pirate Bay (PirateBay je do jistý míry také jenom centralizovaný vyhledávač a nic víc - i když slouží k prohledávání decentralizované sítě torrentů a jejich trackerů), by bývaly byly zcela zbytečné, kdyby lidé dali přednost umírněné racionalitě před přímočarým příklonem k tomu nejpohodlnějšímu řešení, a kdyby hned od začátku na Internetu převládlo decentralizované, distribuované vyhledávání - tak bychom dnes spoustu otázek týkající se hrozby cenzury Internet z nejrůznějších důvodů (ať už jde o odpor k demokratické diskuzi nebo o snahu zakazovat kopírování copyrightovaných děl) možná ani nemuseli řešit. O cenzuru výsledků vyhledávání nebo o různé "zakřivování" priority zobrazování výsledků vyhledávání se určitě budou snažit všichni ti, kteří během posledních desetiletí až staletí dosáhli tohoto druhu kontroly nad předchozími typy médií - od tištěných knih až po televizi: mít kontrolu nad prohledáváním se bude jevit jako reálnější cíl, než mít kontrolu nad obsahem jako takovým. A právě proto by nic takového jako "jediný vstupní bod do Internetu" nemělo pokud možno existovat. Ani na globální, ani na regionální úrovni.

Prvním řešením, které jsem v tomto ohledu vyzkoušel, a které se překvapivě ukázalo být alespoň okrajově použitelné, je prohledávač převážně asi německého původu pojmenovaný Yacy [www.yacy.net]. Popravdě - moje nadšení pro tento projekt není zcela neomezené: je napsaný v Javě, a je tudíž nepříjemně náročný co se týče využití CPU i paměti. Rozumných výsledků nemáte šanci dosáhnout, pokud pro provoz Yacy nevyhradíte alespoň jeden samostatný internetový server. A ani potom není úspěch zcela zaručen - protože například ve chvíli, kdy jsem měl na disku už přes 4 GB výsledků vyhledávání a měl oindexováno asi 2 miliony stránek mi celá aplikace spadla a pro pokračování musel jsem všechna data smazat a začít znovu od nuly. V současné době index narůstá ještě rychleji (pravda - povolil jsem transfery Distributed Hash Table od ostatních peerů, což jsem při prvním pokus měl zakázané) - ale na druhou stranu jsem si dal pozor, abych v jednu chvíli inicioval pouze jediný web crawl - protože právě paralelní zpracování více různých prohledávání možná přispělo k nestabilitě mé první instalace. Popravdě - jsem přesvědčený, že správným řešením bylo celé to napsat jako open source multiplatformně přeložitelnou aplikaci v C, a nepsat to v těžkopádné Javě. A nebo když už bych to psal jako multiplatformní skript, tak asi v Pythonu. Jenže to všechno bylo nadlouho - a provoz P2P search enginu je běh na dlouhou trať - vstupní nody je vhodnější umisťovat spíše na serverech na otevřeném Internetu, než na běžných PC - a tím pádem jde zřejmě spíše o P2P síť organizovanou na dlouhodobější bázi správci sítí a serverů, než o živelnou domácí D.I.Y aktivitu, jako v případě torrentových downloadů.

Můj node Decentralizovaného P2P webového prohledávače Yacy [teckacz.arachne.cz:8080] si můžete vyzkoušet pomocí buď pomocí vstupní brány [teckacz.arachne.cz:8080], kterou jsem nainstaloval na svůj soukromý server - nebo můžete vyzkoušet i ajaxový search box, který by se po odladění počátečních problémů měl stát stálou součástí portálu TečkaCZ:

Současně se tímto omlouvám, že jsem jako vyhledávač roku do soutěže Křišťálová Lupa nominoval Google - byl to samozřejmě omyl.