Jak to działa
DSIndeks budujemy etapami. Witryna nie trafia do indeksu tylko dlatego, że ktoś podał jej adres. Najpierw musimy ją odnaleźć, zobaczyć, co znajduje się pod wskazanym adresem, zrozumieć z jakim zasobem mamy do czynienia i dopiero wtedy zdecydować o dalszym przetwarzaniu.
Zgłoszenie witryny jest więc początkiem drogi, a nie automatycznym przyjęciem do indeksu.
1. Zgłoszenie lub odkrycie witryny
Dostępne obecnie
Adres witryny może zostać zgłoszony przez użytkownika albo w przyszłości odnaleziony przez mechanizmy DSIndeks. Na tym etapie interesuje nas przede wszystkim informacja, że dana witryna istnieje i może być kandydatem do dalszego rozpoznania.
Samo zgłoszenie nie oznacza akceptacji do indeksowania.
2. Obserwacja
Dostępne obecnie
To właśnie tutaj znajduje się obecnie DSIndeks.
Wykonujemy ograniczone wstępne sprawdzenie witryny. Sprawdzamy jej dostępność, robots.txt oraz informacje o mapach witryny. Możemy policzyć zaobserwowane w mapach deklaracje adresów URL, ale podczas tego wstępnego sprawdzenia nie pobieramy stron wskazanych w sitemapie.
Celem obserwacji nie jest jeszcze zbudowanie indeksu. Chcemy dowiedzieć się wystarczająco dużo, aby móc podjąć następny krok.
3. Klasyfikacja
Planowane
Kolejnym etapem będzie rozpoznanie, z jakiego rodzaju witryną mamy do czynienia i jakie zasoby można w niej znaleźć. Sklep internetowy, serwis producenta, katalog, treści związane z e-commerce czy inne źródło mogą wymagać różnego sposobu dalszego przetwarzania.
Klasyfikacja ma pozwolić DSIndeks lepiej rozumieć źródło, zanim zacznie pobierać i interpretować jego zawartość.
4. Akceptacja do indeksowania
Planowane
Nie każda odnaleziona lub zgłoszona witryna musi automatycznie trafić do indeksu.
Na podstawie zebranych informacji DSIndeks będzie mógł zdecydować, czy dane źródło kwalifikuje się do dalszego przetwarzania. Zasady tej kwalifikacji będziemy opisywać jawnie wraz z rozwojem projektu.
5. Indeksowanie
Planowane
Dopiero po zakwalifikowaniu źródła rozpocznie się właściwe przetwarzanie jego zasobów.
DSIndeks będzie pobierał dozwolone dokumenty, wydobywał z nich informacje, porządkował je i przygotowywał do wyszukiwania. Oryginalna witryna pozostaje źródłem informacji — indeks ma pomagać ją odnaleźć, a nie zastępować.
6. Wyszukiwanie
Planowane
Ostatnim etapem jest publiczne wyszukiwanie zasobów zgromadzonych w indeksie.
Wynik DSIndeks ma pomagać użytkownikowi odnaleźć interesujący zasób i przejść do witryny, z której pochodzi. Wyszukiwarka jest więc drogą do źródła, a nie miejscem, które ma przejąć jego rolę.