Zasady indeksowania
DSIndeks powstaje po to, aby pomagać odnajdywać zasoby polskiego Internetu związane z e-commerce i prowadzić użytkownika do miejsca, z którego pochodzą.
Nie budujemy kolejnej platformy, do której sprzedawca musi przenieść swój sklep, produkty lub treści. Nie chcemy również zatrzymywać użytkownika w DSIndeks, jeżeli znalazł zasób, którego szukał.
DSIndeks prowadzi do źródła. Nie zastępuje go.
Indeksujemy po to, aby pomóc odnaleźć zasób i wskazać miejsce, z którego pochodzi. Nie budujemy kopii cudzych witryn, nie przedstawiamy ich treści jako własnej i nie przejmujemy relacji pomiędzy sprzedawcą a jego klientem.
Z tej zasady wynikają pozostałe.
1. Zgłoszenie nie oznacza przyjęcia do indeksu
Witryna może zostać zgłoszona do DSIndeks przez użytkownika. W przyszłości jej adres może zostać również odnaleziony przez mechanizmy projektu.
Samo zgłoszenie lub odnalezienie adresu nie oznacza przyjęcia witryny do indeksu.
Na obecnym etapie DSIndeks wykonuje ograniczone wstępne rozpoznanie zgłoszonej witryny. Sprawdzamy jej dostępność, robots.txt oraz informacje o mapach witryny. Możemy odczytać i policzyć deklaracje adresów znajdujące się w mapach witryny, ale podczas tego rozpoznania nie pobieramy stron wskazanych przez te adresy.
To jeszcze nie jest indeksowanie.
Przed rozpoczęciem właściwego indeksowania źródła będą klasyfikowane i kwalifikowane do dalszego przetwarzania. Zasady kwalifikacji opublikujemy wraz z uruchomieniem tego etapu.
2. Szanujemy gospodarza
Publicznie dostępna witryna nadal ma swojego właściciela.
DSIndeks respektuje techniczne zasady dostępu publikowane przez witrynę oraz ograniczenia dotyczące pobierania jej zasobów.
Nie omijamy zabezpieczeń ani ograniczeń dostępu po to, aby zdobyć treść, która nie została udostępniona do publicznego pobrania.
Właściwe indeksowanie będzie prowadzone z kontrolowaną częstotliwością pobierania zasobów. Parametry crawla opublikujemy przed jego uruchomieniem. Jeżeli później je zmienimy, zmiana zostanie również opisana tutaj.
Respektujemy decyzję właściciela, który nie chce, aby jego witryna była indeksowana przez DSIndeks. Sposób zgłoszenia takiej decyzji opiszemy przed uruchomieniem właściwego indeksowania.
3. Bierzemy tyle, ile potrzebuje indeks
DSIndeks nie powstaje jako archiwum ani kopia Internetu.
Pobieramy i przetwarzamy informacje potrzebne do rozpoznania źródła, zbudowania indeksu i umożliwienia wyszukania jego zasobów.
Zakres tych informacji będzie zależał od rodzaju źródła i etapu rozwoju indeksu. Nie oznacza to jednak zgody na gromadzenie wszystkiego, co technicznie jesteśmy w stanie pobrać.
Nie przechowujemy czegoś tylko dlatego, że potrafimy to pobrać.
Oryginalna witryna pozostaje miejscem publikacji pełnej treści.
4. Źródło pozostaje źródłem
Informacja znajdująca się w DSIndeks zachowuje związek ze źródłem, z którego pochodzi.
Nie ukrywamy pochodzenia danych i nie przedstawiamy cudzych treści jako własnych.
Po uruchomieniu publicznej wyszukiwarki jej wyniki będą prowadziły użytkownika do oryginalnych witryn i zasobów.
Produkt znaleziony w DSIndeks pozostaje produktem sprzedawcy. Artykuł pozostaje artykułem jego autora. Oferta pozostaje ofertą źródłowego serwisu.
Dobry wynik DSIndeks kończy się wizytą u źródła.
Dla DSIndeks nie jest to utrata użytkownika. To wykonanie zadania.
5. Uczestnictwo jest bezpłatne
Podstawowe uczestnictwo w DSIndeks jest bezpłatne.
Na obecnym etapie projektu nie przewidujemy płatnych form uczestnictwa.
Nie trzeba kupować abonamentu, pakietu ani miejsca w projekcie, aby witryna mogła zostać zakwalifikowana do indeksowania.
Nie wymagamy również umieszczenia oznaczenia DSIndeks na stronie jako warunku znalezienia się w indeksie.
Znak uczestnictwa i obecność w indeksie to dwie różne rzeczy.
6. „Krecik jest z nami”
W przyszłości właściciel witryny będzie mógł świadomie potwierdzić uczestnictwo w DSIndeks i oznaczyć swoją stronę znakiem:
Krecik jest z nami.
Będzie to prosty znak relacji pomiędzy witryną a DSIndeks.
Nie jest to certyfikat jakości sklepu, rekomendacja sprzedawcy ani gwarancja bezpieczeństwa transakcji, produktów czy obsługi klienta.
Znaku nie będzie można kupić.
Nie będzie również wymagany do obecności w indeksie ani nie będzie oznaczał lepszej pozycji w wynikach wyszukiwania.
Krecik oznacza tylko to, co rzeczywiście możemy potwierdzić:
Znamy tę witrynę, a jej właściciel świadomie uczestniczy w DSIndeks.
Sposób potwierdzania właściciela lub kontroli nad witryną powstanie razem z mechanizmem uczestnictwa. Dopóki taki mechanizm nie istnieje, nie przedstawiamy samego zgłoszenia adresu jako potwierdzonego uczestnictwa.
7. Rozróżniamy odkrycie, indeksowanie i uczestnictwo
W DSIndeks rozróżniamy witrynę odnalezioną lub zgłoszoną, witrynę zakwalifikowaną do indeksowania, zasoby rzeczywiście znajdujące się w indeksie oraz świadome uczestnictwo właściciela witryny w projekcie.
To różne stany i jeden nie wynika automatycznie z drugiego.
Samo zgłoszenie adresu nie oznacza, że dokonał go właściciel witryny.
Zakwalifikowanie witryny nie oznacza, że wszystkie jej zasoby znajdują się w indeksie.
Obecność zasobów witryny w indeksie nie oznacza, że jej właściciel świadomie uczestniczy w projekcie.
Brak znaku „Krecik jest z nami” również nie jest oceną witryny i nie oznacza niczego negatywnego. Informuje jedynie, że DSIndeks nie potwierdza takiej relacji.
8. Mówimy, co rzeczywiście działa
DSIndeks rozwijamy etapami i nie przedstawiamy funkcji planowanych jako istniejących.
Dzisiaj zbieramy adresy witryn i wykonujemy ich ograniczone wstępne rozpoznanie. Klasyfikacja, kwalifikacja do indeksowania, właściwe indeksowanie oraz publiczne wyszukiwanie są kolejnymi etapami projektu.
Wraz z ich uruchamianiem będziemy publikować zasady, które rzeczywiście możemy stosować.
Nie deklarujemy działania mechanizmu, którego jeszcze nie zbudowaliśmy.
Jeżeli czegoś jeszcze nie ustaliliśmy albo nie uruchomiliśmy — mówimy o tym wprost.
Sprawdzamy dostępność, robots.txt i ograniczoną liczbę map witryny. Nie pobieramy stron wskazanych w mapach.