X'inhu tkaxkir? għodda tkaxkir "Yandex" u Google

Kuljum fuq l-Internet hemm ammont kbir ta 'materjali ġodda li tinħoloq websajt aġġornata l-paġni web qodma, upload ritratti u videos. Mingħajr moħbija minn magni tat-tiftix ma jistax jinstab fil-World Wide Web, ħadd minn dawn id-dokumenti. ma jkunx hemm alternattivi bħall-programmi robotiċi fi kwalunkwe ħin partikolari. X'inhu robot tfittxija, għaliex għandek bżonn u kif joperaw?

X'inhu robot tfittxija

sit crawler (search engine) - huwa programm awtomatiku li huwa kapaċi li jżuru l-miljuni ta 'paġni tal-web, malajr tan-navigazzjoni permezz tal-internet mingħajr l-ebda intervent mill-operatur. Bots huma kontinwament spazju scan tal-World Wide Web, konstatazzjoni ġodda web pages u regolarment żjara diġà indiċjati. Ismijiet oħra għall Brimb crawlers web, crawlers, Bots.

Għaliex huma Brimb search engine

Il-funzjonijiet ewlenin li jwettqu Brimb search engine - paġni tal-web indiċjati, kif ukoll it-test, stampi, awdjo u video files li huma fuqhom. Bots referenzi verifika, siti mera (kopji) u l-aġġornamenti. -Robots wkoll iwettaq kontroll HTML kodiċi għall-istandards tal-konformità tal-Organizzazzjoni Dinjija, li jiżviluppa u jimplimenta standards teknoloġiċi għall-World Wide Web.

X'inhu indiċjar, u għaliex hija meħtieġa

Indiċizzazzjoni - huwa, fil-fatt, huwa l-proċess ta jżuru web page partikolari mill-magni. Il-programm skanijiet-test fuq dan is-sit, stampi, vidjos, konnessjonijiet barra, allura l-paġna tidher fl-rizultati. F'xi każijiet, is-sit ma jistgħux jiġu skennjati awtomatikament, allura jistgħu jiġu miżjuda mal-search engine manwalment webmaster. Tipikament, dan iseħħ fin-nuqqas ta 'links esterni għal paġna partikolari (ħafna drabi maħluqa biss reċentement).

Kif Brimb search engine

Kull magna ta 'riċerka għandha bot tagħha stess bl-robot Google Tfittxija jistgħu jvarjaw b'mod sinifikanti skond il-mekkaniżmu jaħdem fuq programm simili, "Yandex" jew sistemi oħra.

B'mod ġenerali, prinċipju ta 'ħidma robot hija kif ġej: il-programm "ġej" fis-sit u links esterni mill-paġna prinċipali, "jgħid" riżorsi web (inklużi dawk li qed ifittxu overhead li ma jarax l-utent). Boat huwa kif jinnaviga bejn paġni ta 'sit u jimxu lil persuni oħra.

Il-programm se tagħżel liema sit għall-indiċi? Iktar iva milli le "vjaġġ"-brimba jibda ma 'siti aħbarijiet jew direttorji riżorsi kbar u aggregaturi ma toqol ta' referenza kbar. Crawler kontinwament skanijiet-paġni wieħed wieħed, dwar ir-rata u l-konsistenza tal-indiċizzazzjoni-fatturi li ġejjin:

• Intern: perelinovka (links interni bejn paġni tal-istess riżorsa), id-daqs tas-sit, il-kodiċi korrett, u l-bqija faċli għall-utent;
• Esterna: il-piż totali ta 'referenza, li twassal għas-sit.

L-ewwel ħaġa l-tfittxijiet robot tfittxija fuq kwalunkwe websajt billi robots.txt. indiċjar aktar riżorsa hija mwettqa abbażi tal-informazzjoni riċevuta huwa minn dan id-dokument. Dan il-fajl fih struzzjonijiet speċifiċi għall- "Brimb" li jistgħu jżidu l-possibilitajiet ta 'żjarat paġna mill-magni, u, konsegwentement, biex jinkiseb sit hit kmieni fil- "Yandex" jew Google.

Programm analogi crawlers

Spiss it-terminu "robot tfittxija" huwa konfuż ma intelliġenti, l-utent jew l-aġenti awtonomi, "nemel" jew "dud". differenzi sinifikanti mgħaddsa biss meta mqabbla ma 'aġenti, definizzjonijiet oħra jirreferu għal tipi simili ta' robots.

Per eżempju, l-aġenti jistgħu jkunu:

• intellettwali: il-programm, li huma mċaqalqa minn post għall-post, indipendentement jiddeċiedu kif jipproċedu; dawn mhumiex komuni ħafna fuq l-Internet;
• Awtonoma: Dawn l-aġenti tgħin lill-utent fl-għażla ta 'prodott, tfittxija, jew timla l-formoli, il-filtri hekk imsejħa, li huma ftit marbut ma' programmi tan-network;.
• utent:-programm jikkontribwixxu għall-interazzjoni utent ma 'l-World Wide Web, browser (per eżempju, Opra, IE, Google Chrome, Firefox), messaġġiera (VIBER, telegramm) jew e-mail programmi (MS Outlook u Qualcomm).

"Nemel" u "dud" huma aktar simili għall-search engine "brimb". L-ewwel forma bejn netwerk u konsistentement jinteraġixxu bħal dan kolonja ant, "dud" huwa kapaċi jirreplika f'aspetti oħra tal-istess bħall-tkaxkir standard.

Varjetà ta 'robots search engine

Distinzjoni bejn ħafna tipi ta 'crawlers. Jiddependi fuq l-iskop tal-programm, huma:

• "Mera" - dupplikati browsing websajts.
• Mobile - tiffoka fuq verżjonijiet mobbli ta 'paġni tal-web.
• Quick - jiffissaw informazzjoni ġdida malajr mill viewing-aħħar aġġornamenti.
• Referenza - indiċi ta 'referenza, l-għadd numri tagħhom.
• Indexers tipi differenti ta 'kontenut - programmi speċifiċi għall-test, awdjo, vidjo, stampi.
• "Spyware" - tfittex għall-paġni li għadhom mhumiex murija fil-search engine.
• "Woodpecker" - perjodikament żjara siti biex tivverifika r-rilevanza u l-effiċjenza tagħhom.
• Nazzjonali - browsing-riżorsi Web jinsabu fuq wieħed mill-oqsma pajjiż (eż il-mobilità, jew .kz .ua).
• Globali - indiċi s-siti kollha nazzjonali.

Robots search engines maġġuri

Hemm ukoll xi Brimb search engine. Fit-teorija, il-funzjonalità tagħhom jistgħu jvarjaw ħafna, iżda fil-prattika l-programmi huma kważi identiċi. Id-differenzi ewlenin indiċjar paġni web robots żewġ kbar search engines huma kif ġej:

• Huma stretti r-ittestjar. Huwa maħsub li l-mekkaniżmu ta 'tkaxkir "Yandex" estimi pjuttost aktar stretti tas-sit għall-konformità mal-istandards tal-World Wide Web.
• Preservazzjoni tal-integrità tas-sit. L-indiċi tkaxkir Google-sit kollu (inkluż il-kontenut tal-midja), "Yandex" tista 'wkoll tara kontenut selettiv.
• paġni ġodda tat-test veloċità. Google żżid riżorsa ġdida fil-rizultati fi żmien ftit jiem, fil-każ ta ' "minn Yandex" proċess jista' jieħu ġimagħtejn jew aktar.
• Il-frekwenza ta 'indiċjar ri. Crawler "Yandex" jikkontrolla għal aġġornamenti darbtejn fil-ġimgħa, u Google - wieħed kull 14-il jum.

Internet, naturalment, mhux limitati għaż-żewġ magni tat-tiftix. magni tat-tiftix oħra jkollhom robots tagħhom li jsegwu parametri indiċjar tagħhom stess. Barra minn hekk, hemm diversi "Brimb" li huma ddisinjati riżorsi ta 'riċerka ma maġġuri, u timijiet individwali jew webmasters.

kunċetti żbaljati komuni

Kuntrarju għat-twemmin popolari, "Brimb" ma jipproċessaw l-informazzjoni. Il-programm skans biss u imħażen paġni tal-web u aktar ipproċessar jieħu ftit robots kompletament differenti.

Ukoll, ħafna utenti jemmnu li l-Brimb search engine jkollhom impatt negattiv u "ħsara"-Internet. Fil-fatt, ċerti verżjonijiet ta ' "Brimb" jistgħu overload b'mod sinifikanti l-server. Hemm ukoll fattur uman - il-webmaster, li ħoloq il-programm, jistgħu jagħmlu żbalji fil-konfigurazzjoni robot. Biċċa l-kbira tal-programmi eżistenti huma mfassla sew u mmaniġġjati b'mod professjonali, u kwalunkwe problemi emerġenti fil-pront jitneħħew.

Kif immexxu l-indiċjar

robots search engine huma l-programmi awtomatizzati, iżda l-proċess indiċjar jista 'jiġi kkontrollat parzjalment mill-webmaster. Dan jgħin ħafna esterna u ottimizzazzjoni interna tar-riżorsa. Barra minn hekk, inti tista 'manwalment żid sit ġdid għal search engine: Riżorsi kbar għandhom forma speċjali ta' reġistrazzjoni paġni tal-Web.