Legt cuil mit dem Twiceler-Bot Webseiten lahm?

Wie man bei Techcrunch und Theadminezone lesen kann, scheint der Search-Bot von cuil, Twiceler, einige Seiten dadurch lahm zu legen, dass er massiv durch die Inhalte der Seiten crawlt und dabei wohl in einigen Fällen so viel Bandbreite verbraucht, dass die Seite nicht zu erreichen ist.

Offenbar betrifft dies aber nicht alle Seiten, die von Twiceler besucht werden. Im Forum beschweren sich außerdem einige User darüber, dass Twiceler Anweisungen in der robots.txt nicht befolgt.

Hier in Deutschland wird das wohl noch kein so großes Problem sein, cuil scheint ja momentan fast nur englischsprachige Seiten zu indizieren. Zumindest bei mir ist Twiceler in den Logs noch nicht aufgetaucht.

Hier findet Ihr noch ein paar Informationen von cuil zum Thema Twiceler, aufgelistst sind dort auch alle IP-Adressen, die von cuil und Twiceler benutzt werden. Auf diese Weise kann man überprüfen, ob ein Bot, der sich als Twiceler ausgibt, evtl. gar nicht von cuil ist und nur diesen Namen nutzt. Außerdem kann man mit den IP-Adressen den cuil-Bot aussperren.

Artikel: Bei Facebook Teilen - URL tweeten! Seite: Bei Twitter folgen - Feed abonnieren

• cuil – Google Killer? - 28.07.2008
• WolframAlpha – Suchmaschine sucht (mit) Erfolg? - 09.03.2009
• Feedburner: Feed zu Google umgezogen - 24.01.2009
• Zensur von Rotten Neighbor - 30.08.2008
• Pwnage 2.0.3 Download verfügbar - 26.08.2008
• Kino.to wurde gehackt - 19.10.2008
• Der Google-Browser: Chrome - 01.09.2008
• Feed-Abonnenten zuverlässig ermitteln - 28.06.2008
• Kill-ID 1.1.0.0 für Chrome Download verfügbar - 09.09.2008
• Samsung NC11 (NT-NC11) - 03.12.2008