Loadbalancing ruchu HTTP w sieciach dostawcw treci na przykadzie portalu nasza-klasa.pl. Tomasz Paszkowski nasza-klasa.

pl PLNOG Krakw 19/09/2008

1. O nasza-klasa.pl 2. Skala ruchu HTTP trafiajca do naszego portalu kadego dnia 4. Jak zaczynalimy 5. Co mamy obecnie 6. Co testowalimy 7. Co planujemy w przyszoci

Najwikszy portal spoecznociowy w Polsce Obecna infrastruktura IT zbudowana w 9 m-c od zera ! 100TB efektywnego storage pod zdjcia Kadego dnia uytkownicy dodaj koo 1 mln nowych zdj Cz grupy FORTICOM, posiadajcej portale spoecznociowe w krajach nadbatyckich oraz rosji (odnoklassniki.ru) Najszybciej rozwijajcy si portal w .pl Budujemy platforme komunikacyjn !

1 mld requestow HTTP dziennie (html + zdjcia) 6Gbit/s ruchu do Internetu w szczycie 80 000 CPS (nowych pocze na sekunde w szczycie) Do generowania HTML-a uywamy PHP + apache Do serwowania zdj uywamy squid + lighthttpd Cztery zdjcia na stronie gwnej robi ponad 1Gbit/s VIDEO ju wkrtce ...

Zaczynalimy od serwera wirtualnego u jednego z czoowych hostingowcw W dwa tygodnie wyczerpalimy roczny transfer W kolejny tydzie wykorzystalimy kolejny limit transferu rocznego Przenosiny na serwer dedykowany w Frankfurcie Problemy z wydajnoci decydujemy si odzieli baze danych od generowania HTML Po chwili spokoju, serwer generujcy HTML przeciony Dodajamy kolejny oraz dodajemy kolejny IP do domeny nasza-klasa.pl (mamy ju dwa, co dziaa jak round-robin

Po roku dziaalnoci mamy 42 adresy IP w DNS-ie pod nasza-klasa.pl (bind sobie z tym nie radzi, muslielimy przej na PowerDNS) Problemy z dostpnoci kolejnych serwerw dedykowanych zmuszaj nas do przejcia na wasn infrastrukture w Polsce W midyczasie przejmujemy administratora Interia.pl, ktry pomaga nam rozwizywa nasze problemy przy budowie portalu

LVS (keepalived + ldirector) Nie uywamy replikacji stanw (1s delay) Uywamy bondingu (dual-core IRQ problem) Bonding round-robin + irqbalance Direct-routing HAPROXY Limit sesji HTTP per host Active HTTP check Jestemy najwiksz instalacj LVS-ow w .pl

Grupy VRRP w trybie backup-backup (brak flappw) Dla kadej z dwch grup LVS-ow pracuje wsplny spare HAPROXY wydajny I ultra elastyczny load balancing HTTP ldirector (reguki LVS), keepaliaved (VRRP) Keepalived do reguek LVS nie (konieczny restart po zmianie cfg)

HAPROXY URL hashing (pomocone przy rozproszonym cache Proxy dla miniaturek (squid z ICP) L7 filtering (np: wysylanie POST,AJAX do dedykowanej grupy serwerw)

Komercyjne rozwizania Citrix NetScaler MPX (nowy produkt) Crescendo (fotka.pl,testowalimy) F5 (allegro,irule) Nortel Alteon Cisco ACE,CSM

KONIEC