IBM System p, Virtualisation

Mai 2008

Emmanuel Tetreau
tetreau@fr.ibm

alain.lechevalier@fr.ibm.com

Agenda
Intro : Virtualiser pour Consolider Virtualisation : Ressources CPU, Mmoire, I/O Retour dexprience : Utilisation du VIO tude du comportement de lhyperviseur Nouvelles fonctionnalits (Power6, AIX6) Demo Live Partition Mobility

Virtualiser pour consolider

Deux constatations :
1/ $140Md de systmes non utiliss dans le monde: - Imprcision de dimensionnement (marge de scurit) - Prvision pour les pics de charges - Contraintes techniques (nombre de processeurs mini par ex)

Taux dutilisation moyen dun serveur

Unix 30 - 40 % Windows 15 20 %

Virtualiser pour consolider

2) Laugmentation de consommation dnergie est maximum ds les plus faibles taux de charges
Dans cet exemple : Les premiers 50% cotent 1700w, les 50% complmentaires ne cotent que 400w
2500

2000

AC watts

1500

Les premiers 50% de charge cotent plus cher en nergie que les 50 suivants

1000

500

0
Idle 25% 50% 75% Max

ie : 4 machines charges 20% sont moins efficaces en terme de consommation lectrique quune seule charge 80%

+
4

>>

Virtualiser pour consolider

Consolider pour mieux utiliser les ressources Pour cela, le systme doit tre : Puissant, pour supporter de nombreuse charges de travail
Processeur Power6

Robuste, pour assurer un bon niveau de service

Gamme System p

Flexible, pour tre capable de dimensionner au plus juste (10me de proc) et

affecter uniquement ce qui est ncessaire un instant donn. Hyperviseur

Partitionnement et Virtualisation
Hardware Partitioning
Applications Applications

Software Partitioning
Apps Apps Apps

Logical Partitioning
Apps Apps Apps

Logiciel
Linux Windows Linux Windows Windows AIX / Linux z/OS VSE/ESA

z/VM ou VMware

Microcode
CPU 1 CPU 2 CPU 3 CPU 4 CPU 1 CPU 2 CPU 3 CPU 4 CPU 1

Partitioning Firmware

CPU 2

CPU 3

CPU 4

Matriel

6

BladeCenter xSeries Sun Domain HP nPars

z/VM sur zSeries VMware sur xSeries & BladeCenter HP vPars, HVM

LPAR sur system z, system p & system i

Diffrentes technologies de partitionnement

Trois technologies de partitionnement :

Matriel (hardware) Les ressources sont alloues aux partitions en mode un pour un en respectant les contraintes matrielles. Pas de partages des ressources matrielles. Logiciel (software) Les ressources sont gres par une couche logicielle. Elles sont regroupes dans un pool de ressources partages puis prsentes aux utilisateurs sous forme de systmes virtuels (prsentation multiple dune mme ressource physique) Logique (logical) Les ressources sont gres par le microcode du systme (firmware) et alloues aux diffrentes partitions pour crer des environnements virtuels. Les ressources matrielles sont partages entre les partitions.

Hyperviseur : 2 implmentations

Virtualisation : Diffrentes implmentations possibles

Approche logicielle Appli OS Appli OS Approche microcode Fonction matrielle

Appli OS Logiciel Hyperviseur OS

Microcode

Appli OS

Microcode / Hyperviseur

Systme : Cpu/Mem/IO Systme : Cpu/Mem/IO

Systme classique
8

IBM system p

p5 Virtualisation : Exprience IBM

Appli OS Appli OS IBM system z9 (Mainframe) : 1989 PR/SM
Microcode / Hyperviseur

IBM system p5 (Unix/Linux): 2001 (hyperviseur) 2004 (virtualisation) IBM power6 (Unix/Linux): 2007 (mobilit)

Systme : Cpu/Mem/IO

Virtualisation : 40 ans de dveloppement IBM

Power6: Partition Mobility Power5: System p Micro-partition, Virtual I/O Server Power4 : iSeries sub-processeur LPAR, pSeries LPAR LPAR sur AS/400 1999 2001 2004 2007

Dbut du dveloppement LPAR pour Power

1990 1987 1985

1997 ES/9000

PR/SM, EMIF, MHPG

Start Interpretive Execution (SIE)

1973 1972 1967

10

S/370 Model 158 et 168 VM Assists

VM/370

CP-67, CMS Timesharing

Virtualisation : Architecture cohrente Tous les niveaux participent

Approche Paravirtualisation

Systmes dExploitation

Les OS peuvent redonner les ressources processeur inutilises

Hyperviseur (Firmware)

Assure linterface entre le matriel et sa reprsentation virtuelle

Matriel (Power5 Power6)

Le processeur gnre les intervalles de temps pour lhyperviseur

11

Virtualisation : Avantages Fiabilit / Scurit / Efficacit

Code de lHyperviseur matris Exprience z9 (mainframe)

Relativement peu de ligne de code : fiabilit et efficacit (surconsommation CPU limite) Scurit garantie (pas de virus, rootkit etc.). Fiabilit de lensemble du systme. Pas de validation spcifique des logiciels Donnes de performance (bench) fournies avec lhyperviseur actif Retour dexprience important Utilis dans des environnements de production lourds

Hyperviseur intgr au systme Pas daccs utilisateur, pas de code inutile (OS )

tanchit totale des partitions Tables mmoire et E/S gres par lHyperviseur

Hyperviseur toujours actif dans le systme

Disponible depuis Aot 2004 plusieurs centaines de milliers de systmes installs

12

Virtualisation : Avantages Simplicit

Une seule mthode de partitionnement Suffisamment souple pour rpondre aux besoins

Pas de contrainte de configuration ni dinterdpendance

pas de lien entre : cpu - mmoire - slot E/S

Cration rapide denvironnements Automatisation des actions (par ex interface avec le systme de cluster HACMP) Interface graphique / Ligne de commande (scripts) Virtualisation des ressources CPU et E-S Entirement dynamique (modification CPU - Mem E/S, chaud)

13

Hyperviseur intgr : Capacits des systmes

De base Systme partitionn Processeurs entiers Mmoire fractionne I/O physiques Console HMC

OS hyperviseur

Systme simple

OS

OS

hyperviseur

Virtualisation active Systme virtualis Processeurs fractionns Mmoire fractionne I/O physiques et virtuelles hyperviseur Console HMC

14

Disponible sur tout serveur Power5 et Power6

p5-505/p5-510
server H C R U6 server pSeries IBM IBM

1-2 voie(s) POWER5/6 10 - 20 partitions

Power 520 La Gamme p5-p6

1-8 voies POWER5/8 80 partitions

Power 560/570
2-16 voies POWER5/6 160 partitions

Power 595
8--64 voies POWER6 254 partitions

15

Virtualisation : Micropartitionnement
Cration dune machine virtuelle : juste 3 tapes

Affectation mmoire Affectation ressources CPU

Affectation E/S
16

Virtualisation

Power 550

Affectation des ressources processeur

17

Virtualisation : Ressource Processeur

Les processeurs du systmes sont dans un pool partag
Lunit de puissance processeurs est le CE (Capacity Entitlement) 1 processeur physique = 1 CE Les micro partitions reoivent chacune un nombre de CE reprsentant des fractions de
processeurs.
Par exemple un pool de 6 processeurs offre 6 CE partager entre les micro partitions Un CE est divisible en centimes Pour une partition : Minimum : 0,1 Maximum : nombre de coeurs dans la machine (jusqu 64) Incrment : 0,01
18

Micro-partitions : CE Capacity Entitlement

Partage des CE

Chaque partition reoit un CE gale au minimum 1/10 de processeur physique. Incrments par 1/100 jusqu la taille maximum du pool Une partition va tre constitue de 1 ou plusieurs processeurs virtuels qui portent les ressources configures.

mais le systme dexploitation ne connat que la notion de processeur .

Laffectation des ressources processeur est indpendante de laffectation des

ressources mmoire ou de slot I/O.

19

Micro-partitions : Exemple
3 processeurs dans le pool Capacit dexcution (CE) du pool = 3.00 Chaque partition peut recevoir une capacit dexcution entre 0.10 et 3.00 La somme des CE des partitions doit tre infrieure ou gale 3.00 (CE du pool) Une partition est constitue de processeurs virtuels qui se partagent la capacit
dexcution.

Partition 1 - Database

: CE=1.80, VP = 3 (0,60 par processeur)

Partition 2 - Applications : CE=0.80, VP = 2 (0,40 par processeur) Partition 3 - Env de test : CE=0.20, VP = 1 (0,20 par processeur)

Total CE=2.80, Total VP = 6 - reste 0.20 CE disponible

20

Micro-partitioning : CE Capacit dExcution

3 processeurs dans le pool - Capacit dExcution du pool = 3.00 (3x10x0,1)
Partition 1 : Data Base Partition 2 : Application Partition 3 : Env. de Test CE=1.80, Virtual Proc = 3 (0,60 par processeur) CE=0.80, Virtual Proc = 2 (0,40 par processeur) CE=0.20, Virtual Proc = 1 (0,20 par processeur)

Total CE= 2.80, Total Virtual Proc = 6 (reste 0.20 CE disponible)

3 VP LPAR 1 / CE=1.8 2 VP LPAR 2 / CE=0.8 LPAR 3 / CE=0.2 1 VP

Data Base
Pool de processeurs

Application

Env. de Test

3 processeurs physiques / Capacit dExcution = 3

21

Optimisation de lutilisation des ressources

Une partition peut tre bride ou non-bride

Bride / Non-bride (Capped / Uncapped)

Bride: Les partitions sont strictement limites leur valeur de CE maximum dfinie. Non-bride: une partition peut utiliser des ressources disponibles dans le pool, concurrence du remplissage des processeurs virtuels.

Priorit (Capacity weight)

Prioritisation de laffectation des ressources supplmentaires entre partitions. Valeur 0-255

22

Micro-partitions: Brides (Capped)

3 VP LPAR 1 / CE=1.8 2 VP LPAR 2 / CE=0.8 1 VP LPAR 3 / CE=0.2

3 processeurs physiques / Capacit dExcution = 3

23

Micro-partitions: Non Brides (Uncapped)

3 VP LPAR 1 / CE=1.8 2 VP LPAR 2 / CE=0.8 1 VP LPAR 3 / CE=0.2

Bride

Non-bride

Non-bride

3 processeurs physiques / Capacit dExcution = 3

24

Participation du Systme dExploitation

La virtualisation des processeurs permet de mieux utiliser les ressources
Si une partition na pas besoin de ressource un instant donn, le systme
dexploitation rend (cde) son temps CPU

Evite de perdre de la ressource processeur

Comme par exemple une partition utilisant son CE attendre une fin dE/S

Permet une meilleure utilisation du pool

Le temps peut tre affect un autre processeur virtuel de la mme partition si

besoin

En retour, le processeur virtuel est potentiellement ractivable dans le mme

intervalle de temps si ncessaire

Cet ajustement se fait 100 fois par seconde !!

25

Micro-partitions: Ajustement des puissances

3 VP LPAR 1 / CE=1.8 2 VP LPAR 2 / CE=0.8 1 VP LPAR 3 / CE=0.2

La virtualisation permet de faire varier en temps rel et dune faon transparente la puissance dun processeur

3 processeurs physiques / Capacit dExcution = 3

26

Rpartition des ressources mmoire

27

Virtualisation : Ressources mmoire

La mmoire physique du systme est rpartie entre les partitions. Lhyperviseur assure ltanchit totale entre les partitions Chaque partition va recevoir une fraction de la mmoire physique La gestion de la mmoire virtuelle (pagination) est supporte dans les partitions
Pour une partition :

Minimum : 128MO (256MO pour AIX) Maximum : Taille de la mmoire du systme (jusqu 2TO) Incrment : 16Mo

28

Rpartition des ressources Entres / Sorties

29

Virtualisation : Entres / Sorties

Chaque partition reoit des contrleurs dentres / sorties rels et/ou virtuels Contrleurs rels : On affecte la partitions des slots PCI prsents dans le
systme. Il ny a pas de contrainte de nombre ou de localisation.

Contrleurs virtuels : En utilisant une partition VIOS (Virtual I/O server), on

peut mutualiser les contrleurs physiques entre plusieurs partitions.

Pour une partition (contrleurs rels) :

Minimum : 0 contrleur rel Maximum : Tous les contrleurs du systme Incrment : 1 slot PCI

30

Virtualisation : Entres / Sorties

Virtual I/O Server (VIOS)
VIOS : partition supplmentaire prenant en charge la mutualisation dE/S physiques Peut tre double pour la scurit

Virtual IO Server
Lien Physique/ Virtuel

AIX

AIX

Linux

Virtual IO Server
Lien Physique/ Virtuel

Objectif : conomiser des slots PCI et des ports sur les switchs (rseau, SAN).
Important dans les environnements comportant de nombreuses partitions

Contleurs Contleurs virtuels virtuels

Contleurs Contleurs virtuels virtuels

Contleurs Contleurs virtuels virtuels

Virtualisation : Rseau, Stockage

Adaptateurs Physiques

Hyperviseur
Adaptateurs Physiques

Supporte les partitions AIX 5L V5.3 et Linux

LAN, Stockage

31

9ZZ

Virtual I/O Server : Principe

Virtual I/O Server
vscsi VIOS venet Vlan Hdisk virtuel vscsi Partition AIX/Linux venet

Hyperviseur Adaptateurs E/S

lv
Disques
32

Lan Lan

Virtual I/O Server : Principe

Hdisk virtuel La partition AIX/Linux a un disque (virtuel) et un rseau (virtuel aussi). Elle peut tre installe et utilise. vscsi Partition AIX/Linux venet

Vlan

Hyperviseur

33

VIOS: Scurisation accs Ethernet

Scurisation par le VIOS (1.2)
Virtual I/O Server LPAR Client

Virtual I/O Server

Drivers

Shared Eth Adapter

Virtual Eth

Shared Eth Adapter

VLAN

Hyperviseur
Bascule en cas de problme Protection contre un arrt du VIOS, perte dun lien Ethernet Scurisation de ladaptateur et/ou du disque effectue par les partitions VIO
34

VIOS: Scurisation accs stockage

Scurisation du VIOS et des adaptateurs
Virtual I/O Server LPAR Client
LVM LVM SDD-PCM / RDAC Drivers vSCSI Initiator

Virtual I/O Server

+ MPIO
vSCSI Initiator

LVM SDD-PCM / RDAC

VIO Transport

VIO Transport

Hyperviseur

stockage Client: Protection par MPIO

35

Dynamic LPAR et Micro-partitions

Le micro partitionnement est entirement dynamique Les processeurs rels peuvent tre ajouts ou retirs du pool partag.

Utilisation du COD

Laffectation des ressources processeurs (CE) peut-tre modifie Les processeurs virtuels peuvent tre ajouts ou retirs dune micro-partition, La mmoire peut tre ajoute ou retire Les slots (rels ou virtuels) peuvent tre ajouts ou retirs

Grande souplesse et simplicit dadministration

36

Virtualisation des besoins

37

Approche virtuelle : Rpondre aux besoins des utilisateurs

Principe : Dmatrialisation des besoins. CPU on Demand Mmoire on Demand Meilleur utilisation du systme X? Rponse rapide aux nouvelles demandes Y?

X Y T Y Z Z Ajustements des besoins

38

Virtualisation : Retour dexprience

39

Virtualisation : Utilisation du VIO

Ladoption du VIO cest faite en douceur La technologie date de 2004. Dabord introduite dans les environnements de tests / dev Maintenant utilise dans les environnements de production lourds Nos grands clients sont moteur dans cette adoption; ils ont une bonne exprience du
fonctionnement des VIOs dans leur environnement.

Rduction des besoins de contrleurs et de connexions (ports rseau, SAN ) Ncessaire pour bnficier des nouvelles fonctionnalits

40

Virtualisation : Comportement de lHyperviseur

Rsultats dun benchmark interne IBM fait Montpellier en Dcembre 2007
Systme : p570 16 curs Power6 @ 4.7 Ghz

96 partitions en AIX 5.3 1 Virtual I/O Serveur (v1.4) 4 cartes FC 4Gbs 8 Ports Gigabits Ethernet

41

Virtualisation : Quelques chiffres

Scalabilits E/S : Disques
P570-16cpu 4,7Ghz - 4 FC x 4gb/s Single VIO - 1 VCPU-1GB LPAR AIX 5.3 140 000 120 000 100 000 IO/sec 80 000 60 000 40 000 20 000 0 0 8 16 24 32 40 48 56 64 Nbr of VM 72 80 88 96 104

Read Write Read VIO 3 fixed cpu

Jusqu 96 partitions Jusqu 120 000 I/O par seconde

CPU ddis plus performants pour les trs hauts dbits (moins de latence)

42

Virtualisation : Quelques chiffres

Scalabilits E/S : Rseau
P570-16cpu 4,7Ghz - 8 x 1Gb/sec ETH Single VIO - 1VCPU-1GB LPAR AIX 5.3
900 800 700 600 500 400 300 200 100 0 0 8 16 24 32 40 48 56 64 72 80 88 96 104

Jusqu 96 partitions 1 Ethernet virtuel par partition

Jusqu 900 Mo par seconde

43

Virtualisation : Quelques chiffres

Scalabilit workload mixte :

Calcul CPU (110 x calcul entier) Accs Mmoire (100 x 8ko) Accs rseau (10 x 1ko) Accs I/O (1 x 8ko)

44

Virtualisation : Quelques chiffres

Scalabilit workload mixte : Efficacit de lHyperviseur
Hypertest Mixed Workload Type 1 TPS P570-16cpu Power6- 4,7Ghz 4 FC 4gb/s + 8ETH 1Gb/s - AIX 5.3 - Single VIO

1 Vcpu 2 Vcpu 4 Vcpu

1 4 Virtual CPU par partition 36 partitions 4 vcpu (144) 72 partitions 2 vcpu (144) 96 partitions 1 vcpu (96)

18000 16000 14000 12000 10000 8000 6000 4000 2000 0

0 8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 128 136 144 152

45

Virtualisation : Rfrence SAP / DB2

quipementier automobile : 50000 employs Architecture entirement virtualise sur 2xp5-595 (prparation LPM) 4 VIOS (2 prod, 2 non-prod) par machine

41 Bases de donnes 4 TO pour la base principale DS8300 Disques: 20 000 I/O par secondes Rseau: 50 MO / seconde

Consommation des VIOS <= 2 Cpu

46

Dmonstration Partition Mobility

Demo PM : Systmes p6
Mobile-LPAR1
rootvg datavg

Systme 1:

Romeo

Systme 2:

Juliette

vios1

vios2

vios1

vios2

DS4300

48

Demo PM : Systmes p6
Systme 1: Romeo

Systme 2: Juliette

49

Demo PM : Configuration de la partition

Mobile-LPAR1
rootvg (mpio) datavg (mpio)

Systme dexploitation : AIX 5.3 TL6 Systme de Base de donnes : DB2 V9.1 Simulateur de Transaction : Websphere 6.1

VIOS1

Sea failover

VIOS2

rseau

DS4300

50

Demo PM : Les tapes

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

51

Demo PM : Les tapes (1/5)

Vrifications : Ressources disponibles sur la cible Accs au stockage

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

52

Demo PM : Les tapes (2/5)

Cration : Partition cible Liens stockage

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

53

Demo PM : Les tapes (3/5)

Copie : Mmoire source cible

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

54

Demo PM : Les tapes (4/5)

Activation : Gel de 2 secondes environ

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

55

Demo PM : Les tapes (5/5)

Nettoyage : Retrait des dfinitions sur la source

Systme 1: Romeo

Systme 2: Juliette

vios1

vios2

vios1

vios2

DS4300

56

Demo
57

Demo
58

M
59

rci.