Understanding The Linux Kernel

Understanding the LINUX Kernel
Daniele Maggiore
sisinflab.poliba.it
Dicembre 13, 2007
Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 1 / 35

Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview
La struttura teorica del Kernel
Kernel Linux in generale
Kernel Linux, caratteristiche pi importanti
Tour del Kernel Linux
3. Dalla Teoria alla Pratica

Moduli
File System

Cenni Storici La Nascita di Linux
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

La nascita di LINUX
La eMail di Torvalds al minix group.
From: torvalds@klaava.Helsinki.FI (Linus Benedict Torvalds)
Newsgroups: comp.os.minix
Subject: What would you like to see most in minix?
Summary: small poll for my new operating system
Message-ID: <1991Aug25.205708.9541@klaava.Helsinki.FI>
Date: 25 Aug 91 20:57:08 GMT
Organization: University of Helsinki
Hello everybody out there using minix -

Im doing a (free) operating system (just a hobby, wont be big and
professional like gnu) for 386(486) AT clones. This has been brewing
since april, and is starting to get ready. Id like any feedback on
things people like/dislike in minix, as my OS resembles it somewhat
(same physical layout of the file-system (due to practical reasons)
among other things).
Ive currently ported bash(1.08) and gcc(1.40), and things seem to work.
This implies that Ill get something practical within a few months, and
Id like to know what features most people would want. Any suggestions
are welcome, but I wont promise Ill implement them :-)
Linus (torvalds@kruuna.helsinki.fi)
PS. Yes - its free of any minix code, and it has a multi-threaded fs.
It is NOT protable (uses 386 task switching etc), and it probably never
will support anything other than AT-harddisks, as thats all I have :-(.
La nascita di LINUX
Levoluzione del Kernel.

Kernel Overview La struttura teorica del Kernel
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

Kernel Overview La struttura teorica del Kernel

Kernel Overview Kernel Linux in generale
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

Linux un kernel monolitico (un singolo unico programma ove tutte le

componenti hanno accesso a tutte le strutture dati interne).
Linux permette di caricare e scaricare dinamicamente alcune
componenti in base allesigenza dellutente. Queste componenti
prendono il nome di Moduli.
I moduli sono porzioni di codice che possono essere linkate
dinamicamente nel kernel dopo che questultimo stato caricato. Essi
possono essere delinkati e disallocati quando non sono pi necessari.
Una volta caricato, un modulo parte integrante del kernel e ha gli
stessi diritti e responsabilit di ogni altra porzione di codice. Questo
implica che pu causare un crash del kernel come ogni altra routine in
kernel space.


kernel space.


kernel space.


kernel space.

Kernel Overview Kernel Linux, caratteristiche pi importanti
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

SMP
Preemption
High memory support
SMT HyperThreading
Supporto per CPU differenti
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

SMP
Preemption
High memory support
SMT HyperThreading
Supporto ACPI
OProfile
ParaVirtualization

Kernel Overview Tour del Kernel Linux
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

1. Process Scheduler (SCHED)

2. Memory Manager (MM)
3. Virtual File System (VFS)
4. Network Interface (NET)
5. Inter-Process Communication (IPC)

Process Scheduler
E responsabile di controllare laccesso dei processi alla CPU. Lo
scheduler assicura una policy che permette ai vari processi di
accedere alla CPU in modo paritario assicurando nel frattempo che
vengano svolte le necessarie procedure per gestire lhardware.

Memory Manager
Permette che pi processi condividano la memoria centrale. Inoltre
offre il supporto alla memoria virtuale (permette di supportare processi
che hanno bisogno di pi memoria di quella disponibile). Quanto non
al momento utilizzato viene salvato su disco e recuperato quando
richiesto.

Virtual File System

Presenta una file-interface comune a tutti i dispositivi: questo permette
di astrarre i dettagli dei dispositivi hardware concreti. Il VFS supporta
una notevole quantit di file system che sono compatibili con altri
sistemi operativi.

Network Interface
Fornisce accesso a una serie di standard di rete e a una variet di

dispositivi di networking.

Inter-Process Communication
Supporta una serie di meccanismi di process-to-process

communication, il tutto su un solo sistema Linux.
1. Signals
2. Pipes
3. System V IPC Mechanisms
4. Message Queues
5. Semaphores
6. Shared Memory

Lalbero delle directories
arch contiene il codice specifico per tutte le architetture supportate dal kernel.
include contiene i file che servono per compilare il kernel.
init contiene il codice per linizializzazione del kernel.
mm contiene il codice per la gestione della memoria.
drivers contiene tutti i drivers dei dispositivi.
ipc contiene il codice che implementa i vari sistemi di Inter-Process Communication.
modules directory in cui verrano salvati i moduli compilati.
fs contiene tutti i moduli che implementano i vari file system.
kernel parte centrale del kernel.
net contiene la parte di codice kernel relativa al networking.
lib contiene le librerie del kernel.
scripts contiene gli script usati durante la configurazione del kernel.












Dalla Teoria alla Pratica Moduli
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

Caricare un Modulo
I Moduli:
oggetti linkati come gli altri programmi nel S.O.
sono linkati come immagini rilocabili
il formato del file oggetto di tipo a.out o elf
deve contenere una routine di initialization e di cleanup
Come caricare un modulo:

manualmente
quando serve (on-demand loading)
In entrambi i casi viene eseguita una serie di operazioni portate a

termine dallutility insmod

Caricare un Modulo
Quando si inserisce un modulo manualmente con il comando "modprobe

NomeModulo" si ha che:

insmod fa una system call privilegiata per trovare i simboli esportati del kernel1
X insmod legge il modulo nella sua memoria vituale aggiorna le referenze irrisolte inserendo
gli indirizzi delle routine e le risorse del kernel usando la tabella dei simboli.
X insmod chiede al kernel, usando una system call privilegiata, uno spazio sufficiente per
allocare il nuovo modulo.
X Il kernel alloca una nuova struttura dati e uno spazio di memoria kernel. Infine il modulo
viene aggiunto in coda alla lista dei moduli e marcato come come UNINITIALIZED.
X insmod copia il modulo nello spazio allocato e lo riloca in modo tale che possa essere
avviato usando indirizzi del kernel.
1
Coppie (nome simbolo, valore).
Caricare un Modulo



insmod legge il modulo nella sua memoria vituale aggiorna le referenze irrisolte inserendo
X insmod chiede al kernel, usando una system call privilegiata, uno spazio sufficiente per
1
Caricare un Modulo




insmod chiede al kernel, usando una system call privilegiata, uno spazio sufficiente per
1
Caricare un Modulo





Il kernel alloca una nuova struttura dati e uno spazio di memoria kernel. Infine il modulo
1
Caricare un Modulo





Il kernel alloca una nuova struttura dati e uno spazio di memoria kernel. Infine il modulo

insmod copia il modulo nello spazio allocato e lo riloca in modo tale che possa essere
1
Caricare un Modulo

Il nuovo modulo esporta una tabella dei simboli e la passa al kernel.
X insmod con una system call privilegiata passa al kernel gli indirizzi delle funzioni di
initialization e cleanup.
X Il kernel invoca la funzione initialization del modulo.
X Lindirizzo della funzione cleanup viene inserito nella struttura dati del modulo.
X Lo stato del modulo viene settato a RUNNING.

Caricare un Modulo


insmod con una system call privilegiata passa al kernel gli indirizzi delle funzioni di
X Il kernel invoca la funzione initialization del modulo.

Caricare un Modulo



Il kernel invoca la funzione initialization del modulo.

Caricare un Modulo




Lindirizzo della funzione cleanup viene inserito nella struttura dati del modulo.

Caricare un Modulo




Lindirizzo della funzione cleanup viene inserito nella struttura dati del modulo.

Lo stato del modulo viene settato a RUNNING.

Scaricare un Modulo
I moduli possono essere scaricati usando il comando modprobe -r
Esempio
Non possibile scaricare il modulo VFAT se si montato uno o pi file system VFAT.
Se si guarda alloutput di lsmod, possibile vedere che per ogni modulo c un
contatore associato.
Module pages Used by

msdos 5 1
vfat 4 1 ( autoclean)
fat 6 [vfat msdos] 2 ( autoclean )

Scaricare un Modulo
I moduli non pi utili vengono automaticamente rimossi dal demone

kerneld allo scadere di un timer di idle. A questo punto kerneld effettua
una chiamata di sistema che disalloca tutti i moduli non usati.
Esempio

msdos 5 1

Scaricare un Modulo
Un modulo non pu essere scaricato se ci sono altre componenti nel

kernel che dipendono da questultimo.
Esempio

msdos 5 1

Scaricare un Modulo
Altre informazioni contenute nei moduli:

la prima longword dellimmagine del modulo contiene il contatore
ai flag AUTOCLEAN e VISITED2
Precondizioni per scaricare un modulo:
il flag AUTOCLEAN settato e lo stato RUNNING (solo
on-demand loading)
il modulo non marcato come VISITED
il contatore pari a 0
2
i due flag sono usati per scaricare i moduli caricati con lon-demand loading
Scaricare un Modulo
Se un modulo rispetta le condizioni precedenti:

viene eseguita la sua funzione di cleanup (esegue la free-up delle
risorse associate al modulo).
la struttura dati del modulo viene marcata come DELETED e
delinkata dalla lista dei moduli.
viene modificata la lista delle reference di ogni modulo che usa
quel modulo. Nessuno avr pi il modulo scaricato come
dipendente.
tutta la memoria del kernel allocata per il modulo viene deallocata.

Dalla Teoria alla Pratica File System
Outline
1. Cenni Storici
La Nascita di Linux
2. Kernel Overview

Moduli
File System

VFS Virtual File System

Il virtual file system deve gestire
tutti i file system che vengono mon-
tati. Per fare ci, mantiene una
struttura dati che descrive lintero
VFS e i file system montati.
Il VFS descrive i file in termini di su-

perblock e i-nodes.
I nodi del VFS di tipo i-node descrivono:

i file e le directory allinterno del sistema
i contenuti
la topologia del Virtual File System
Quando un file system inizializzato, esso si registra allinterno del

VFS.
Quando un file system basato su blocchi viene montato, il VFS

legge il suo superblock.
Ogni superblock read routine deve risolvere la tipologia del file
system e mappare le informazioni nel VFS superblock.
Il VFS mantiene una lista dei file system montati con i relativi
superblock.
Ogni superblock del VFS contiene informazioni e puntatori alle
funzioni che svolgono particolari operazioni.
Quando il sistema accede ai file e alle directory, vengono
richiamate funzioni che attraversano i nodi del VFS.
Questi vengono memorizzati in una cache per velocizzare le
ricerca.
Tutti i file system usano una buffer cache comune per velocizzare
le operazioni di lettura dei blocchi dai dischi.

superblock.
ricerca.

superblock.
ricerca.

superblock.
ricerca.

superblock.
ricerca.

superblock.
ricerca.

superblock.
ricerca.
Vantaggi:
ogni block structured device si registra nel kernel: possibile
usare qualsiasi linguaggio di programmazione per implementare
un file system
si ha uninterfaccia asincrona uniforme e block-based
il file system Linux indipendente dal device e dal driver che lo
gestisce
Il VFS mantiene anche una cache delle directory in modo che i nodi
delle directory pi usate siano facilmente reperibili (come possiamo
immaginare, fare ls di una directory che non stata listata di recente
pu implicare un tempo maggiore!)

Fuse: un file system User-Space
Fuse un framework che permette di implementare un file system in

user-space. Elimina la necessit di scrivere moduli del kernel per
implementare file system.
Fuse diviso in due parti. Un mod-

ulo kernel e una libreria user space
che fornisce un framework e unAPI
tramite la quale possibile imple-
mentare un file system residente in
user space.

Vantaggi:
possibile usare qualsiasi linguaggio di programmazione per
implementare un file system.
possibile usare tutte le librerie POSIX e quelle lato utente:
questo elimina le constraint dettate dalle kernel API che sono
limitate.
gli implementatori di file system non devono programmare il kernel
o conoscere la struttura del S.O.
Alcuni esempi di file system basati su FUSE sono:
NTFS-3g Un file system che permette di scrivere su partizioni NTFS
GmailFS permette di montare la cartella in-box di gmail come una cartella locale

Vantaggi:
limitate.

Vantaggi:
limitate.

/proc File System
/proc una finestra leggibile sul kernel in esecuzione.

/proc file system non ha una esistenza fisica.
/proc file system si comporta come un file system reale (infatti si
registra su VFS).
quando il VFS fa una chiamata per richiedere un nodo, il /proc file
system crea il file e le directory a partire dalle informazioni
contenute nel kernel.

/dev Device Special Files
Linux, come tutte le versioni di Unix, rappresenta i suoi device come

file speciali.
Esempio
il file /dev/null rappresenta il null device.
I file dei device non occupano nessuno spazio sul file system: essi
sono solo un punto daccesso al device.
Ci sono due tipi di file:
character file (le operazioni di I/O sono in character mode)
block files (le operazioni di I/O avvengono solo tramite buffer
cache)


file speciali.
Esempio
cache)


file speciali.
Esempio
cache)


file speciali.
Esempio
cache)

E possibile eseguire tutte le classiche operazioni di I/O.

Quando unoperazione di I/O fatta su un device file, essa viene
inviata al driver che gestisce quel dispositivo.
Molto spesso esso non un vero e proprio device driver ma uno
pseudo-device driver (come accade per alcuni dispositivi come gli
SCSI che vengono ridirezionati allo SCSI device driver layer).

Understanding The Linux Kernel

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Understanding The Linux Kernel

Uploaded by

Copyright:

Available Formats

Understanding the LINUX Kernel

Dicembre 13, 2007

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 1 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 2 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 3 / 35

Hello everybody out there using minix -

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 5 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 6 / 35

La struttura teorica del Kernel

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 7 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 8 / 35

Kernel Linux in generale

Linux un kernel monolitico (un singolo unico programma ove tutte le

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 9 / 35

Kernel Linux in generale

Linux un kernel monolitico (un singolo unico programma ove tutte le

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 9 / 35

Kernel Linux in generale

Linux un kernel monolitico (un singolo unico programma ove tutte le

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 9 / 35

Kernel Linux in generale

Linux un kernel monolitico (un singolo unico programma ove tutte le

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 9 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 10 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

Kernel Linux, caratteristiche pi importanti

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 11 / 35

3. Dalla Teoria alla Pratica

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 12 / 35

Tour del Kernel Linux

1. Process Scheduler (SCHED)

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 13 / 35

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 14 / 35

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 15 / 35

Virtual File System

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 16 / 35

Fornisce accesso a una serie di standard di rete e a una variet di

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 17 / 35

Supporta una serie di meccanismi di process-to-process

Daniele Maggiore (sisinflab.poliba.it) The Linux Kernel Dicembre 13, 2007 18 / 35

Lalbero delle directories

include contiene i file che servono per compilare il kernel.

init contiene il codice per linizializzazione del kernel.

mm contiene il codice per la gestione della memoria.

drivers contiene tutti i drivers dei dispositivi.