You are on page 1of 70

Raport z badania porwnawczego wartoci

warto
wskanikw
nikw jako
jakoci
ci usug w sieciach ruchomych
przedsibiorcw
biorcw
biorcw telekomunikacyjnych w Polsce

Warszawa, 28 grudnia 2015 r.

Urzd Komunikacji Elektronicznej


Elektroniczne

Systemics
Systemics-PAB
Sp. z o.o.

Spis treci
1 Wprowadzenie .....................................................................................................................................3
2 Wyjanienia skrtw..........................................................................................................................4
3 Cel i zakres badania ...........................................................................................................................6
4 Obszar i czas prowadzenia badania ...............................................................................................9
5 Zesp prowadzcy badania .......................................................................................................... 12
6 Opis metody pomiarowej i scenariusze pomiarowe................................................................. 13
7 Prezentacja wynikw badania ...................................................................................................... 18
8 Dokadno pomiarw .................................................................................................................... 57
9 Podsumowanie wynikw badania ................................................................................................ 63
10 Zaczniki .......................................................................................................................................... 70

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 2

Wprowadzenie

Badanie porwnawczego wartoci wskanikw jakoci usug w sieciach ruchomych przedsibiorcw


telekomunikacyjnych w Polsce zostao wykonane przez Systemics-PAB Sp. z o. o. przy wykorzystaniu
posiadanych przez Spk systemw pomiarowych, bazodanowych i do przetwarzania danych
pomiarowych i przygotowywania raportw.
Systemics-PAB otrzyma zamwienie w wyniku wyboru na podstawie rozpisanego przez Urzd
Komunikacji Elektronicznej przetargu i w oparciu o podpisan pomidzy stronami w dniu
25 listopada 2015 r Umow BFB-231-2/42/15 na Przeprowadzenie badania porwnawczego wartoci
wskanikw

jakoci

usug

sieciach

ruchomych

Przedsibiorcw

telekomunikacyjnych

wraz z opracowaniem raportu z przeprowadzonego badania.


Badania wykonano w dniach od 3 grudnia do 23 grudnia 2015 roku. Cztery jednostki pomiarowe
wykonay w tych dniach ponad 550 godzin pomiarw w ruchu i stacjonarnych zarwno cznie dla
badania waciwego i referencyjnego. W trakcie pomiarw wykonano dla kadego z operatorw ponad
12 tysicy pocze gosowych i ponad 35 tysicy rnych testw usug transmisji danych. Badanie
waciwe odbywao si na terenie caego kraju przy wykorzystaniu kart SIM dostarczonych przez
operatorw. Badanie referencyjne prowadzono na ograniczonym obszarze przy wykorzystaniu kart
SIM zakupionych w publicznie dostpnych punktach sprzeday operatorw. Celem pomiaru
referencyjnego bya weryfikacja czy karty dostarczone do pomiarw przez operatorw nie s kartami
uprzywilejowanymi. Szczegowe zestawienie iloci pomiarw znajduje si w rozdziale 4 Raportu.
Systemics-PAB jest penoprawnym czonkiem ETSI od Listopada 2014 roku zaangaowanym
w

proces

standaryzacji

zalece

odnonie

przyszych

sposobw

oceny

jakoci

usug

telekomunikacyjnych.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 3

2
ETSI

Wyjanienia skrtw

European Telecommunications Standards Institute

Europejski Instytut Norm Telekomunikacyjnych


Standard rozwoju cyfrowych naziemnych sieci mobilnych

LTE

Long Term Evolution

czwartej generacji
Standard rozwoju cyfrowych naziemnych sieci mobilnych

UMTS

Universal Mobile Terrestrial System

drugiej generacji
Standard rozwoju cyfrowych naziemnych sieci mobilnych

GSM

Group Speciale Mobile

trzeciej generacji
Instytucja powoane w celu rozwoju standardw cyfrowych

3GPP

3G Partnership Project

naziemnych sieci mobilnych

CSSR

Call Setup Success Rate

Wskanik skutecznoci pocze telefonicznych

DCR

Dropped Call Rate

Wskanik pocze przerwanych

MOS

Voice Speech Quality

Wskanik jakoci mowy

MOS_PI

Voice Speech Acceptable Quality Index

Wskanik akceptowalnej jakoci mowy

MDR DL Mean Data Rate Downlink

Wskanik prdkoci transmisji danych od stacji bazowej

MDR UL Mean Data Rate Uplink

Wskanik prdkoci transmisji danych do stacji bazowej

RTT

Round Trip Time

Wskanik opnienia pakietw danych

IP packet delay variation

Wskanik zmiennoci opnienia

IPLR

IP packet loss ratio

Wspczynnik utraty pakietw

CST

Call Set Up Time

Wskanik czasu zestawienia poczenia

VCU

Voice Codec Usage

Uycie kodekw gosowych

DTU

Data Technology Usage

Uycie technologii transmisji danych

YSVD

YouTube Successful Video Download

YouTube prawidowe pobranie klipu

YRSD

YouTube Reproduction Start Delay

YouTube wskanik czasu do pierwszej ramki wideo

YF

YouTube Freezing

YouTube wskanik degradacji wideo

HSFR

HTTP Session Failure Ratio

HTTP wskanik nieudanych (nieukoczonych) sesji

IPDV
(jitter)

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 4

HST

HTTP Session Time

HTTP wskanik czasu sesji

DHNRT

DNS Host Name Resolution Time

DNS wskanik czasu rozwizania nazw domenowych

HIST
(UL/DL)
WWW
Kepler
TCP/IP

HTTP wskanik czasu ustanowienia poczenia TCP/IP

HTTP IP-Service Setup Time

mierzony rwnie dla usugi transmisji danych

Reference WWW page

Referencyjna strona WWW


Teoretyczny model warstwowej struktury protokow

Transmission Control Protocol/Internet Protocol

komunikacyjnych

Automatic Selection Mode 2/3/4G

Automatyczny wybr sieci 2/3/4G

Automatic Selection Mode 2/3G

Automatyczny wybr sieci 2/3G

Ping

diagnostic software for computer network

Program sucy do diagnozowania pocze sieciowych.

HD

High Definition of video

Obraz wideo o wysokiej rozdzielczoci

PLIX

Polish IP traffic exchange point

Krajowy (polski) punkt wymiany ruchu IP

MTU

Maximum Transmit Unit

Maksymalna jednostka transmisji

CIR

Committed Information Rate

Przepywno gwarantowana

Free
Mode
Dual
Mode

Karta
SIM

Subscriber Identity Module

Karta abonencka

ISDN

Integrated Services Digital Network

Sie cyfrowa z integracj usug

CI

Confidence Interval

Przedzia ufnoci

MOC

Mobile Originated Call

Rozmowa wychodzca

FDTT

Fixed Data Transfer Time

Transmisja danych w staym odcinku czasu

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 5

Cel i zakres badania

Celem projektu byo zbadanie jakoci usug telekomunikacyjnych w sieciach przedsibiorcw


telekomunikacyjnych w Polsce posiadajcych wasn infrastruktur naziemnej ruchomej sieci
telekomunikacyjnej. Badanie zostao przeprowadzone na terenie caej Polski dla reprezentatywnej
prbki badawczej okrelonej w SIWZ bdcym zacznikiem do Umowy na wykonanie przedmiotu
umowy.
Badano usugi majce bezporedni wpyw na percepcj uytkownikw sieci. Wyliczono nastpujce
wskaniki jakoci usug (zarwno wymaganych przez UKE jak i dodatkowo zadeklarowanych przez
Systemics-PAB w procesie wyboru wykonawcy badania):
Dla usugi telefonicznej badano i okrelono:
wskanik skutecznoci pocze telefonicznych (Call Setup Success Rate), pkt. 1.2.1.
Zacznika do Umowy
wskanik pocze przerwanych (Dropped Call Rate), pkt. 1.2.2. Zacznika do Umowy
wskanik jakoci mowy (Voice Speech Quality), pkt. 1.2.3. Zacznika do Umowy
Wskanik czasu zestawienia poczenia gosowego
Czas zestawienia poczenia jest istotnym elementem oceny percepcji usug przez klientw.
Uycie kodekw w poczeniach gosowych
Wskanik powizany z ocen MOS pozwala na lepsze zrozumienie uzyskiwanych wartoci
MOS jeli s one niskie.

Dla usugi dostpu do Internetu badano i okrelono:


wskanik prdkoci transmisji danych (Mean Data Rate), pkt. 1.2.4. Zacznika do Umowy.
Stosowano specjalny scenariusz pomiarowy zapewniajcy synchronizacj cykli pomiarowych w
celu uniknicia nakadania si pomiarw T-Mobile i Orange obciajcych nienaturalnie
wspdzielon sie LTE. Scenariusz zakada wykonywanie testw pobierania danych w sieci
operatora T-Mobile w czasie kiedy w sieci operatora Orange prowadzony by test wysyania

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 6

danych do sieci i odwrotnie. Utrzymanie synchronizacji scenariuszy pomiarowych zapewniao


przerywanie pomiarw w odstpach 2,5-3 godzin i restart systemu pomiarowego.
wskanik opnienia pakietw danych (Round Trip Time), pkt. 1.2.5. Zacznika do Umowy
wskanik zmiennoci opnienia (jitter), pkt. 1.2.6. Zacznika do Umowy
wskanik utraty pakietw (Packet Loss Rate), pkt. 1.2.7. Zacznika do Umowy
Uycie technologii dla transmisji danych
Wskanik powizany z wskanikami prdkoci transmisji danych pozwala na lepsze
zrozumienie powodw osiganych wartoci przepywnoci.
YouTube prawidowe pobranie klipu wideo
YouTube jest jedn z najpopularniejszych usug w sieciach komrkowych. Wydaje si
naturalnym zbadania jakoci wiadczenia tej usugi. Wskanik okrela dostpno usugi.
YouTube wskanik czasu pierwszej ramki wideo
Wskanik okrela czas oczekiwania na rozpoczcie odtwarzania klipw z serwisu YouTube.
YouTube wskanik zatrzyma odtwarzania wideo
Wskanik okrela czsto zatrzyma odtwarzania klipw z serwisu YouTube.
HTTP wskanik nieudanych sesji do strony Kepler
Podobnie jak YouTube jest jedn z najpopularniejszych usug w sieciach komrkowych.
Wskanik okrela dostpno usugi. Badanie jest realizowane poprzez poczenia do
reprezentatywnej strony WWW typu Kepler.
HTTP wskanik czasu sesji dla strony Kepler
Wskanik okrela czas adowania pojedynczej kompletnej strony. Badanie jest realizowane
poprzez realizacj testowych pocze do reprezentatywnej strony WWW typu Kepler.
DNS wskanik czasu rozwizania nazw domenowych
Czas rozwizania nazw domenowych wpywa na czas dostpu do stron internetowych.
HTTP wskanik czasu ustanowienia poczenia TCP/IP
Czas dostpu do usug TCP/IP, ktry wpywa na szybko dziaania usugi transmisji danych
DL, UL, HTTP.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 7

Okrelono rwnie wskaniki radiowe - poziom i jako sygnau radiowego - mierzone podczas
trwania poczenia czyli w trybie dedykowanym. Wskaniki te pozwalaj na okrelenie sposobu
korzystania z przydzielonych operatorom czstotliwoci i umoliwiaj analiz jakoci rozwoju sieci
dostpowej operatora. Wskaniki daj informacj o tym jaka bya struktura uycia GSM/UMTS/LTE
dla pocze testowych natomiast nie umoliwiaj okrelenia zasigu sieci i bezporedniego
porwnania zasigw operatorw.
Definicje mierzonych wskanikw przedstawiono w Zaczniku 3 do Raportu.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 8

Obszar i czas prowadzenia badania

Czasy i terminy wykonywania pomiarw w caej Polsce przedstawiono w Tabeli 1.


Data Start

Data Stop

Czas[gg:mm]

Czas pomiarw w ruchu

03-12-15

22-12-15

431:37

Czas pomiarw stacjonarnych

03-12-15

22-12-15

87:03

Tabela 1. Okres i czas prowadzenia testw

Iloci wykonanych testw przedstawia Tabela 2.


Statystyka testw

TMobile

Play

Plus

12 326

12 429

12 248

12 400

Test transferu danych - Download

6 093

6 001

6 174

5 799

Test transferu danych - Upload

5 779

5 628

5 924

6 092

Test opnienia pakietw danych

5 981

5 833

6 130

6 002

Test zmiennoci opnienia

5 748

5 571

5 900

5 802

Test referencyjnej strony WWW

5 730

5 541

5 879

5 755

Test YouTube

5 538

5 098

5 708

5 620

Poczenia gosowe

Orange

Tabela 2. Iloci testw dla przeprowadzonego badania waciwego

Szczegowe dane statystyczne dla kadego miasta i kadego typu agregacji znajduj si w Zaczniku
1, ktry jest zestawieniem tabelarycznym wynikw.

Czasy i terminy wykonywania pomiarw referencyjnych przedstawiono w Tabeli 3.


Statystyka testowania

Data Start

Data Stop

Czas [gg:mm]

Czas pomiarw w ruchu

16-12-15

22-12-15

32:48

Czas pomiarw stacjonarnych

16-12-15

22-12-15

04:47

Tabela 3. Okres i czas prowadzenia testw

Iloci wykonanych testw referencyjnych przedstawia Tabela 4.

Statystyka testw

Orange

Play

Plus

TMobile

Poczenia gosowe

815

829

813

808

Test transferu danych - Download

419

420

435

414

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 9

Test transferu danych - Upload

402

407

416

433

Test opnienia pakietw danych

412

417

430

428

Test zmiennoci opnienia

402

406

413

411

Test referencyjnej strony WWW

402

405

413

411

Test YouTube

387

373

396

401

Tabela 4. Iloci testw dla przeprowadzonego badania

Na Mapie 1. przedstawiono przebieg tras pomiarowych w caej Polsce.

Mapa 1. Przebieg tras pomiarowych dla przeprowadzonego badania waciwego

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 10

Na mapie 2 przedstawiono przebieg tras pomiarowych dla badania referencyjnego na obszarze


wojewdztwa mazowieckiego.

Mapa 2. Przebieg tras pomiarowych dla przeprowadzonego badania referencyjnego

Szczegowy zrealizowany harmonogram pomiarw zawiera Zacznik 6 do Raportu.


czna dugo tras pomiarowych dla pomiarw waciwych to 20150 km. W pomiarze referencyjnym
wykonano pomiary na trasie 1200 km.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 11

Zesp prowadzcy badania

Do realizacji bada zgodnie z zapisami Umowy na Przeprowadzenie badania porwnawczego


wartoci wskanikw jakoci usug w sieciach ruchomych Przedsibiorcw telekomunikacyjnych wraz
z opracowaniem raportu z przeprowadzonego badania par. 8 ust. 1 i 2 oraz par. 11 ust. 1 pkt. 2)
Umowy BFB-231-2/42/15 z dnia 25 listopada 2015 r. Systemics-PAB Spka z o. o. w dniu
30 listopada 2015 roku powoaa zesp projektowy w skad ktrego weszo 16 osb.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 12

Opis metody pomiarowej i scenariusze pomiarowe

Przygotowanie systemu pomiarowego


Systemics-PAB posiada certyfikacj ISO 9001 w zakresie zarzdzania jakoci prowadzonych
pomiarw i bada. Stosowane w Spce reguy zapewniaj poprawno danych pomiarowych oraz
wiarygodno bada.
Kontrola sprztu i wstpne testy byy przeprowadzone na kadym etapie procesu pomiarowego:
- kontrola montau systemu pomiarowego wedug cile okrelonych procedur,
- konfiguracja systemu pomiarowego odbywaa si przez wykwalifikowanego inyniera zgodnie
ze specyfikacj techniczn wymagan do przeprowadzenia badania, zakadan konfiguracj sprztu
i przygotowanymi scenariuszami pomiarowymi,
- w kolejnym etapie jest wykonano testy, ktre przeszy peny proces pozyskania, weryfikacji
i przetwarzania danych, a po pozytywnej weryfikacji system zosta zatwierdzany jako gotowy do
rozpoczcia pomiarw,
- w przypadku wprowadzania zmian sprztowych lub konfiguracyjnych w trakcie pomiarw lub
demontau systemu na czas przerw w pomiarach system przechodzi peny proces weryfikacji,
- niezalenej kontroli przed rozpoczciem pomiarw podlega ukad antenowy, wszystkie tory
antenowe byy poddane kontroli jakoci, wynikiem testw jest raport z pomiaru anten ktry zawiera
oddzielne wyniki dla kadej anteny uywanej w jednostce pomiarowej
- codziennie przed rozpoczciem pomiarw ukad antenowy by sprawdzany przez specjalist
pomiarowego aby w wypadku zauwaenia jakiegokolwiek uszkodzenia toru antenowego by on
naprawiony. Zdarzenia tego nie odnotowano podczas pomiarw.
Proces pomiarowy:
1. Dla kadego z samochodw zosta przygotowany harmonogram pomiaru.
2. Mapy pomiarowe zawierajce drogi po ktrych porusza si auto pomiarowe zostay
przygotowane zgodnie z harmonogramem pomiarw dla wybranych tras speniajcych wymogi
zamawiajcego.
3. Po kadej sesji pomiarowej, ktra trwa maksymalnie 2,5-3 godziny dane zapisywane byy na
zewntrznym noniku. Mechanizm ten zapewnia bezpieczestwo danych i utrat zbyt duej
iloci testw w przypadku awarii systemu. Jednoczenie pozwala te na synchronizacj cykli
Urzd Komunikacji Elektronicznej
28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 13

pomiarowych w celu uniknicia nakadania si pomiarw T-Mobile i Orange obciajcych


nienaturalnie wspdzielon sie LTE.
4. Codziennie po zakoczeniu pomiarw dane wysyany s na gwny serwer przewarzania
danych pomiarowych. Wraz z nimi przesyany by dodatkowy log pomiarowy ktry wypenia
specjalista pomiarowy podczas pomiarw.
5. Po codziennym zaimportowaniu danych pomiarowych wykonywana jest weryfikacja
poprawnoci danych i tworzone s informacje kontrolne, ktre pokazuj zgodno pomiaru z
harmonogramem i zakresem pomiarw. W przypadku brakw specjalista pomiarowy dostaj
informacje o konkretnym obszarze w ktrym naley powtrzy pomiar.
6. Zweryfikowane kompletne dane pomiarowe s umieszczane w bazie danych w celu dalszej
analizy i przygotowania raportw.

Scenariusz testu jakoci usugi gosu w trybie Dual Mode


Parametr

Warto

Komentarz

Window Duration

153 sec

Use call duration to abort call

YES

Allow call re-establishment

YES

Call duration

120 sec

Pause duration

30 sec

1st call setup delay

3 sec

Guard time

10 sec

No call setup time

120 sec

MOC:MTC Ratio

1:0

Pause after failed call

60 sec

Max failed calls

Pause after max failed calls

60 sec

Average call setup time

20 sec

Max call setup time

20 sec

Alerting timeout

20 sec

Test

Speech-P.862/P.863

Record hang-over

2 sec

Reference sample

Pl-fm_IRS.wav

Number of samples

10

Sample direction

Alternated

Save WAV files

<=3

Wykorzystywany do pomiarw CSSR, DCR, CST, VCU,


MOS_PI

Metoda oceny jakoci gosu dla MOS_PI

Tabela 6. Scenariusz pomiarowy dla usug gosowych

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 14

Do pomiaru jakoci usug gosowych suyy terminale pomiarowe zgodnie ze specyfikacj podan
w Zaczniku 7 do Raportu. Terminale pomiarowe miay wczon transmisj danych, aby zapewni
w jak najlepszym stopniu odzwierciedlenie zachowania terminala abonenckiego, ktry w trakcie
rozmw dokonuje transmisji danych np. synchronizacje z poczt.

Scenariusz testu usugi transmisji danych w trybie Free Mode


Parametr

Timeout

Reselection Pause

Pauza

Serwer

Zawarto

Komentarz

30s

PDP Activation

150 sec

1 sec

Capacity Download

65 sec

1 sec

185.40.196.66

2GB.bin

10x HTTP Transfer

10 sec

1 sec

185.40.196.66

1kB.bin

Capacity Upload

65 sec

1 sec

185.40.196.66

512MB.bin

Do realizacji pomiarw MDR DL, HIST,


HSFR.
W celu odseparowania testw DL i UL
Do realizacji pomiarw MDR UL, HIST,
HSFR.
Maksymalny czas trwania caej sekwencji

25x PING

1 sec

1 sec

185.40.196.66

to 30 sekund. Interwa 100ms. Test

32B

wykorzystywany do realizacji pomiarw


RTT, IPLR, IPDV.

HTTP Browser

23 sec

1 sec

185.40.196.66

Kepler mobile

YouTube HD

45 sec

0 sec

YouTube

720p, 30s

PDP Deactivation

30 sec

1 sec

Do realizacji pomiarw HIST, HST,


HSFR.
Do realizacji wskanikw YSVD, YF,
YRSD, DHNRT.

Tabela 7. Scenariusz pomiarowy dla usug transmisji danych

Do pomiaru jakoci transmisji danych zastosowano smartfony pracujce w trybie modemu.

Zasady prowadzenia pomiaru


W badaniach wykorzystywano cztery zestawy pomiarowe w takiej konfiguracji i z takimi
parametrami, e pozwalay na wykonywanie pomiarw wykorzystujc wszystkie dostpne
u operatorw pasma czstotliwoci, technologie i oferowane usugi bdce przedmiotem badania.
Zestawy pomiarowe ulokowane byy w baganiku kadego z samochodw. Anteny zestawu
pomiarowego byy umieszczone na dachu samochodu w dedykowanym baganiku dachowym. Kady
operator by badany takim samym zestawem terminalem pomiarowym w zakresie danej usugi. Obszar
i

czas/okres

wykonywania

pomiarw

by

taki

Urzd Komunikacji Elektronicznej


28 grudnia 2015

sam

dla

wszystkich

Przedsibiorcw

Systemics-PAB Sp. z o. o.
str. 15

telekomunikacyjnych. W przypadku, kiedy z winy systemu pomiarowego, nastpio przerwanie


pomiarw dla ktrego z przedsibiorcw, pomiary byy zatrzymane i uruchomione ponownie
po usuniciu usterki. Ze wzgldu na rne zachowanie poszczeglnych badanych sieci czas
wykonywania poszczeglnych sekwencji testowych moe by rny dla przedsibiorcw. Skutkowao
to nieznacznymi rnicami w iloci wykonanych pomiarw dla kadego operatora w czasie tego
samego okresu pomiarowego. W celu zapewnienia moliwoci pomiaru usug dla przedsibiorcw
korzystajcych z roamingu krajowego nie byy wykorzystywane adne mechanizmy blokujce ten tryb
pracy w terminalach pomiarowych.
Zestawy pomiarowe wykorzystywane w badaniach wykonyway pomiary zgodne ze standardem ETSI
TS 102 250.
Scenariusze pomiarowe przygotowane zostay w taki sposb, aby terminale testowe automatycznie
dokonyway wyboru technologii dla badanych usug.
Do badania usugi dostpu do Internetu by stosowany Protok TCP, a parametry stosu TCP/IP
zaplanowano tak, aby nie wpyway na ograniczenia prdkoci transmisji danych. Wielko MTU
przyjto na 1420.
Serwer testowy dla transmisji danych umieszczony by w domenie publicznej, aby unikn
faworyzowania, ktregokolwiek z przedsibiorcw. Serwer testowy dla transmisji danych podczony
jest

szerokopasmowym

czem

transmisyjnym

CIR

wystarczajcym

na

wykonywanie

rwnoczesnych pomiarw dla wszystkich badanych operatorw i dla planowanej liczby uytych
samochodw pomiarowych. Warto CIR jest okrelona w taki sposb, aby nie wprowadza
ogranicze w prdkoci transmisji danych nawet w przypadku, kiedy wszystkie terminale
rwnoczenie transmitoway dane z maksymaln prdkoci transmisji. Dla przedmiotowych
pomiarw warto CIR ustawiono na 800Mb/s. Serwer testowy dla transmisji danych (kolokacja
w firmie Etop Sp. z o. o.) by poczony z sieci Internet bezporednim czem do krajowego punktu
wymiany ruchu internetowego - PLIX.
Server testowy dla usug gosowych by realizowany, jako specjalizowany serwer odzewowy
dla pocze typu MOC. Serwer by zlokalizowany w firmie Systemics-PAB i podczony z sieciami
innych operatorw czami dostarczonymi przez Orange Polska SA.
Pomiary odbyway si w taki sposb, aby poruszajce si po drogach publicznych samochody
pomiarowe nie stanowiy zagroenia dla ruchu i nie blokoway moliwoci korzystania z drg innym
uytkownikom. rednie prdkoci pomiarw nie przekraczay 25-30 km/h dla aglomeracji, 35-45 km/h
dla miast i 65-85km/h dla drg. Wynikao to gwnie z natenia ruchu drogowego. Pomiary
Urzd Komunikacji Elektronicznej
28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 16

w punktach stacjonarnych wykonyway te same zestawy pomiarowe po zatrzymaniu w planowanym


punkcie. Wyniki pomiarw z punktw stacjonarnych zapisywane byy w oddzielnych plikach.
Systemics-PAB wykona take pomiary referencyjnych zgodnie z punktem 1.18 zacznika
do Umowy. Po uzgodnieniu z przedstawicielami UKE pomiary referencyjne odbyy si na terenie
wojewdztwa mazowieckiego.
Karty SIM zarwno do pomiarw podstawowych jak i referencyjnych dostarczone zostay przez UKE.

Zapewnienie nierwnoczesnego testowania sieci Orange i T-Mobile


Dla operatorw T-Mobile i Orange, ktrzy korzystaj ze wsplnych zasobw czstotliwoci sieci
dostpowej LTE, testy szybkoci transmisji Download/Upload zostay zamienione miejscami
w scenariuszach pomiarowych by wyeliminowa jednoczesny transfer z terminali testowych,
dziaajcych na wsplnej sieci tych operatorw, rwnoczenie w tym samym kierunku. Startujc testy
z tak konfiguracj pocztkow zapewniamy desynchronizacj tych testw. Ponowna synchronizacja
scenariuszy odbywaa si w chwili zgrywania danych pomiarowych i tworzenia kopii bezpieczestwa
tych danych co 2-3 godziny. Takie dziaanie pozwalao ograniczy moliwo nakadania si testw
szybkoci transmisji w tym samym kierunku, gdy ze wzgldu na rny czas trwania cyklu
pomiarowego u kadego operatora (wynikajcy np. z szybkoci transmisji danych dla innych badanych
usug, upywania czasw timeoutw w przypadkach problemw z nawizaniem komunikacji) system
pomiarowy nie jest w stanie zapewni, e synchronizacja pocztkowa scenariuszy bdzie trwaa.
W badaniach przeprowadzonych dla UKE ilo nachodzcych na siebie sekundowych prbek
transmisji danych wynosia: 6,2% dla aglomeracji, 5,5% dla miast i 5,7% dla drg.
Na przykadzie aglomeracji, dla ktrych procent nakadania si prbek by najwyszy dokonano
analizy wynikw MDR_UL i MDR_DL uzyskanych bez usuwania nakadajcych si prbek, czyli tak
jak to przedstawiono w raporcie, z wynikami po usuniciu prbek nakadajcych si.
Rnica w otrzymanych wartociach dla aglomeracji zostaa wyliczona:

dla MDR_DL na poziomie 2,69% dla Orange i 3,04% dla T-Mobile,

dla MDR_UL na poziomie 2,79% dla Orange i 2,40% dla T-Mobile.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 17

Prezentacja wynikw badania

Na podstawie zebranych danych przygotowano szczegowe raporty tabelaryczne dla kadego z miast
i dla agregacji: caa Polska, Aglomeracje, Miasta i Drogi. Znajduj si one w Zaczniku 1 do Raportu
w oznakowanych zakadkach z nazw agregacji. W kadej zakadce na pocztku znajduj si tabele
z wynikami dla caej aglomeracji, a nastpnie poniej dla kadego z jej skadnikw (np. zakadka dla
aglomeracji zawiera wskaniki dla caej agregacji i poniej dla poszczeglnych miast/aglomeracji
wchodzcych w skad tej agregacji). Podobnie zorganizowany jest Zacznik 2 dedykowany pomiarom
referencyjnym. Zacznik 4 do Raportu zawiera dodatkowe analizy z pomiaru gwnego
przedstawiajce dla wymaganych agregacji warto MDR_DL i MDR_UL dla cznego czasu pomiaru
szybkoci transmisji danych w scenariuszu wynoszcego 60s (3x20s) i rozkad wskanika MOS
w przedziaach:

MOS<3;

3<=MOS<3,3;

3,3<=MOS<3,6;

3,6<=MOS

Zacznik 5 do Raportu zawiera takie same informacje dodatkowe jak zacznik 4 ale dla pomiaru
referencyjnego.
W niniejszym rozdziale Raportu zawarto prezentacje wynikw bada i ogln interpretacj.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 18

Wyniki bada zagregowane dla caego kraju


W tabeli 8 zebrano wyniki bada jakoci usug telekomunikacyjnych zagregowane dla caego kraju.

Wskanik skutecznoci pocze telefonicznych


Wskanik czasu zestawienia poczenia
Wskanik pocze przerwanych
Wskanik jakoci mowy
Wskanik prdkoci transmisji danych DL

CSSR [%]
CST [s]
DCR [%]
MOS_PI [%]
MDR_DL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP DL


Wskanik nieukoczonych sesji DL
Wskanik prdkoci transmisji danych UL

HIST [ms]
HSFR [%]
MDR_UL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP UL


Wskanik nieukoczonych sesji UL
HTTP wskanik czasu sesji
Wskanik czasu ustanowienia poczenia TCP/IP
Wskanik nieukoczonych sesji
Wskanik opnienia pakietw danych
Wspczynnik utraty pakietw
Wskanik zmiennoci opnienia
YouTube prawidowe pobranie klipu
YouTube wskanik czasu do pierwszej ramki wideo
YouTube wskanik degradacji wideo
DNS wskanik czasu rozwizania nazw domenowych
Tabela 8. Zestawienie wynikw bada caa Polska

HIST [ms]
HSFR [%]
HST [s]
HIST (DL) [ms]
HSFR [%]
RTT [ms]
IPLR [%]
IPDV [ms]
YSVD [%]
YRSD [s]
YF [%]
DHNRT [s]

Orange
99,28
4,37
0,31
99,77
19,66
791,00
1,61
15,85
376,00
1,21
2,56
455,00
2,36
97,70
6,00
22,81
99,66
1,41
1,97
0,43

Play
99,49
4,10
0,24
99,90
12,43
752,00
4,52
12,60
331,00
4,76
3,06
417,00
4,71
129,45
7,88
25,90
98,72
2,00
6,20
0,29

Plus
T-Mobile
98,98
99,37
3,41
3,87
0,73
0,22
99,54
99,80
25,19
20,64
479,00
498,00
0,42
1,10
17,71
16,87
162,00
521,00
0,68
2,38
2,59
2,61
492,00
626,00
0,71
2,24
105,54
93,66
1,78
1,95
22,02
25,56
99,30
99,88
1,58
1,37
3,25
1,82
0,28
0,34

Uzyskane wyniki bada pokazuj wysoka jako usug telekomunikacyjnych oferowanych przez
polskich operatorw.
Usugi pocze gosowych s realizowane z prawdopodobiestwem 99% i lepszym. Poczenia s
zestawiane w krtkim czasie i rzadko zrywane (poniej 1% pocze).
Bardziej zrnicowane wyniki uzyskano dla usugi transmisji danych. Moemy tu zauway wyranie
lepsze wyniki sieci Plus, za ktr z podobnymi wynikami plasuj si Orange i T-Mobile. Wyniki Play
s w tej kategorii najsabsze.
W przypadku dodatkowo badanych usug przegldania stron WWW (http browsing) i ogldania
klipw video wyniki operatorw s zblione. W przypadku sieci Plus uwag zwraca najlepszy wynik
dla wskanikw IPLR i HSFR, natomiast sieci Orange i T-Mobile mog si pochwali najmniejszym
stopniem degradacji sygnau wideo okreslanych wskanikiem YF.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 19

Wyniki bada zagregowane dla Aglomeracji


W tabeli 9 zebrano wyniki bada jakoci usug telekomunikacyjnych zagregowane dla Aglomeracji
(GOP, Szczecin, Warszawa, Krakw, d, Pozna, Trjmiasto, Wrocaw).

Wskanik skutecznoci pocze telefonicznych


Wskanik czasu zestawienia poczenia
Wskanik pocze przerwanych
Wskanik jakoci mowy
Wskanik prdkoci transmisji danych DL

CSSR [%]
CST [s]
DCR [%]
MOS_PI [%]
MDR_DL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP DL


Wskanik nieukoczonych sesji DL
Wskanik prdkoci transmisji danych UL

HIST [ms]
HSFR [%]
MDR_UL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP UL


Wskanik nieukoczonych sesji UL
HTTP wskanik czasu sesji
Wskanik czasu ustanowienia poczenia TCP/IP
Wskanik nieukoczonych sesji
Wskanik opnienia pakietw danych
Wspczynnik utraty pakietw
Wskanik zmiennoci opnienia
YouTube prawidowe pobranie klipu
YouTube wskanik czasu do pierwszej ramki wideo
YouTube wskanik degradacji wideo
DNS wskanik czasu rozwizania nazw domenowych
Tabela 9. Zestawienie wynikw bada Aglomeracje

HIST [ms]
HSFR [%]
HST [s]
HIST (DL) [ms]
HSFR [%]
RTT [ms]
IPLR [%]
IPDV [ms]
YSVD [%]
YRSD [s]
YF [%]
DHNRT [s]

Orange
99,61
4,00
0,19
99,85
20,83
398,00
0,76
19,73
138,00
0,48
2,38
341,00
0,80
61,32
1,84
18,12
99,55
1,34
1,69
0,21

Play
99,53
4,07
0,05
100,00
13,48
379,00
1,13
14,63
212,00
1,39
2,94
285,00
1,18
107,39
2,33
22,37
98,76
2,00
5,34
0,16

Plus
T-Mobile
99,37
99,48
3,37
3,58
0,62
0,13
99,79
99,98
31,31
22,70
354,00
240,00
0,04
1,04
21,22
21,26
92,00
216,00
0,00
2,25
2,32
2,30
373,00
626,00
0,00
2,70
86,66
58,45
0,31
0,58
18,76
14,63
99,96
99,96
1,18
1,23
0,83
0,85
0,20
0,14

Uzyskane wyniki bada dla aglomeracji pokazuj wysoka jako usug telekomunikacyjnych
oferowanych przez polskich operatorw.
Usugi pocze gosowych s realizowane z prawdopodobiestwem 99% i lepszym. Poczenia s
zestawiane w krtkim czasie i rzadko zrywane (poniej 1% pocze).
Bardziej zrnicowane wyniki uzyskano dla usugi transmisji danych. Moemy tu zauway wyranie
lepsze wyniki sieci Plus, za ktr z podobnymi wynikami plasuj si Orange i T-Mobile. Wyniki Play
s w tej kategorii najsabsze. Wartoci wskanika MDR_UL w sieciach Plus, Orange i T-Mobile s
zblione pomimo tego, e Plus dysponuje dla LTE blokiem czstotliwoci 20MHz wycznie
dla siebie, a Orange i T-Mobile wspdziel 15MHz.
W przypadku dodatkowo badanych usug przegldania stron WWW (http browsing) i ogldania
klipw video najlepiej wypada sie Plus. W sieci Play odtwarzanie klipw wideo zaczynaa si
pniej ni u pozostaych operatorw (wskanik YRSD) i czciej wystpowaa degradacja jakoci
odtwarzania (wskanik YF).
Urzd Komunikacji Elektronicznej
28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 20

Wyniki bada zagregowane dla Miast


W tabeli 10 zebrano wyniki bada jakoci usug telekomunikacyjnych zagregowane dla miast powyej
50 tysicy mieszkacw z wyczeniem Aglomeracji.

Wskanik skutecznoci pocze telefonicznych


Wskanik czasu zestawienia poczenia
Wskanik pocze przerwanych
Wskanik jakoci mowy
Wskanik prdkoci transmisji danych DL

Orange
99,65
4,66
0,13
99,81
23,00
HIST [ms]
625,00
HSFR [%]
0,69
MDR_UL [Mb/s]
16,34
HIST [ms]
204,00
HSFR [%]
0,26
HST [s]
2,40
HIST (DL) [ms]
415,00
HSFR [%]
0,90
RTT [ms]
78,59
IPLR [%]
3,09
IPDV [ms]
19,22
YSVD [%]
99,78
YRSD [s]
1,28
YF [%]
1,24
DHNRT [s]
0,26
CSSR [%]
CST [s]
DCR [%]
MOS_PI [%]
MDR_DL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP DL


Wskanik nieukoczonych sesji DL
Wskanik prdkoci transmisji danych UL
Wskanik czasu ustanowienia poczenia TCP/IP UL
Wskanik nieukoczonych sesji UL
HTTP wskanik czasu sesji
Wskanik czasu ustanowienia poczenia TCP/IP
Wskanik nieukoczonych sesji
Wskanik opnienia pakietw danych
Wspczynnik utraty pakietw
Wskanik zmiennoci opnienia
YouTube prawidowe pobranie klipu
YouTube wskanik czasu do pierwszej ramki wideo
YouTube wskanik degradacji wideo
DNS wskanik czasu rozwizania nazw domenowych
Tabela 10. Zestawienie wynikw bada Miasta

Play
99,71
3,95
0,19
100,00
13,36
395,00
0,87
12,45
225,00
2,43
2,88
329,00
2,23
117,90
4,11
23,66
98,49
1,94
6,66
0,23

Plus
T-Mobile
99,52
99,68
3,35
4,14
0,43
0,03
99,54
99,89
25,48
24,12
406,00
350,00
0,15
0,26
17,59
16,74
112,00
419,00
0,73
1,65
2,40
2,32
451,00
540,00
0,21
0,86
87,89
76,63
0,91
0,91
19,24
17,68
99,79
100,00
1,57
1,24
3,04
0,97
0,32
0,20

Uzyskane wyniki bada dla miast podobnie jak dla aglomeracji pokazuj wysoka jako usug
telekomunikacyjnych oferowanych przez polskich operatorw.
Usugi pocze gosowych s realizowane z prawdopodobiestwem 99% i lepszym. Poczenia s
zestawiane w krtkim czasie i rzadko zrywane (poniej 1% pocze).
W przypadku usugi transmisji danych wyniki sieci Plus, Orange i T-Mobile s bardzo zblione.
Wyniki Play s w tej kategorii najsabsze.
W przypadku dodatkowo badanych usug przegldania stron WWW (http browsing) i ogldania
klipw wideo wyniki s zblione.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 21

W sieci Play odtwarzanie klipw wideo zaczynaa si pniej ni u pozostaych operatorw (wskanik
YRSD) i czciej wystpowaa degradacja jakoci odtwarzania (wskanik YF). Najlepsze wyniki dla
jakoci odtwarzania plikw wideo uzyskay sieci Orange i T-Mobile.

Wyniki bada zagregowane dla Drg


W tabeli 9 zebrano wyniki bada jakoci usug telekomunikacyjnych zagregowane dla drg,
na ktrych prowadzono pomiary.

Wskanik skutecznoci pocze telefonicznych


Wskanik czasu zestawienia poczenia
Wskanik pocze przerwanych
Wskanik jakoci mowy
Wskanik prdkoci transmisji danych DL

CSSR [%]
CST [s]
DCR [%]
MOS_PI [%]
MDR_DL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP DL


Wskanik nieukoczonych sesji DL
Wskanik prdkoci transmisji danych UL

HIST [ms]
HSFR [%]
MDR_UL [Mb/s]

Wskanik czasu ustanowienia poczenia TCP/IP UL


Wskanik nieukoczonych sesji UL
HTTP wskanik czasu sesji
Wskanik czasu ustanowienia poczenia TCP/IP
Wskanik nieukoczonych sesji
Wskanik opnienia pakietw danych
Wspczynnik utraty pakietw
Wskanik zmiennoci opnienia
YouTube prawidowe pobranie klipu
YouTube wskanik czasu do pierwszej ramki wideo
YouTube wskanik degradacji wideo
DNS wskanik czasu rozwizania nazw domenowych
Tabela 11. Zestawienie wynikw bada drogi

HIST [ms]
HSFR [%]
HST [s]
HIST (DL) [ms]
HSFR [%]
RTT [ms]
IPLR [%]
IPDV [ms]
YSVD [%]
YRSD [s]
YF [%]
DHNRT [s]

Orange
98,28
4,65
0,73
99,58
14,06
1 555,00
3,88
7,20
928,00
3,38
3,02
674,00
6,34
172,43
15,37
33,78
99,66
1,69
3,32
0,97

Play
99,15
4,34
0,63
99,62
9,82
1 772,00
13,65
6,84
665,00
13,20
3,55
794,00
13,93
178,65
22,10
34,75
99,03
2,12
7,14
0,62

Plus
T-Mobile
97,68
98,83
3,55
4,04
1,30
0,59
99,11
99,40
16,33
13,55
739,00 1 044,00
1,27
2,18
9,57
8,24
320,00 1 078,00
1,56
3,43
3,21
3,43
711,00
730,00
2,32
3,21
152,44
164,79
4,89
5,18
29,88
50,69
97,73
99,60
2,19
1,72
7,18
4,32
0,35
0,81

Uzyskane wyniki bada dla drg rwnie pokazuj wysok jako usug telekomunikacyjnych
oferowanych przez polskich operatorw chocia wskaniki s nisze ni w miastach i aglomeracjach.
Usugi pocze gosowych s realizowane z prawdopodobiestwem w okolicy 99%, poczenia
s zestawiane w krtkim czasie i rzadko zrywane. Dla drg jako usug gosowych jest najsabsza
w sieci Plus, ktra ma najniszy wskanik CSSR i najwyszy DCR.
W przypadku usugi transmisji danych wyniki sieci Plus s najlepsze, Orange i T-Mobile s bardzo
zblione. Wyniki Play s w tej kategorii najsabsze. Wyduy si czas dostpu do usugi transmisji

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 22

danych w stosunku do agregacji miejskich, ale jest to naturalne dla pomiarw prowadzonych poza
miastami.
Opnienia w transmisji pakietw s wiksze ni dla miast ze wzgldu na wiksze uycie technologii
3G i 2G. W przypadku sieci Orange i Play wzrosy znaczco wskaniki utraty pakietw.
W sieciach Play i Plus odtwarzanie klipw wideo zaczynaa si pniej ni u pozostaych operatorw
(wskanik YRSD) i czciej wystpowaa degradacja jakoci odtwarzania (wskanik YF). Sie Plus
uzyskaa najnisz warto wskanika YSVD.

Uycie technologii
W tabelach 12-19 przedstawiono zestawienie wynikw pomiarw uycia w sieciach technologii do
wiadczenia badanych usug. Dane pomiarowe pochodz z terminali testw i byy zbierane w trakcie
realizacji scenariuszy pomiarowych dla usug gosowych i transmisji danych.
Orange
LTE
Uycie technologii

[%]

UMTS
GSM

Play

Plus

T-Mobile

0,00

0,00

0,00

0,00

95,51

96,34

95,48

94,50

4,49

3,66

4,52

5,50

Tabela 12. Uycie technologii w usugach gosowych cay kraj


Orange

Uycie technologii

[%]

Play

Plus

T-Mobile

LTE

77,89

83,15

94,19

78,08

UMTS

21,98

16,75

5,59

21,55

0,14

0,10

0,22

0,38

GSM
Tabela 13. Uycie technologii w usugach transmisji danych cay kraj

Uycie technologii

[%]

Orange

Play

Plus

T-Mobile

LTE

0,00

0,00

0,00

0,00

UMTS

98,91

99,87

97,11

98,70

GSM

1,09

0,13

2,89

1,30

Orange

Play

Plus

T-Mobile

LTE

95,66

96,90

99,39

96,62

UMTS

4,32

3,10

0,61

3,33

GSM

0,02

0,00

0,00

0,05

Tabela 14. Uycie technologii w usugach gosowych Aglomeracje

Uycie technologii

[%]

Tabela 15. Uycie technologii w usugach transmisji danych Aglomeracje

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 23

Uycie technologii

[%]

Orange

Play

Plus

T-Mobile

LTE

0,00

0,00

0,00

0,00

UMTS

98,23

99,07

97,17

97,63

GSM

1,77

0,93

2,83

2,37

Tabela 16. Uycie technologii w usugach gosowych Miasta


Orange
LTE
Uycie technologii

[%]

Play

Plus

T-Mobile

91,21

93,30

97,75

90,55

UMTS

8,76

6,70

2,14

9,32

GSM

0,03

0,00

0,11

0,13

Tabela 17. Uycie technologii w usugach transmisji danych Miasta


Orange
LTE
Uycie technologii

[%]

Play

Plus

T-Mobile

0,00

0,00

0,00

0,00

UMTS

86,28

86,87

90,61

83,51

GSM

13,72

13,12

9,39

16,49

Tabela 18. Uycie technologii w usugach gosowych Drogi


Orange

Uycie technologii

[%]

Play

Plus

T-Mobile

LTE

38,48

52,21

83,10

38,27

UMTS

61,11

47,44

16,27

60,63

0,41

0,35

0,63

1,10

GSM
Tabela 19. Uycie technologii w usugach transmisji danych Drogi

Wysokie uycie LTE dla transmisji danych ma miejsce dla wszystkich typw mierzonych obszarw
i jest szczeglnie dobrze widoczne w sieci Plus. W przypadku usug gosowych dominujca
technologi jest technologia UMTS. Obydwa te fakty maj znaczenie dla analizy wynikw pomiarw
poziomu sygnau radiowego mierzonego przez terminal i jakoci tego sygnau przedstawionych
dla agregacji w tabelach 9-14, 25-30, 153-158 i 1079-1084 w Zaczniku 1 do Raportu. Z punktu
widzenia uycia technologii nie naley porwnywa tych wynikw dla technologii GSM, ktrej uycie
jest szcztkowe.
Uycie i dostpno rnych technologii przez operatorw nie przekada si bezporednio na jako
wiadczonych usug. Na kolejnych stronach zebrano na mapach porwnanie osignitych przez
operatorw wynikw dla kluczowych wskanikw jakoci okrelonych przez UKE. Celem takiej
prezentacji wynikw jest pokazanie dystrybucji jakoci usug na obszarze Polski z rwnoczesnym
zaprezentowaniem porwnania osignitych wskanikw pomidzy operatorami. Ze wzgldu na skal
map i ilo umieszczonych na nich danych nie byo moliwe pokazanie na nich dokadnych wartoci
liczbowych, ktre s dostpne w szczegowych tabelach Zacznika 1. Dla porwnania uyto
wykresw supkowych pokazujcych relacje pomidzy wynikami operatorw.
Urzd Komunikacji Elektronicznej
28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 24

Mapa 3. Porwnanie wskanika CSSR w Aglomeracjach i Miastach

Warto wskanika CSSR jest


na poziomie ponad 99% u
wszystkich operatorw. Takie
wyniki wiadcz o bardzo
wysokiej dostpnoci usug.
Wskanik CSSR ze wzgldu na
wysokie uzyskane wartoci nie
jest wskanikiem rnicujcym
wyniki uzyskane przez
operatorw.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 25

Mapa 4. Porwnanie wskanika DCR w Aglomeracjach i Miastach

Warto wskanika DCR jest na


oglnie niskim poziomie poniej
1%. Mona zaobserwowa w
sieci Plus wysze wartoci tego
wskanika dla Siedlec, Biaej
Podlaskie, Rzeszowa i Pocka.
Play ma wysze wartoci w
Zawierciu, Gogowie, Koninie i
Piotrkowie Trybunalskim.
Orange osign sabsze wyniki
w Zawierciu, Jastrzbiu Zdrj,
Pabianicach, Lesznie i Nowym
Sczu. Dla wskanika DCR
najlepsze wyniki osign TMobile.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 26

Mapa 5. Porwnanie wskanika MOS_PI w Aglomeracjach i Miastach

Warto wskanika MOS_PI


jest na poziomie ponad 99%
u wszystkich operatorw.
Naley zwrci uwag, e
warto wskanika odnosi
si pocze z jakoci
powyej 3 pkt w skali MOS
czyli wartoci zadawalajcej.
Tak zdefiniowany wskanik
nie rnicuje operatorw pod
ktem uzyskanych wynikw.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 27

Mapa 6. Porwnanie wskanika MDR_DL w Aglomeracjach i Miastach

Wyniki dla wskanika


MDR_DL nie s takie
oczywiste jak mona byoby
oczekiwa po analizie uycia
technologii. Pomimo szerszej
dostpnoci technologii i
szerszego bloku czstotliwoci
przewaga Plus nie jest
wyranie zaznaczona i w wielu
miejscach inni operatorzy
osigaj lepsze wyniki.
Korzystajce ze wsplnej sieci
Orange i TMobile uzyskuj
zwykle podobne do siebie
wyniki tam gdzie terminale
testowe korzystay z sieci LTE.
Najnisze rednie wyniki
wskanika MDR_DL
uzyskiwa Play.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 28

Mapa 7. Porwnanie wskanika MDR_UL w Aglomeracjach i Miastach

W przypadku wskanika
MDR_UL przewaga sieci
Plus jest bardziej zauwaalna
i sie tak ma wyniki
relatywnie lepsze ni dla
MDR-DL. Porwnanie
wynikw pozostaych
operatorw wyglda
podobnie jak dla wskanika
MDR-DL.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 29

Mapa 8. Porwnanie wskanika RTT w Aglomeracjach i Miastach

Najdusze rednie czasy


RTT zostay zmierzone
w sieci Play dla wikszoci
miast. Niemniej jednak
wyniki osigane przez
pozostaych operatorw
znacznie poniej 100ms
mona uzna z dobry wynik.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 30

Mapa 9. Porwnanie wskanika IPLR w Aglomeracjach i Miastach

Wyniki dla tego wskanika


ksztatuj si na niskim
poziomie. Zwikszone
wartoci zaobserwowano w
kilku miastach dla sieci Play.
W niektrych miastach na
obszarze GOP podwyszone
wartoci raportowali te
pozostali operatorzy.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 31

Mapa 9. Porwnanie wskanika IPDV w Aglomeracjach i Miastach

Podwyszone wartoci
wskanika IPDV zmierzono
we wszystkich sieciach na
obszarze GOP i wojewdztwa
maopolskiego. W licznych
miejscach najsabsze wyniki
zostay uzyskane przez Play.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 32

Mapa 10. Porwnanie wskanika CST w Aglomeracjach i Miastach

Pomierzone wartoci
wskanika CST ksztatuj si
w wikszoci mierzonych
lokalizacji w okolicach 4s
u wszystkich operatorw.
Wysze wartoci wystpuj
w sieciach Orange i T-Mobile
w wojewdztwach pnocnych
i wschodnich.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 33

Mapa 11. Porwnanie wskanika HST Browsing w Aglomeracjach i Miastach

Pomierzone wartoci
wskanika HST zawieraj si
w wikszoci mierzonych
lokalizacji w okolicach 2-3s
u wszystkich operatorw.
Wskanik HST Browsing jest
to czas w jakim aduje si
kompletna testowa strona
WWW.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 34

Mapa 11. Porwnanie wskanika HSFR Browsing w Aglomeracjach i Miastach

Wskanik nieudanych
(nieukoczonych) sesji HTTP
Browsing ksztatuje si wikszoci
lokalizacji na poziomie niszym od
1%. Najwysze wartoci wskanika
zmierzono w sieci Play. Najlepsze
wyniki uzyskaa siec Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 35

Mapa 12. Porwnanie wskanika HSFR dla FDTT_DL w Aglomeracjach i Miastach

Wskanik nieudanych
(nieukoczonych) sesji
transferu danych DL
w wikszoci lokalizacji jest
na poziomie w 0%.
Najwysze wartoci
wskanika zmierzono w sieci
Play w Gogowie (prawie
67%). Najlepsze wyniki
uzyskaa siec Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 36

Mapa 13. Porwnanie wskanika HSFR dla FDTT_UL w Aglomeracjach i Miastach

Wskanik nieudanych
(nieukoczonych) sesji
transferu danych UL
w wikszoci lokalizacji jest
na poziomie poniej 1%.
Najwysze wartoci wskanika
zmierzono w sieci Play
w Zawierciu (FDTT_DL=30
%). Play osign najsabsze
wyniki dla HSFR FDTT_DL.
Szczeglnie
w wojewdztwach opolskim
i lskim poziom HSFR
FDTT_DL wskaniki
uzyskiwane przez Play s
znacznie gorsze ni u innych
operatorw. Najlepsze wyniki
uzyskaa siec Plus Chocia
w Biaymstoku zarejestrowano
HSFR FDTT_DL=27,8%.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 37

Mapa 14. Porwnanie wskanika YRSD w Aglomeracjach i Miastach

Wskanik YRSD to wskanik


czasu do odtworzenia
pierwszej ramki wideo
z serwisu YuoTube.
W wikszoci testw
uzyskiwano wyniki w okolicy
1,5 sekundy. Kady
z operatorw mia miasta
gdzie zmierzone wartoci
wskanika byy gorsze.
Najczciej w przypadku sieci
Play, ale rwnie w sieci
Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 38

Mapa 15. Porwnanie wskanika YF w Aglomeracjach i Miastach

Wskanik YF to wskanik okrelajcy


jako obrazu wideo poprzez odsetek
testw wideo YouTube gdzie dla
pojedynczego testu suma czasu
zatrzymanego wideo (Freezing Time)
przekracza warto 500ms. Wskanik
mona interpretowa, jako
prawdopodobiestwo, e podczas
wywietlania klipu wideo nastpi
przerwa lub przerwy w wywietlaniu
wideo o cznym czasie duszym ni
500ms. Wyniki operatorw ksztatuj
si w okolicach kilku procent niemniej
jednak w wielu miejscach warto
wskanika bya o wiele wysza
i dochodzca czasami do kilkunastu
procent w przypadku sieci Play i Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 39

Mapa 16. Porwnanie wskanika DHNRT w Aglomeracjach i Miastach

Wskanik DHNRT okrela redni czas


potrzebny na rozwizanie nazwy
domenowej. rednie wartoci uzyskane
przez operatorw zawieraj si
w granicach 200 do 300 ms. W trakcie
pomiarw zmierzono wysze wartoci
w kilku miastach jak to wida na mapie.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 40

Mapa 17. Porwnanie wskanika CSSR na drogach

Warto wskanika CSSR jest na


poziomie ponad 99% u wszystkich
operatorw. Takie wyniki wiadcz o
bardzo wysokiej dostpnoci usug.
Wskanik CSSR ze wzgldu na
wysokie uzyskane wartoci nie jest
wskanikiem rnicujcym wyniki
uzyskane przez operatorw.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 41

Mapa 18. Porwnanie wskanika DCR na drogach

Warto wskanika DCR jest na


oglnie niskim poziomie poniej 1%.
Mona zaobserwowa w sieci Plus
wysze wartoci tego wskanika dla
wojewdztw wschodnich
i centralnych. Play ma wysokie
wartoci w lubuskim,. Orange
osign sabsze wyniki w dzkim,
opolskim, zachodniopomorski
i dolnolskim. Dla wskanika DCR
najlepsze wyniki osign T-Mobile
cho w kujawsko-pomorskim i
pomorski ma wartoci najwysze.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 42

Mapa 19. Porwnanie wskanika MOS_PI na drogach

Warto wskanika MOS_PI jest


na poziomie ponad 99% u wszystkich
operatorw. Naley zwrci uwag,
e warto wskanika odnosi si
pocze z jakoci powyej 3 pkt
w skali MOS czyli wartoci
zadawalajcej. Tak zdefiniowany
wskanik nie rnicuje operatorw
pod ktem uzyskanych wynikw.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 43

Mapa 20. Porwnanie wskanika MDR_DL na drogach

Wyniki dla wskanika MDR_DL nie s


takie oczywiste jak mona byoby
oczekiwa po analizie uycia
technologii. Pomimo szerszej
dostpnoci technologii i szerszego
bloku czstotliwoci przewaga Plus
nie jest wyranie zaznaczona i w wielu
miejscach inni osigaj podobne
wyniki. Najnisze rednie wyniki
wskanika MDR_DL uzyskiwa Play.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 44

Mapa 21. Porwnanie wskanika MDR_UL na drogach

W przypadku wskanika MDR_UL


przewaga sieci Plus jest bardziej
zauwaalna i sie tak ma wyniki
relatywnie lepsze ni dla MDR-DL.
Porwnanie wynikw pozostaych
operatorw wyglda podobnie jak
dla wskanika MDR-DL.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 45

Mapa 22. Porwnanie wskanika RTT na drogach

Najdusze rednie czasy RTT zostay


zmierzone w sieci Orange dla wielu
wojewdztw. W wojewdztwach
wschodnich i centralny najdusze
czasy zmierzono w sieciach Play
i Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 46

Mapa 23. Porwnanie wskanika IPLR na drogach

Najwikszy wskanik utraconych


pakietw osigny sieci Orange i Play.
IPLR dla tych sieci jest najwyszy
w 15 z 16 wojewdztw.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 47

Mapa 24. Porwnanie wskanika IPDV na drogach

Wartoci wskanika IPDV zawieraj


si w przedziale 15 do 65 ms. Jest to
warto wysoka w porwnania
z czasami opnienia i stanowi nawet
30% wartoci RTT. W licznych
miejscach najsabsze wyniki zostay
uzyskane przez T-Mobile.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 48

Mapa 25. Porwnanie wskanika CST na drogach

Pomierzone wartoci wskanika CST


ksztatuj si w wikszoci mierzonych
lokalizacji w okolicach 4s u wszystkich
operatorw. Wysze wartoci
wystpuj w sieciach Orange
i T-Mobile w wojewdztwach
pnocnych i wschodnich.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 49

Mapa 26. Porwnanie wskanika HST Browsing na drogach

Pomierzone wartoci wskanika HST


zawieraj si w wikszoci mierzonych
lokalizacji w okolicach 3-4s
u wszystkich operatorw. Wskanik
HST Browsing jest to czas w jakim
aduje si kompletna testowa strona
WWW.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 50

Mapa 27. Porwnanie wskanika HSFR Browsing na drogach

Wskanik nieudanych
(nieukoczonych) sesji HTTP
Browsing ksztatuje si wikszoci
lokalizacji na poziomie od kilku do
kilkunastu procent. Najwysze wartoci
wskanika zmierzono w sieci Play.
Najlepsze wyniki uzyskaa siec Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 51

Mapa 28. Porwnanie wskanika HSFR dla FDTT_DL na drogach

Wskanik nieudanych
(nieukoczonych) sesji transferu
danych DL w wikszoci lokalizacji
jest na poziomie w okolicach 2-4%.
Najwysze wartoci wskanika
zmierzono w sieci Play w
wojewdztwie podlaskim (prawie
22%). W wojewdztwach pnocnych
i wschodnich podwyszone wartoci
zmierzono w sieci Orange (prawie
12%). Najlepsze wyniki uzyskaa sie
Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 52

Mapa 29. Porwnanie wskanika HSFR dla FDTT_UL na drogach

Wskanik nieudanych
(nieukoczonych) sesji transferu danych
UL w wikszoci wojewdztw jest na
poziomie w okolicach 2-3%. Najwysze
wartoci wskanika nawet powyej
20% zmierzono w sieci Play. Najlepsze
wyniki uzyskaa sie Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 53

Mapa 30. Porwnanie wskanika YRSD na drogach

Wskanik YRSD to wskanik czasu do


odtworzenia pierwszej ramki wideo
z serwisu YuoTube. W wikszoci
testw uzyskiwano wyniki w okolicy
poniej 2 sekund. Gorsze wartoci
wskanika mierzono najczciej
w przypadku sieci Play, ale rwnie
w sieci Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 54

Mapa 31. Porwnanie wskanika YF na drogach

Wskanik YF to wskanik okrelajcy


jako obrazu wideo poprzez odsetek
testw wideo YouTube gdzie dla
pojedynczego testu suma czasu
zatrzymanego wideo (Freezing Time)
przekracza warto 500ms. Wskanik
mona interpretowa, jako
prawdopodobiestwo, e podczas
wywietlania klipu wideo nastpi
przerwa w wywietlaniu wideo. Wyniki
operatorw ksztatuj si w okolicach
kilku procent niemniej jednak w wielu
miejscach warto wskanika bya
o wiele wysza i dochodzca czasami
do kilkunastu procent w przypadku
sieci Plus.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 55

Mapa 32. Porwnanie wskanika DHNRT na drogach

Wskanik DHNRT okrela redni czas


potrzebny na rozwizanie nazwy
domenowej. rednie wartoci uzyskane
przez operatorw zawieraj si
w granicach 200 do 1500 ms. W trakcie
pomiarw najczciej uzyskiwano
wysze wartoci w sieciach Orange
i T-Mobile w wojewdztwach
na zachodzie i poudniu Polski.
Na pnocy Polski wysze wartoci
osigali Play i Orange.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 56

Dokadno pomiarw

Systemics-PAB
PAB w swoich pracach badawczych wykorzystuje oglne statystyczne metody
okrelania dokadnoci
ci pomiarw ze szczeglnym uwzgldnieniem
uwzgl dnieniem dokumentw ETSI np. ETSI
EG 202 057, ETSI TR 100 028-1
028 i ETSI TR 100 028-2. Odnonie
nie zagadnie
zagadnie statystycznych
Systemics-PAB posikuje si publikacjami z zakresu statystyki np. Teoria pomiarw PWN,
H. Szydowski; Niepewno
pomiarw OW
OW PW, J. Arendarski. Systmics-PAB
Systmics
konsultuje si
w przedmiotowych sprawach rwnie
rwnie z pracownikami Instytutu Radioelektroniki i Technik
Tec
Multimedialnych, Wydziau Elektroniki i Technik Informacyjnych Politechniki Warszawska
W analizach statystycznych warto
warto przedziau niepewnoci okrela
si dla zadanego poziomu
ufnoci okrelonego
lonego przez bd
b statystyczny rozkadu. Bdd statystyczny (dla rozkadu
normalnego) jest powizany
zany z odchylenie standardowym rozkadu.
Bdd statystyczny wylicza si mnoc
mno
funkcj odwrotn dystrybuanty rozkadu normalnego
standaryzowanego dla wybranego wysokiego poziomu ufnoci
ufno ci (dla poziomu ufnoci
ufno 0,95 wynosi
ona 1,96) i nieobciony
ony
ony estymator odchylenia standardowego w prbie oraz dzielc
dziel
je
przez pierwiastek z liczebnoci
ci prby:

Gdzie:
bd statystyczny,
funkcja odwrotna dystrybuanty rozkadu normalnego standaryzowanego dla
prawdopodobiestwa

, gdzie jest zaoonym poziomem ufnoci


ci estymacji,

nieobciony
ony estymator odchylenia standardowego w prbie,
liczebno prby.

Urzd Komunikacji Elektronicznej


Elektroniczne

Systemics-PAB Sp. z
o.o.

Typowo okrela si niepewnoci


ci wynikw pomiarw dla poziomu 0,95, rzadziej 0,99 nietypowo
dla 0,995. Wartoci

dla tak zaoonych


zao
poziomw wynosz odpowiednio 1,96 (dla 95%), 2,56

(dla 99%) i 2,81 (dla 99,5%).


Rzeczywiste wyniki pomiarw nie musz
musz mie rozkadu normalnego, ale dla uproszczenia
oblicze przy zaoeniu duej
ej
ej liczby prbek pomiarowych przyjmuje si
si zasady okrelania
bdw
w tak jak dla rozkadu normalnego.
Istotnym elementem organizacji pomiarw jest waciwy
wa
dobr liczebnoci
ci prbek. Musi on by
by
reprezentatywny zarwno w kwestii reprezentacji przestrzennej (trasa pomiarowa) i czasowej
(godziny wykonywania pomiarw) jak rwnie
r
uwzgldnia jak bd
d pomiaru moe
mo wpyn
na interpretacj wynikw.
Dla 95% poziomu ufnoci
ci i rnych
r
wartoci zakadanego bdu uzyskujemy wymagane
wielkoci
ci prby jak w tabelach poniej:
poni

Tabela 20. Liczno prby, a dokadno pomiaru

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 58

Wykonane przez Systemics-PAB iloci testw dla wymaganych agregacji pozwalaj oszacowa,
e bd statystyczny ley w przedziale znaczco poniej 3% bdu statystycznego. W takim
przypadku byo moliwe zapewnienie uzyskania dokadnoci lepszej ni 10% bdu wzgldnego
dla wielkoci, dla ktrym 3% bd statystyczny jest mniejszy ni 10% zmierzonej wartoci
(np. skuteczno pocze, ktra oscyluje w okolicach 97-98%). Nie moliwe ze statystycznego
punktu widzenia byo spenienie wymagania aby bd statystyczny, wzgldny by nie wikszy ni
10%" np. w przypadku czstoci zerwanych pocze. Przy oczekiwanej wartoci tego wskanika
na poziomie poniej 2 % wzgldny bd 10% oznacza 10% od 2% czyli 0,2 %.
Liczby testw w poszczeglnych agregacjach:

Orange

Play

Plus

TMobile

Poczenia gosowe

5 370

5 482

5 390

5 397

Test transferu danych - Download

2 376

2 387

2 420

2 305

Test transferu danych - Upload

2 272

2 295

2 335

2 404

Test opnienia pakietw danych

2 350

2 364

2 408

2 378

Test zmiennoci opnienia

2 262

2 289

2 327

2 302

Test referencyjnej strony WWW

2 259

2 281

2 321

2 297

Test YouTube

2 199

2 181

2 290

2 249

Play

Plus

Tabela 21. Statystyka testw Aglomeracje

Orange

TMobile

Poczenia gosowe

3 751

3 758

3 715

3 766

Test transferu danych - Download

2 018

1 951

2 016

1 889

Test transferu danych - Upload

1 907

1 894

1 927

1 996

Test opnienia pakietw danych

1 981

1 951

2 000

1 974

Test zmiennoci opnienia

1 898

1 888

1 925

1 902

Test referencyjnej strony WWW

1 893

1 882

1 921

1 871

Test YouTube

1 858

1 785

1 879

1 861

Tabela 22. Statystyka testw Miasta

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 59

Orange

Play

Plus

TMobile

Poczenia gosowe

3 205

3 189

3 143

3 237

Test transferu danych - Download

1 699

1 663

1 738

1 605

Test transferu danych - Upload

1 600

1 439

1 662

1 692

Test opnienia pakietw danych

1 650

1 518

1 722

1 650

Test zmiennoci opnienia

1 588

1 394

1 648

1 598

Test referencyjnej strony WWW

1 578

1 378

1 637

1 587

Test YouTube

1 481

1 132

1 539

1 510

Tabela 23. Statystyka testw - Drogi

Podsumowujc Systmics-PAB zapewnia, e dla zrealizowanej licznoci prby dokadno badania


dla poziomu ufnoci 95% z bdem wzgldnym nie wikszym ni 10% dla wskanikw, ktrych
wartoci przyjmuj wzgldnie wysokie wartoci nominalne (zakadany 3% bd statystyczny
nie jest wyszy ni 10% bd wzgldny). Dla wskanikw o maych wartociach zmierzonych
dokadno ta jest z matematycznego punktu widzenia niemoliwa do osignicia ze wzgldu
na ograniczon liczno prby (liczby testw w zamwionym przez UKE czasie badania). Wynika
to z faktu, e bd wzgldny obliczany z wartoci zmierzonej moe wielokrotnie przekracza bd
statystyczny moliwy do osignicia dla zadanej prby pomiarowej.
Przykadowe uzyskane warto przedziau ufnoci (CI Confidence Interval, czyli podwjny bd
statystyczny) dla poziomu ufnoci 95% dla wybranych wskanikw dla caoci pomiarw
potwierdzaj przedstawion powyej tez:

Poczenia gosowe CSSR

Orange

Play

Plus

T-Mobile

Udane prby

Liczba

12 237

12 365

12 123

12 322

Wszystkie prby

Liczba

12 326

12 429

12 248

12 400

Warto rednia CSSR

[%]

99,28

99,49

98,98

99,37

Przedzia ufnoci (CI)

[%]

0,15%

0,13%

0,18%

0,14%

Tabela 24. Dokadno pomiarw - CSSR

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 60

Poczenia gosowe DCR

Orange

Play

Plus

T-Mobile

Zerwane poczenia

Liczba

38

30

89

27

Wszystkie prby

Liczba

12 237

12 365

12 123

12 322

Warto rednia DCR

[%]

0,31

0,24

0,73

0,22

Przedzia ufnoci (CI)

[%]

0,10%

0,09%

0,15%

0,09%

Tabela 25. Dokadno pomiarw - DCR


Poczenia MOS_PI

Orange

Play

Plus

T-Mobile

Prby POLQA >= 3

Liczba

12 171

12 323

11 979

12 271

Wszystkie prby

Liczba

12 326

12 429

12 248

12 400

POLQA MOS_PI

[%]

99,77

99,90

99,54

99,80

Przedzia ufnoci (CI)

[%]

0,20%

0,16%

0,26%

0,18%

Tabela 26. Dokadno pomiarw MOS_PI


Test transmisji danych MDR (DL) 0s 20s

Orange

Play

Plus

T-Mobile

Wszystkie prby

Liczba

5 995

5 730

6 148

5 735

MDR (DL) 0s 20s

[Mb/s]

19,65

12,27

25,15

20,59

Odchylenie standardowe StDev

[Mb/s]

14,31

10,65

18,04

15,22

Przedzia ufnoci (CI)

[Mb/s]

0,3622

0,2758

0,4509

0,3939

Tabela 27. Dokadno pomiarw MDR_DL 0-20


Test transmisji danych MDR (DL) 20s 40s

Orange

Play

Plus

T-Mobile

Wszystkie prby

Liczba

5 995

5 730

6 148

5 735

MDR (DL) 20s 40s

[Mb/s]

19,81

12,64

25,42

20,78

Odchylenie standardowe StDev

[Mb/s]

14,49

11,08

18,76

15,11

Przedzia ufnoci (CI)

[Mb/s]

0,3668

0,2869

0,4689

0,3911

Tabela 28. Dokadno pomiarw MDR_DL 20-40


Test transmisji danych MDR (DL) 40s 60s

Orange

Play

Plus

T-Mobile

Wszystkie prby

Liczba

5 995

5 730

6 148

5 735

MDR (DL) 40s 60s

[Mb/s]

19,70

12,71

25,08

20,60

Odchylenie standardowe StDev

[Mb/s]

21,66

10,92

18,56

15,26

Przedzia ufnoci (CI)

[Mb/s]

0,5483

0,2827

0,4639

0,3950

Tabela 29. Dokadno pomiarw MDR_DL 40-60

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 61

Czas opnienia RTT


Wszystkie prby

Orange

Play

Plus

T-Mobile

Liczba

12 171

12 323

11 979

12 271

RTT

[ms]

97,70

129,45

105,54

93,66

Odchylenie standardowe StDev

[ms]

121,62

108,39

119,26

114,48

Przedzia ufnoci (CI)

[ms]

2,1607

1,9138

2,1357

2,0256

Tabela 30. Dokadno pomiarw RTT

Wskanik bdw HSFR (DL)

Orange

Play

Plus

T-Mobile

Bdne prby

Liczba

98

271

26

64

Wszystkie prby

Liczba

6 093

6 001

6 174

5 799

HSFR (DL)

[%]

1,61

4,52

0,42

1,10

Przedzia ufnoci (CI)

[%]

0,32%

0,53%

0,17%

0,27%

Tabela 31. Dokadno pomiarw HSFR_DL

Wskaniki takie jak CSSR i MOS_PI, dla ktrych zmierzone wartoci rednie s zblione
do 100% posiadaj przedzia ufnoci zapewaniajcy bd wzgldny duo mniejszy ni 10%.
Wskaniki typu HSFR i DCR maj niskie wartoci zmierzone i przy zadanej prbie osignicie
dokadnoci lepszej ni 10% bdu wzgldnego nie byo moliwe.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics-PAB Sp. z o. o.
str. 62

Podsumowanie wynikw badania

Przeprowadzone badanie jest jak do tej pory najszerszym badaniem jakoci


jakoci usug wiadczonych
przez operatorw mobilnych sieci telekomunikacyjnych w Polsce. W cigu
cigu trzech tygodni grudnia
2015 roku wykonano pomiary we wszystkich miejscowociach
miejscowo
powyej
ej 50 tysicy
tysi
mieszkacw
i na drogach zarwno lokalnych jak i krajowych czcych

ych te miejscowoci.
miejscowo W trakcie testw
pokonano 20150 km tras pomiarowych i spdzono
sp
87 godzin prowadzc
c testy stacjonarne.
Badanie dotyczyo zarwno usug gosowych jak i usug transmisji danych, a take
tak wykonawca
dodatkowo wykona testy sieci
sie
przy uyciu aplikacji do przegldania
przegl
stron WWW
i do odtwarzania treci
ci wideo z serwisu YouTube.
Uzyskane wyniki badania pokazuj
pokazuj oglny wysoki poziom wiadczonych usug. Wartoci
Warto
wskanikw badania jakoci
ci usug gosowych wiadcz o wysokiej dostpnoci
dost
tych usug
w sieciach, krtkim czasie nawizania
nawi
pocznia
cznia i niskim prawdopodobiestwie
prawdopodobie
przerwania
rozmowy.

Wykres 1. Porwnanie operatorw dla wskanika


wska
CSSR za ca Polsk

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 63

Wykres 2. Porwnanie operatorw dla wskanika


wska
DCR za ca Polsk

Wykres 3. Porwnanie operatorw dla wskanika


wska
CST za ca Polsk

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 64

Warto wskanika
nika MOS_PI jest na poziomie ponad 99% u wszystkich operatorw. Naley
Nale
zwrci uwag, e warto
wskanika
wska
odnosi si pocze z jakoci powyej
powy 3 pkt w skali MOS
czyli wartoci zadawalajcej.
cej. Tak zdefiniowany wskanik
wska
nie rnicuje
nicuje operatorw pod ktem
k
uzyskanych wynikw. Naleaoby
aoby zastanowi
zastanowi si nad przyjciem wyszej
szej wartoci
warto
progowej
ze wzgldu
du na fakt stosowania przez operatorw kodekw
kodekw super szerokopasmowych, ktre
przenosz poziom rywalizacji pomidzy
pomi dzy operatorami na poziom co najmniej 3,5-3,6
3,5
oceniany
jako dobry.

Wykres 4. Porwnanie operatorw dla wskanika


wska
MOS_PI za ca Polsk

Wykres 4a. Porwnanie operatorw dla wskanika


wska
MOS_PI za ca Polsk dla wyszych
szych wartoci
warto MOS

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 65

Wartoci wskanikw
nikw dla usug transmisji danych

s na wysokim poziomie i pozwalaj


pozwalaj

swobodnie korzysta z usug i aplikacji wykorzystujcych


wykorzystuj
transmisj danych. Wskaniki
Wska
jakoci
usug transmisji danych byy bardziej zrnicowane pomidzy
dzy operatorami co wynika
bezporednio ze stanu wdroenia
enia LTE i posiadanych zasobw czstotliwo
czstotliwociowych. Sie Plus
wykorzystuje technologi LTE w szerszym zakresie ni
ni inni operatorzy szczeglnie na obszarach
pomidzy miastami. Naley
y zwrci
zwrci uwag na duyy odsetek nieudanych sesji transmisji danych
w sieci Play.

Wykres 5. Porwnanie operatorw dla wskanikw


wska
MDR DL i UL za ca Polsk

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 66

Wykres 6. Porwnanie operatorw dla wskanikw


wska
HSFR DL za ca Polsk

Wykres 6. Porwnanie operatorw dla wskanika


wska
HSFR UL za ca Polsk

W uzupenieniu testw pocze


cze gosowych i transmisji danych wykonano testy sieci przy uyciu
u
aplikacji do przegldania
dania stron WWW i do odtwarzania treci
tre ci wideo z serwisu YouTube.

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 67

Wykres 7. Porwnanie operatorw dla wskanika


wska
HSFR Browsing za ca Polsk

Wykres 8. Porwnanie operatorw dla wskanika


wska
opnienia RTT za ca Polsk

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 68

Wykres 9. Porwnanie operatorw dla wskanika


wska
utraty pakietw IPLR za ca Polsk

Wykres 10. Porwnanie operatorw dla wskanika


wska
rozpoczcia
cia odtwarzania klipw z YouTube YRSD za ca
ca Polsk

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 69

Wykres 11. Porwnanie operatorw dla wskanika


wska
degradacji jakoci
ci klipw z YouTube YF za ca
ca Polsk

10

Zaczniki
czniki

Integralna czci raportu s nastpujce


nastpuj
zaczniki:
Zacznik 1 Dane tabelaryczne z pomiarw waciwych
Zacznik 2 Dane tabelaryczne z pomiarw referencyjnych
Zacznik 3 Lista mierzonych wskanikw
wska
i ich definicje
Zacznik 4 Dane tabelaryczne testy 60s i poziomy MOS pomiary waciwe
Zacznik 5 Dane tabelaryczne testy 60s i poziomy MOS pomiary referencyjne
Zacznik 6 Szczegowy zrealizowany harmonogram pomiarw
Zacznik 7 Specyfikacja systemu pomiarowego

Urzd Komunikacji Elektronicznej


28 grudnia 2015

Systemics
Systemics-PAB
Sp. z o. o.
str. 70

You might also like