Projecte

General

Perfil

Actions

Especificacions de proves de validació » Historial » Revisió 22

« Anterior | Revisió 22/41 (diferencies) | Següent »
Victor Oncins, 05-03-2012 14:44


Proves per alliberar release de producció (Esborrany)

L'objecte de les proves prèvies d'alliberament de release és avaluar la release considerada de preproducció i obtenir mesures de rendiment. Aquests aspectes són important per tal de d'obtenir informació de les limitacions del firmware desenvolupat i permetre que les futures iteracions del desenvolupament incorporin modificacions i millores concretes.

Tot seguit definirem un grup de proves i un d'escenaris. Una prova és un procediment pel qual es mesura un conjunt d'un o més paràmetres relatius al funcionament de la release. El resultat d'aquesta mesura serà tant quantitatiu com sigui possible. En general hi hauran proves de rendiment i proves de qualitat. Una prova de rendiment és aquella que el/els paràmetres avaluats tans sols seran emprats per conèixer els límits operatius del firmware. Per exemple, una prova pot ser la mesura de la capacitat dels enllaços ràdio de la malla de nodes QM.

Una prova de qualitat és aquella en que el/els paràmetres avaluats seran comparats amb valors de referència sota cert criteri. Les proves de qualitat permetran saber si la release supera o no el llindar de qualitat fixat. Per exemple, una prova de qualitat és avaluar si una xarxa QM permet l'establiment de N-protocols de capa d'aplicació o de transport (P2P,...) des de la LAN de hosts (clients). En funció del resultat la prova es supera o no.

D'altra banda un escenari és un certa disposició de nodes sobre els quals s'hi aplica un conjunt de proves. Podem considerar que un escenari és un conjunt de proves contextualitzades i per tant, aportaria més informació que l'avaluació de proves aïllades.

Proves proposades

Tot seguit descrivim algunes de les proves bàsiques referenciades amb la notació Pn, on n és un enter 0,1,2,3...

Ref: P0
Títol: Sense especificar
Descripció: Sense determinar

Ref: P1
Títol: Capacitat mesh entre dos nodes QM
Descripció: Avaluació de l'ample de banda disponible entre dos nodes QM. El resultat de la prova haurà de donar com a mínim el valor de la màxima transferència TCP amb diferents mides de paquets (a determinar). Si és possible hauria d'incloure també la màxima transferència UDP amb diferents mides de paquets. Com a eina de mesura pot ser emprat netperf.

Ref: P2
Títol: Temps de reencaminament intern
Descripció: Considerem dos nodes QM client (CN) entre els quals és possible l'encaminament per camí redundant. Caldrà avaluar el temps que es triga en restablir la connectivitat de capa de xarxa en cas que un dels nodes perdi l'enllaç amb el qual transmet o rep els paquets. Una possible metodologia pot ser la de considerar que una connexió és restablerta sii el ping cap a la IPv4 del node és restablert i per tant, aquest temps es pot mesurar com el temps de restabliment de ping.

Ref: P3
Títol: Temps de reencaminament extern
Descripció: Considerem una xarxa QM amb dos nodes gateway (GN) i com a mínim un CN amb el qual hi haurà encaminament redundant. El node CN ha triat el gateway GN1 per encaminar els paquets a Internet. Un host intern situat a CN estableix una connexió amb un host d'Internet. Mesurar el temps mínim que trigaria el host intern a restablir la connexió amb el host d'Internet en cas d'absència d'anunci de disponibilitat d'Internet de GN1 (per exemple, desconnexió de l'enllaç amb Inet o desconnexió total de GN1 de la xarxa).

Ref: P4
Títol: Establiment de sessions típiques
Descripció: Donat un CN integrat a una xarxa QM i amb un host connectat, provar el correcte establiment de sessions amb servidors/hosts d'Internet amb el protocols de capa d'aplicació i de transport següents: P2P, POP, SMTP,(altres de correu), FTP, ToIP (SIP, multimèdia), HTTP, HTTPS, SSL, (més...)

Ref: P5
Títol: Ubiqüitat del mode "roaming"
Descripció: En una configuració típica de xarxa QM tots els nodes tenen una accés sense-fils pels hosts clients en mode gestionat (AP). Aquest accés està configurat amb un mateix SSID. L'objectiu és permetre la ubiqüitat de la connexió (no de la mobilitat). És a dir, un host client pot vincular-se a qualsevol AP sense necessitat que l'usuari es registri sota un nou SSID. Comprovar doncs que un host client es connecti correctament sota un SSID[falta estudiar millor el mecanisme de d'associació per SSID en presència de 2 AP amb el mateix SSID i mateix/diferent canal]

Ref: P6
Títol: Gestió d'interfícies a través de LuCi
Descripció: Aquesta prova té com objectiu avaluar si les modificacions dels rols vinculats a les interfícies de xarxa des de la URL /cgi-bin/luci/qmp/network/ tenen l'efecte desitjat. Considerem tres tipus d'interfícies, les quals només poden tenir determinats rols:

  1. 802.3 (C) :: LAN, WAN i VOID
  2. 802.11@5GHz (W5) :: MESH i VOID
  3. 802.11@2,4GHz (W24) :: LAN i VOID

La prova cal fer-la sobre un node amb disposició de connectar directament a Internet. La taula següent conté els resultats esperats en funció de la combinació de rols

Rols possibles Resultats esperats
C W5 W24 br-lan DHCP server DHCP client BMX6 OLSR Internet Splash
VOID VOID LAN W24 SI NO NO NO NO NO
VOID MESH VOID W24 SI NO SI SI NO NO
VOID MESH LAN W24 NO NO SI SI NO NO
LAN VOID VOID C SI NO NO NO NO NO
LAN VOID LAN C,W24 SI NO NO NO NO NO
LAN MESH VOID C SI NO SI SI NO NO
LAN MESH LAN C,W24 SI NO SI SI NO NO
WAN VOID VOID VOID NO SI NO NO NO NO
WAN VOID LAN W24 SI SI NO NO SI SI
WAN MESH VOID VOID NO SI SI SI NO NO
WAN MESH LAN W24 SI SI SI SI SI SI

SI : és requerit que el servei funcioni. NO : no és requerit que el servei funcioni.

Actualitzat per Victor Oncins fa aproximadament 12 anys · 22 revisions