Testausdata toiminnallisen testauksen muihin TeX-makroihin
Tämä on testauskerran testausdataa!
1 Testauskerran kohde, tavoitteet ja suoritustavat
Testauskerta kohdistuu Jyväskylän yliopiston käyttämään TIM-oppimisympäristön LaTeX-tulostusominaisuuteen. Dokumentin laatijan on mahdollista muotoilla dokumentin LaTeX-tulostusasetukset käyttäen texmakroja. Nämä tulostusasetukset ovat voimassa kaikille muille dokumentin käyttäjille. Testauskerralla varmistetaan yleisimpien TIM-dokumentin runko-osaan liittyvien texmakrojen toiminnallisuus ja oikea vaikutus tulosteeseen.
1.1 Testauskohde
Taulukko 1. Testattavat texmakrot:
| Nimi | Kuvaus | Huomioitavaa |
|---|---|---|
| texfontsize | tulostuksen fonttikoko | |
| texside | yksi- / kaksipuolinen tulostus | |
| texdocumentclass | dokumentin muotoiluasetukset: {artikkeli, kirja, raportti} | |
| texautonumber | otsikoiden automaattinen numerointi tulostuksessa | testataan dokumentin rungon osalta |
| texmargins | tulostusmarginaalien asetukset | |
| texfancyfooter | alatunnisteen asetukset |
1.2 Tavoitteet
Testauksen tavoitteena on löytää texmakroihin liittyvät toiminnalliset virheet sekä tehdä huomioita toiminnallisen laadun parantamiseksi. Hyväksytyn testauksen päämääränä on todeta testattavien texmakrojen soveltuvan tuotantokäyttöön.
1.3 Suoritustavat
Testaus suoritetaan hyväksymistestauksena opettajan näkökulmasta. Opettaja on LaTeX-tulostusasetuksien keskeiseen kohderyhmään kuuluva henkilö ja tyypillinen dokumentin laatija, jolloin hänellä on muokkausoikeudet LaTeX-tulostusasetuksiin. Testaus suoritetaan edellä määritellyille makroille toiminnallisena mustalaatikkotestauksena käyttäen testausdokumenttina /
-syötteenä testaussuunnitelman TIM-dokumenttia. Näin ollen testitapauksien tuloksena saatujen tulosteiden avulla varmistetaan hyväksymistestauksen näkökulmasta riittävällä tarkkuudella makrojen toiminta.
Testitapausten valinnassa käytetään texmakrojen asetettavien parametrien arvojen jakoa ekvivalenssiluokkiin. Kelvollisista parametreista testataan kaikki, sillä niitä on rajallinen joukko ja ne ovat täten testattavissa kattavasti. Kelvottomat parametrien arvot on jaettu seuraaviin ekvivalenssiluokkiin: 1
Kelvottomat:
- Virheellinen parametrin arvo testitapauksesta riippuen
- texmacro x (x = kelvollinen parametrin arvo ilman kaksoipistettä)
- texmacro: x (x >= 0) 2
- texmacro: x (x < 0)
- texmacro x (x = kelvollinen parametrin arvo ilman kaksoipistettä)
- Tyhjät
- texmacro: (ilman parametrin arvoa) 3
Ekvivalenssiluokkia sovelletaan testitapauksiin soveltuvilta osin, testitapauksesta riippuen.
Huomiot:
1. Ohjaajan kanssa keskustelun tuloksena ekvivalenssiluokkien määrä on rajattu harjoitustyössä tarkoituksella pieneksi, jotta työmäärä ei kasva liian suureksi. Täten testikattavuutuus ei täyty täysin.
2. Testi kattaa myös tyhjän joukon (välilyönnin).
3. Ekvivalenssiluokka testaa tyhjän (null) arvon. Testaaja ei syötä parametrille mitään arvoa.
1.4 Testauksen ulkopuolelle rajatut ominaisuudet
Testauksen ulkopuolelle rajataan kansilehteen sekä sisällysluetteloon liittyvät texmakrot testauksen keskittyen varsinaista dokumenttia koskeviin texmakroihin.
Näiden lisäksi testauksen ulkopuolelle rajataan mukautettu alatunniste, joka otetaan käyttöön parametrilla "texfancyfooter: 2", sillä texfancyfooterstyle ei sisälly testitapauksiin testausmäärän rajoittamisesta johtuen.
Texmacro texmargins testataan käyttäen oletusasetusten mukaista paperikokoa A4 (210 x 297 mm). Muut paperikoot rajataan testauksen ulkopuolelle testausmäärän rajoittamisesta johtuen.
Testauksen ulkopuolelle rajataan myös liitännäiset, sillä niiden tulostusasetukset määritellään itse liitännäisen konfiguraatiossa, ei yleisissä tulostusasetuksissa.
2 Testausympäristö
- Ohjelmisto ja versio: TIM-oppimisympäristö, huomio 1
- Käyttöjärjestelmä ja versio: huomio 2
- WWW-selain ja versio: huomio 2
- Laitekokoonpano: huomio 2
- Testausympäristön testauspalvelin osoitteessa: https://tim.jyu.fi
- Testauksen suorituspaikka: huomio 3
- Testausdata: https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testausdata/Testausdata_toiminnallinen_muut_texmakrot
Huomiot:
1. Testaus suoritetaan TIM-oppimisympäristönn uusimpaan julkaistuun versioon. Järjestelmän viimeisin muutospäivämäärä kirjataan testausraporttiin.
2. Laitteisto määritellään testaajan laitteistokokoonpanon mukaan. Laitteisto kirjataan testausraporttiin
3. Testauksen suorituspaikka valitaan testausajankohdan mukaisesti. Paikka kirjataan testausraporttiin.
Testausympäristön pystyttämistä varten tarvitaan yllämainittu laitteisto, WWW-selain sekä toimiva verkkoyhteys TIM-oppimisympäristön palvelimelle kirjautumista varten.
3 Testauskerran suorituksen kuvaus
Testaajalta vaaditaan perustaidot tietokoneen käytöstä. Testaajalta ei vaadita ohjelmointitaitoja eikä aiempaa kokemusta TIM-oppimisympäristöstä.
3.1 Testauskerran yksilöintiedot
Testauksesta laaditaan erillinen testausraportti. Testausraporttiin kirjataan testausympäristöstä ja ohjelmistosta kaikki kappaleessa 2 esitetyt tiedot. Lisäksi testauskerran yksilöintitietoihin kirjataan:
- Testaussuunnitelma ja versio: TIM-oppimisympäristön LaTeX-tulostusominaisuuden muiden tulostusmakrojen toiminnallisuuden hyväksymistestauksen testaussuunnitelma, versio 1.0.0
- Testauksen suorittajat: Kyyhkynen Sami, Shenouda Khalil Kiril
- Testauksen suoritusajankohta: 18.12.2017 - 14.1.2018 välillä, huomio 1
Huomiot:
1. Testaus suoritetaan testaajan määrittelemänä ajankohtana. Ajankohta kirjataan testausraporttiin.
3.2 Testauskerran yhteenvetotiedot ja suositukset
Testausraporttiin kirjataan seuraavat testauskerran yhteenvetotiedot:
| Yhteenvetotiedot | Kappalemäärä |
|---|---|
| Testitapauksia suoritettu: | |
| Testitapauksia suorittamatta: | |
| Testitapauksia yhteensä: | |
| xxx | |
| Johtopäätöksissä OK: | |
| Johtopäätöksissä huomioita: | |
| Johtopäätöksissä virheitä: | |
| Johtopäätöksissä puutteita: | |
| Johtopäätöksiä yhteensä: | |
| Johtopäätöksissä ei suoritettu: | |
| xxx | |
| xxx | Hyväksyntä: |
| Testauskerran johtopäätös: | Hyväksytty / Hylätty |
Testauskerta on suoritettu, kun kaikki testitapaukset on käyty läpi, joko hyväksytysti tai siten, että niihin on kirjattu vian kuvaus tai syy, miksi testiä ei voida suorittaa, mahdollisten jatkotoimenpiteiden varalle. Testausraporttiin kirjataan mahdolliset suositukset. Yleisesti korjausten jälkeen suositellaan uuden testauskerran järjestämistä ja korjatun testitapauksen uusintatestausta.
3.3 Testitapausten johtopäätökset
Testausraporttiin raportoidaan jokaisesta testitapauksesta vähintään seuraavat tiedot:
| Testitapauksen nro | OK / Virhe / Puute / Huomio / Ei suoritettu | Kuvaus |
|---|---|---|
| 1.1 | ||
| ... |
Virheen, puutteen, suorittamatta jättämisen tai muun huomion kohdalla testausraportin kuvaus sarakkeeseen kuvataan suorittamatta jättämisen syy tai itse ongelma, käytetty syöte, suoritetut toimenpiteet, saadut vasteet, mahdolliset virheilmoitukset sekä muut ongelman kannalta oleelliset asiat. Tarvittaessa kuvauksesta tehdään uusi liitetiedosto testausraportin liitteeksi. Ongelman kannalta oleelliset kuvakaappaukset tai PDF-tiedostot liitetään testausraportin liitteeksi.
Virhe ja puute johtavat testitapauksen hylkäämiseen.
4 Testitapausten kuvaus
4.1 Testitapauksen lähtötila
Jokaisen testitapauksen lähtötila on se, että kaikkien texmakrojen asetukset ovat oletusasetuksilla, ellei taukossa 4 ole muuta määritelty.
Oletusasetukset on esitetty alla olevassa dokumentissa:
https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/kayttoohje#tulostusasetuksien-muokkaaminen
4.2 Testitapauksen vaste
Testitapauksen vaste on PDF-tiedosto. Varsinaista tulostimelle ohjautuvaa tulostusta ei tehdä, joten tulosteeseen viitattaessa tarkoitetaan PDF-tiedostoa.
Testitapauksen vasteena saatua PDF-tiedostoa verrataan kappaleen 4.3 taulukkoon 4. Testitapauksen hyväksymisen edellytyksenä on, että testitapauksen vasteena saadun PDF-tiedoston tila vastaa taulukon 4 hyväksymiskriteeriä. Mahdolliset vähäiset puutteet tai muut huomiot eivät ole este hyväksymiselle, mutta ne kirjataan testiraporttiin.
4.3 Testipolku ja testitapaukset
Testitapauksissa noudatetaan seuraavaa testipolkua. Suoritettavat testitapaukset on esitetty taulukossa 4.
Syötedokumenttina käytetään kappaleessa 2 esitettyä dokumenttia.
Testauksen kulku:
- Testaaja kirjautuu tunnuksillaan TIM-oppimisympäristöön.
- Testaaja avaa testausdatan mukaisen syötedokumentin selaimeen.
- Testaaja avaa texmakrojen asetusikkunan alla olevan kuvan 1 mukaisesti, painamalla kuvan osoittamia valintapainikkeita 1 - 3 kyseisessä järjestyksessä.
- Testitapauksessa määriteltävä parametri arvoineen on esitetty taulukon 4 testitapaus-sarakkeessa. Parametrit syötetään kuvan 1 osoittamaan kenttään 4.
- Testitapaukset suoritetaan yksi kerrallaan siten, että muissa texmakroissa on käytössä oletusasetukset. Testitapauksen mukaisten asetusten määrittelyn jälkeen testataan asetusten vaste tulostamalla dokumentti PDF-muotoon kuvan 2 mukaisesti. Painikkeita operoidaan kuvan osoittamassa järjestyksessä 1 - 4.
- Testitapauksesta saatua vastetta verrataan taulukon 4 hyväksymiskriteeriin.
| Nro | Makro | Testitapaus | Hyväksymiskriteerit | Huomautukset |
|---|---|---|---|---|
| 1.1 | texfontsize | texfontsize: 8pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.2 | texfontsize | texfontsize: 9pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.3 | texfontsize | texfontsize: 10pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.4 | texfontsize | texfontsize: 11pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.5 | texfontsize | texfontsize: 12pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.6 | texfontsize | texfontsize: 14pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.7 | texfontsize | texfontsize: 17pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.8 | texfontsize | texfontsize: 20pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.9 | texfontsize | texfontsize: 6pt | Järjestelmä selviää virheestä 1 | |
| 1.10 | texfontsize | texfontsize: 0pt | Järjestelmä selviää virheestä 1 | |
| 1.11 | texfontsize | texfontsize: -1pt | Järjestelmä selviää virheestä 1 | |
| 1.12 | texfontsize | texfontsize: | Järjestelmä selviää virheestä 1 | |
| 1.13 | texfontsize | texfontsize 12pt | Järjestelmä selviää virheestä 1 | |
| 2.1 | texside | texside: 'oneside' | Tulosdokumentti tulostuu yksipuoleisena (marginaalit samat parillisilla ja parittomilla sivuilla) | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.2 | texside | texside: 'twoside' | Tulosdokumentti tulostuu kaksipuoleisena (vasen ja oikea marginaali vaihtelee parillisilla ja parittomilla sivuilla) | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.3 | texside | texside: 'side' | Järjestelmä selviää virheestä 1 | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.4 | texside | texside: | Järjestelmä selviää virheestä 1 | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.5 | texside | texside 'oneside' | Järjestelmä selviää virheestä 1 | |
| 3.1 | texdocumentclass | texdocumentclass: 'extarticle' | Tulosdokumentti tulostuu artikkeli-muotoisena | |
| 3.2 | texdocumentclass | texdocumentclass: 'extbook' | Tulosdokumentti tulostuu kirja-muotoisena | |
| 3.3 | texdocumentclass | texdocumentclass: 'extreport' | Tulosdokumentti tulostuu raportti-muotoisena | |
| 3.4 | texdocumentclass | texdocumentclass: 'extarcle' | Järjestelmä selviää virheestä 1 | |
| 3.5 | texdocumentclass | texdocumentclass: | Järjestelmä selviää virheestä 1 | |
| 3.6 | texdocumentclass | texdocumentclass 'extarticle' | Järjestelmä selviää virheestä 1 | |
| 4.1 | texautonumber | texautonumber: 0 | Tulosdokumentin runko tulostuu ilman automaattista otsikkonumerointia | |
| 4.2 | texautonumber | texautonumber: 1 | Tulosdokumentin runko tulostuu automaattisella otsikkonumeroinnilla | |
| 4.3 | texautonumber | texautonumber: 2 | Järjestelmä selviää virheestä 1 | |
| 4.4 | texautonumber | texautonumber: 'yes' | Järjestelmä selviää virheestä 1 | |
| 4.5 | texautonumber | texautonumber: | Järjestelmä selviää virheestä 1 | |
| 4.6 | texautonumber | texautonumber: -1 | Järjestelmä selviää virheestä 1 | |
| 4.7 | texautonumber | texautonumber 1 | Järjestelmä selviää virheestä 1 | |
| 5.1 | texmargins | texmargins: 'left=20mm, right=20mm, top=20mm, bottom=20mm' | Tulosdokumentin marginaalit testitapauksen mukaiset | |
| 5.2 | texmargins | texmargins: 'left=0mm, right=0mm, top=0mm, bottom=0mm' | Tulosdokumentin marginaalit testitapauksen mukaiset | |
| 5.3 | texmargins | texmargins: 'left=-1mm, right=-1mm, top=-1mm, bottom=-1mm' | Järjestelmä selviää virheestä 1 | |
| 5.4 | texmargins | texmargins: 'left=215mm, right=10mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.5 | texmargins | texmargins: 'left=10mm, right=215mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.6 | texmargins | texmargins: 'left=20mm, right=20mm, top=298mm, bottom=10mm' | Järjestelmä selviää virheestä 1 | |
| 5.7 | texmargins | texmargins: 'left=20mm, right=20mm, top=10mm, bottom=298mm' | Järjestelmä selviää virheestä 1 | |
| 5.8 | texmargins | texmargins: 'left=215mm, right=215mm, top=298mm, bottom=298mm' | Järjestelmä selviää virheestä 1 | |
| 5.9 | texmargins | texmargins: 'right=20mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.10 | texmargins | texmargins: 'left=10mm, right=20mm, top=20mm, bottom=20mm' | Tulosdokumentin marginaalit testitapauksen mukaiset. Vasen ja oikea marginaali vaihtelevat joka toisella sivulla | |
| 5.11 | texmargins | texmargins: 'left=20em, right=20em, top=20em, bottom=20em' | Järjestelmä selviää virheestä 1 | |
| 5.12 | texmargins | texmargins: 'left=20inch, right=20inch, top=20inch, bottom=20inch' | Järjestelmä selviää virheestä 1 | |
| 5.13 | texmargins | texmargins: | Järjestelmä selviää virheestä 1 | |
| 5.14 | texmargins | texmargins 'left=20mm, right=20mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 6.1 | texfancyfooter | texfancyfooter: 0 | Tulosdokumentin alatunnisteessa sivunumero | |
| 6.2 | texfancyfooter | texfancyfooter: 1 | Tulosdokumentin alatunnisteessa joka toisella sivulla sivunumero & teoksen nimi ja joka toisella sivunumero & luvun nimi | |
| 6.3 | texfancyfooter | texfancyfooter: 3 | Järjestelmä selviää virheestä 1 | |
| 6.4 | texfancyfooter | texfancyfooter: | Järjestelmä selviää virheestä 1 | |
| 6.5 | texfancyfooter | texfancyfooter: -1 | Järjestelmä selviää virheestä 1 | |
| 6.6 | texfancyfooter | texfancyfooter 0 | Järjestelmä selviää virheestä 1 | |
| 7.1 | virheen testaus 2 | thisSettingDoesNotExist: 1 | Järjestelmä selviää virheestä 1 |
Huomiot:
1. Vaatimusmäärittelyiden puuttesta johtuen testitapauksen parametrin virheellisen arvon odotetettua vastetta ei ole tiedossa. Täten näissä testitapauksissa käytetään odotettuna vasteena järjestelmä selviää virheestä hyväksymiskriteeriä. järjestelmä selviää virheestä, jos se ei kaadu, antaa virheilmoituksen tai käyttää virheellisen asetuksen sijaan mahdollisia oletusasetuksia. Hyväksyminen arvioidaan tapauskohtaisesti ja tarpeelliset huomiot kirjataan johtopäätöksiin.
2. Testi kattaa kaikkien testattavien makrojen nimien kirjoitusvirheet. Se ei testaa virheellistä parametrin arvoa.
These are the current permissions for this document; please modify if needed. You can always modify these permissions from the manage page.