FOP4-ryhmä,

testausraportti,
TIM-oppimisympäristön
LaTeX-tulostusominaisuuden
toiminnallinen hyväksymistestaus
ohjeita vasten

Ryhmä: FOP4
Laatija: Sami Kyyhkynen (kyyhkynen.sami@gmail.com)
Julkisuustaso: Julkinen
Päivämäärä: 22.1.2018
Versio: 0.1.0
Opintojakso: TIES546 Ohjelmistotestaus
Organisaatio: Jyväskylän yliopisto, Informaatioteknologian tiedekunta

1 Testauskerran kohteet, tavoitteet ja suoritustavat

Testausprojektissa testattiin Jyväskylän yliopiston vuorovaikutteisen oppimisympäristön TIM:in LaTeX-pohjaista tulostusta. Testauskerralla suoritettiin LaTeX-tulostuksen tulostusohjeisiin perustuva toiminnallinen testaus, jonka tavoitteena oli löytää mahdolliset virheet ja ristiriidat tulostusohjeissa sekä sovelluksen toiminnassa ja esittää mahdollisia suosituksia sovelluksen ja tulostusohjeiden toimivuuden parantamiseksi. Sovelluksen oikeellisen toiminnan todentaminen tulostusohjeiden perusteella tarkoittaa, että tulostusohjeiden on oltava yksiselitteiset ja käytettävyydeltään sillä tasolla, että sovelluksen toiminta on todettavissa. Tämän johdosta testauskerralta on raportoitu toiminnallisten virheiden lisäksi selkeitä käytettävyyteen liittyviä epäkohtia. Nämä epäkohdat on raportoitu huomioina, joten tämän testauskerran osalta ne eivät aiheuta välittömiä vaateita jatkotoimenpiteistä. Näiden käytettävyyteen liittyvien huomioiden tavoite on kuitenkin tuoda tietoisuuteen kaikki havaitut ongelmat liittyen sovelluksen ja tulostusohjeiden laatuun. Varsinaisesti testauskerta keskittyi toiminnalliseen testaamiseen, joten käytettävyyteen liittyvät huomiot eivät korvaa erillistä käytettävyystestausta.

Testauskerta suoritettiin asiantuntijan suorittamana hyväksymistestauksena tulostajan näkökulmasta.

2 Testaajan tietotaidot

Testaajaksi valikoituneella henkilöllä oli tietokoneen ja WWW-selaimen vaaditut käyttötaidot. Testaajalla oli kokemusta TIM-oppimisympäristön käyttämisestä sekä tulostusominaisuuden käytöstä. Näiden lisäksi testaajalla oli vaadittava kokemus testauskerran suorittamiseksi. Testauskerran suorittaneen asiantuntijan taustatietolomake on esitetty liitteessä 1.

3 Testauskerran yksilöintitiedot

Testauskerran yksilöintitiedot on kuvattu alla olevaan listaan:

• Ohjelmisto ja versio: TIM-oppimisympäristö, päivitetty 15.1.2018
  
• Laitekokoonpano: Lenovo Thinkpad E540 i7 -kannettava tietokone
  
• Käyttöjärjestelmä ja versio: Windows 10 Professional
  
• WWW-selain ja versio: Google Chrome Version 63.0.3239.132 (Official Build) (64-bit)
  
• Testausympäristön testauspalvelin osoitteessa: https://tim.jyu.fi
• Testaussuunnitelma ja versio: TIM-järjestelmän LaTeX-tulostusominaisuus, käyttöohjeita hyödyntävän toiminnallisen testauksen testaussuunnitelma, versio 1.1.0 [3]
  
• Testauskerran suorittaja: Sami Kyyhkynen
  
• Testauksen suoritusajankohta: 22.1.2018 klo 10.00 – 12.00
  
• Testauksen suorituspaikka: Lakes, Agora-rakennus
  
• Testausdata: lähde [1].

4 Testauskerran yhteenvetotiedot ja suositukset.

Testauskerran yhteenvetotiedot on eritely taulukkoon 1.

Taulukko 1. Testauskerran yhteenvetotiedot.

Yhteenvetotiedot	Kappalemäärä
Testitapauksia yhteensä	5
Testitapauksia suoritettu	5
Testitapauksia suorittamatta	0
Johtopäätöksissä OK	0
Johtopäätöksissä huomioita	3
Johtopäätöksissä virheitä	2

Testauskerran suositukset: Luvussa 5 esitettävät testiskenaarioiden 4 sekä 5 toiminnalliset virheet tulee korjata ja uusintatestata, jotta sovelluksen toiminnallisuus vastaa tulostuksen ohjeita. Luvussa 5 esitetyt huomiot liittyvät käytettävyyteen sekä LaTeX-tulostusohjeiden ja sovelluksen laadun parantamiseen. Tulostusohjeiden toiminnallisten näkökulmien ollessa osittain sidoksissa käytettävyyteen, suositellaan myös näiden huomioiden korjaamista.

5 Testauskerran tulokset

Testauskerralla suoritettiin testaussuunnitelman mukaisesti neljä testiskenaariota. Testiskenaarioiden johtopäätökset on esitetty kootusti taulukossa 2. Yksityiskohtaiset kuvaukset johtopäätöksistä on esitetty luvuissa 5.1 – 5.6.

Taulukko 2. Testaajan havaintolomake.

Testiskenaario	Johtopäätökset	Kuvaus
1. Yleisohje, (runko)	Huomio	Toiminta OK. Ohjeisiin suositellaan parannuksia. Katso luku 5.1
2. Tulosteessa piilotettu ja näkyvä teksti	Huomio	Toiminta OK. Ohjeisiin suositellaan parannuksia. Katso luku 5.2
3. Tulostusasetuksien muokkaaminen	Huomio	Toiminta OK. Sovellukseen sekä ohjeisiin suositellaan parannuksia. Katso luku 5.3
4. Kurssin tulostuspohjan luominen	Virhe	Tulostuspohjan luominen ei onnistu ohjeita noudattamalla. Ohjeet virheelliset tai sovellus toteutettu virheellisesti. Katso luku 5.4.
5. Yleisohje, (kansi+sisällys)	Virhe	Lisätty testiskenaario. Kansilehden ja sisällysluettelon tulostaminen ei onnistu. Sovelluksen toiminta virheellinen sekä ohjeet puutteelliset. Katso luku 5.5

5.1 Testiskenaario 1, havainnot ja suositukset

Testiskenaariossa testattiin tulostuksen yleisohjetta. Sovellus toimi oikein ja tulostusohjeen [2] mukaisesti. Tulostusohje ei ole kuitenkaan toiminnallisesti kattava, joten siihen suositellaan seuraavia parannuksia:

Parannusehdotukset ohjeen lukuun 3.1:

Tulostusohjeessa mainitaan kansilehden ja sisällysluettelon tulostamisen mahdollisuus. Numeroidusti kohta kohdalta etenevässä ohjeistuksessa ei kansilehteä ja sisällysluettelon tulostamismahdollisuutta kuitenkaan oteta huomioon, vaan kohdassa 4 pyydetään valitsemaan vaihtoehto runko. Tähän kohtaan suositellaan muutettavaksi, että käyttäjä valitsee haluamansa vaihtoehdon.

Tämän lisäksi tulostusikkunassa ei puhuta kansilehdestä, vaan etusivusta. Ohjeen sekä tulostusikkunan vaihtoehtoja suositellaan yhdenmukaistettavaksi.

Koska kohta kohdalta etenevä ohje perustui vain rungon tulostamiseen, laadittiin uusi testiskenaario 5 sisällysluettelon ja/tai kansilehden tulostamiselle.

5.2 Testiskenaario 2, havainnot ja suositukset

Testiskenaariossa testattiin ominaisuutta, jolla voidaan vaihtoehtoisesti joko piilottaa tulosteesta TIM-dokumentissa esiintyvää tekstiä tai lisätä tulosteeseen tekstiä, jota ei varsinaisessa TIM-dokumentissa näy. Sovellus toimi oikein ja tulostusohjeen [2] mukaisesti. Käytettävyyden parantamiseksi tulostusohjeisiin suositellaan kuitenkin seuraavia parannuksia:

Parannusehdotukset ohjeen lukuun 3.2:

Ohje ei suoraan kerro, mihin tarvittavat konfiguraatiot tehdään. Sen sijaan ohjeessa vaaditaan käyttäjältä tyylien käyttöohjeen lukemista sekä asian sisäistämistä. Ohjeen liittyessä eri asiaan, tekee se käyttäjänäkökulmasta ohjeistuksesta sekavan. Tämän lisäksi linkki tyylien käyttöohjeeseen johtaa kohtaan, josta ei suoraan käy ilmi, että varsinaiseen tekstin tulostusnäkyvyyteen vaikuttava konfiguraatio tehdään varsinaisen tekstin sisään, tekstin editointitilassa. Kokematon tai kiireinen käyttäjä voi tällöin epäonnistua toiminnallisuuden käyttämisessä.

Ohjeisiin suositellaan lisättäväksi tieto siitä, mihin vaadittavat konfiguraatiot tehdään sekä esimerkkikuva oikeellisesta konfiguraatiosta. Tämän lisäksi ohjeista suositellaan poistettavan linkki tyylien käyttöohjeisiin.

5.3 Testiskenaario 3, havainnot ja suositukset

Testiskenaariossa testattiin ominaisuutta, jolla voidaan ottaa käyttöön tulostusasetuksien muokkaaminen. Testaus suoritettiin perusasetuksilla, sillä tulostusasetusten (TeX-makrojen) testaamiselle on varattu erilliset testauskerrat, joiden testiskenaariot on luotu tulostusohjeiden perusteella. Tämän testiskenaarion yhteydessä tulostusasetuksille suoritettiin kuitenkin visuaalinen tarkistus lukemalla ohjeet läpi, sillä edellämainitut testauskerrat eivät ota suoraan kantaa ohjeiden toimivuuteen.

Testiskenaarion perusteella sovellus toimi oikein ja tulostusohjeiden mukaisesti, mutta sekä tulostusohjeiden että sovelluksen käytettävyyteen suositellaan parannuksia.

Sovelluksen käytettävyyden parantamiseksi sekä virheellisten parametrien syöttämisen estämiseksi suositellaan asetuksien määrittämiselle oman ikkunan lisäämistä, jossa asetukset tehdään valikoiden kautta. Kenttiin, joihin käyttäjä voi antaa mielivaltaisen syötteen, suositellaan virheentarkistusta sekä virheilmoitusta virheen tapahtuessa. Tämä parantaa käytettävyyttä sekä vähentää tarvetta lukea ohjeita jokaisen parametrin kohdalla, erityisesti kokemattomien käyttäjien keskuudessa.

Tulostusohjeisiin [2] suositellaan seuraavia parannuksia:

Parannusehdotukset ohjeen lukuun 3.3:

• Tulostusohjeen luvun 3.3 kohdan 4 alla olevan kuvan päivittämistä TeX-makroille suositellaan, jolloin säästytään paitsi-selitteiltä. Tämä parantaa ohjeiden ymmärrettävyyttä ja selkeyttä.

Parannusehdotukset ohjeen lukuun 5.2:

• texlanguage: ohje ei ole kattava kielivaihtoehtojen suhteen, joten toiminnan täydellinen varmentaminen on mahdotonta. Ohjeeseen suositellaan listattavaksi kaikki mahdolliset kielivaihtoehdot.

• texside: ohjeen mukaan oletuksena yksipuolinen ja kaksipuolinen. Suositellaan korjattavaksi esimerkiksi muotoon: "Määrittää tuleeko tulosteesta yksi- vai kaksipuolinen. Oletuksena yksipuolinen. Tuloste määritellään kaksipuoliseksi (vasen ja oikea sivu ovat erilaisia) määrityksellä:...".

• texdocumentclass: ohjeeseen suositellaan lisättäväksi tieto oletusvaihtoehdosta.

• texsectionstart: texsectionstart ohjeessa kahteen kertaan.

• texforcetoplevel: ohje on epäselvä, siitä ei selviä toiminta eikä parametrien vaihtoehdot, joten ohjeen ymmärtäminen vaatii tietämystä. Suositellaan ohjeen kirjoittamista muotoon, joka ei vaadi käyttäjältä ennakkotietoa asiasta.

• texforcesonlysectionnumber: ohje on epäselvä, siitä ei selviä toiminta eikä parametrien vaihtoehdot, joten ohjeen ymmärtäminen vaatii tietämystä. Suositellaan ohjeen kirjoittamista muotoon, joka ei vaadi käyttäjältä ennakkotietoa asiasta.

Ohjeiden tarkkuuteen on syytä kiinnittää erityistä huomiota, mikäli ehdotettuja sovellusmuutoksia ei toteuteta. Ensisijaisesti sovellusmuutoksia suositellaan.

5.4 Testiskenaario 4, havainnot ja suositukset

Testiskenaariossa testattiin ominaisuutta, jolla luodaan kurssin tulostuspohja. Sovellus ei toiminut tulostusohjeen [2] luvun 3.7 mukaisesti. Sovellus suositellaan korjattavaksi sekä tulostusohjeisiin suositellaan parannuksia.

Tulostusohjeen edellämainitussa luvussa ohjeistetaan kohdassa 7 selaamaan sivua Translations and copies -kohtaan. Ohjeita noudattamalla sovelluksen Manage-välilehdeltä ei löydy kyseistä kohtaa, kuten kuva 1 osoittaa. Näin ollen sovellus on toteutettu virheellisesti tai ohjeet ovat virheelliset.

Tämän lisäksi Manage-välilehden suositellaan avautuvan oletuksena, jolloin sekä käyttäjältä että käyttöhjeista jäisi yksi täysin ylimääräinen vaihe pois parantaen käytettävyyttä.

Testaamisen yhteydessä kuitenkin huomattiin, että tulostuspohjan luominen toimii, kun siirrytään suoraan TIM-dokumentista (ei tulostusikkunan kautta) dokumentin Manage-välilehdelle ja jatketaan ohjeiden noudattamista luvun 3.7 kohdasta 7.

Ensisijaisesti suositellaan sovelluksen korjaamista ohjeiden mukaiseksi, sillä tulostuspohjien luominen on niin toiminnallisuuden kuin käytettävyydenkin kannalta luonnollisinta tehdä tulostusikkunan kautta.

Tämän lisäksi tulostusohjeiden [2] lukuun 3.7 suositellaan seuraavia parannuksia:

Parannusehdotukset ohjeen lukuun 3.7

Kohdan 3 tulostusikkunan kuvaan suositellaan lisättäväksi vastaavat numerot kuin selitteiden kohdissa, sillä ohjeiden mukaan edettäessä, on tässä kohdassa tulostusikkunan näkymä erilainen kuin esimerkkikuvassa. Ikkunan valikot muuttuvat kuvaa vastaaviksi vasta kohdassa 4, kun show advanced options -valinta asetetaan. Avautuneen ikkunan erilaisuus oli aiheuttaa toiminnallisessa testissä virheen, ennen kuin käyttöohjeissa huomattiin siirtyä eteenpäin. Numeroiden lisäksi kuvan voisi siirtää kohdan 4 alle, jolloin käyttäjällä olisi suoraan ohjeiden mukainen näkymä.

5.5 Testiskenaario 5, havainnot ja suositukset

Testiskenaario lisättiin, jotta voidaan testata testiskenaarion 1 yleisohjeen kansilehden sekä sisällysluettelon tulostamista. Ohjeissa mainitaan, että käyttäjä voi pelkän dokumentin rungon lisäksi tulostaa dokumentin myös kansilehdellä sekä sisällysluettelolla varustettuna tai dokumentin pelkästään sisällysluettelolla varustettuna (ilman kansilehteä).

Sovellus ei toiminut ja tulostusohjeet [2] luvussa 3.1 olivat puutteelliset, joten sovellusta ja tulostusohjeita suositellaan korjattaviksi.

Sovellus toimi seuraavilta osin virheellisesti:

Mikäli käyttäjä valitsee tulostettavaksi dokumentin rungon lisäksi

• sisällysluettelon sekä kansilehden tai
• sisällysluettelon

sovellus ei niitä tulosta. Tästä ei myöskään saada minkäänlaista virheilmoitusta. Sovellus suositellaan korjattavaksi siten, että käyttäjä voi tulostaa haluamansa vaihtoehdot rungon, kansilehden ja sisällysluettelon yhdistelmistä. Mikäli näiden tulostaminen ei ole jossain yhteydessä mahdollista, suositellaan valintojen estämistä tai vähintään virheilmoitusta tehdystä valinnasta.

Sovelluksen lisäksi tulostusohjeisiin suositellaan seuraavia parannuksia:

Parannusehdotukset ohjeen lukuun 3.1:

Tulostusohjeissa mainitaan, että käyttäjä voi tulostaa kansilehden sekä sisällysluettelon. Tarkempia ohjeita kansilehden eikä sisällysluettelon laatimiseen tai näiden tulostamiseen ole kyseisessä luvussa esitetty. Luvun 3.1 ohjeita suositellaan tarkennettavaksi näiden puutteiden osalta sen mukaan, kuinka suositellut sovelluskorjaukset toteutetaan.

5.6 Muut havainnot ja suositukset

Varsinaisten testiskenaarioiden ohessa tehtiin myös seuraavia sovelluksen toimintaan sekä laatuun liittyviä huomioita:

• Osa otsikkotasoista tulostui #-merkinnällä
  
• Taulukot eivät skaalautuneet tulosteeseen, jolloin osa taulukosta jäi tulostusalueen ulkopuolelle
  
• Osa WWW-osoitteista jäi osittain tulostusalueen ulkopuolelle.

Edellämainitut ongelmat esitetty liitteessä 2.

Näiden lisäksi hammasrattaan takaa löytyvä Print document -painikkeella avautuva ikkuna sisältää sekä suomea että englantia.

Edellämainittuja puutteita suositellaan korjattavaksi. Mikäli taulukkoa ei saada skaalattua tulostusalueelle eikä pitkiin sanoihin saada toteutettua automaattista rivinvaihtoa (kuten esimerkin WWW-osoiteeseen), suositellaan virheilmoitusta tulostusalueen ylittämisestä.

Näiden lisäksi tulostusohjeisiin suositellaan yleisellä tasolla kirjoitusasun tarkistamista sekä kirjoitusvirheiden korjaamista, jolloin yleinen kuva LaTeX-tulostuksesta ja sen ohjeista paranee.

5.7 Testauskerran yhteenveto

Testauskerralla suoritettujen testiskenaarioiden ja niiden perusteella tehtyjen havaintojen mukaan LaTeX-tulostuksen ohjeiden kulku ja sovelluksen toiminta on pääasiallisesti yhdenmukaista, mutta tulostusohjeissa on parantamisen varaa niin toiminnallisesta kuin käytettävyyden näkökulmasta.

Testiskenaarioissa löytyi virheitä, joissa sovelluksen toiminnan ja ohjeiden puutteet olivat merkittäviä, jolloin sovellus ei toiminut tulostusohjeiden esittämällä tavalla. Nämä virheet tulisi korjata ensisijaisesti ja suorittaa uusintatestaus.

Testiskenaarioissa tehtyjen havaintojen perusteella tehtiin myös huomioita, jotka liittyvät sovelluksen ja tulostusohjeiden käytettävyyteen. Mikäli tulostusohjeet ovat epäselvät ja huonosti käytettävät, vaikeutuu sovelluksen toiminnan todentaminen ohjeita vasten. Tämän lisäksi vaikeutuu käyttäjän suoriutuminen tehtävästä ohjeita noudattamalla. Näin ollen myös näiden toiminnallisen testauksen ohessa tehtyjen laatuun ja käytettävyyteen liittyvien huomioiden korjaamista suositellaan.

Lähteet

[1] Shenouda Khalil, K. 2018. Testausdata, FOP4-ryhmä, TIM-järjestelmän LaTeX-tulostusominaisuuden toiminnallinen testaus ohjeita vasten. Jyväskylä yliopisto. Informaatioteknologian tiedekunta. Viitattu 22.1.2018.
https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testausdata/fop4_testaussuunnitelma_v_110_toiminnallinen_testaus_ohjeita_vasten_testausdata

[2] Kujala, M., Latva-Salo, T., Porvali, T., Similä, M. 2017. Timantti-sovellusprojekti: tulostuksen käyttöohje. Jyväskylän Yliopisto. Informaatioteknologian tiedekunta. Viitattu 22.01.2018. https://tim.jyu.fi/view/tim/ohjeita/tulostusohje

[3] Shenouda Khalil, K. 2018. FOP4-ryhmä, TIM-järjestelmän LaTeX-tulostusominaisuuden toiminnallinen testaus ohjeita vasten. Jyväskylä yliopisto. Informaatioteknologian tiedekunta. Viitattu 22.1.2018.
https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testaussuunnitelmat/fop4_testaussuunnitelma_v_110_toiminnallinen_testaus_ohjeita_vasten

Liitteet

Liite 1: Testaajan taustatietolomake.

Taulukossa 3 on esitetty testauskerran suorittaneen henkilön tiedot.

Taulukko 3. Testaajan taustatietolomake.

Kysymys	Vastaus
Nimi	Sami Kyyhkynen
Ikä	34
Tiedekunta	IT
Aikaisempi kokemus TIM:stä	Käyttänyt TIM:ä 1,5 vuotta
Käyttänyt TIM:n tulostusominaisutta aiemmin	Kyllä

Liite 2: Ongelmat tulosteessa.

Kuvassa 2 on esitetty virheellisesti tulostunut otsikkotaso.

Kuvassa 3 on esitetty taulukko, joka ei mahtunut tulostusalueelle.

Kuvassa 4 on esitetty WWW-osoite, joka ei mahtunut tulostusalueelle.