FOP4-ryhmä, testausraportti,

TIM-oppimisympäristön
LaTeX-tulostusominaisuuden
ei-toiminnallinen hyväksymistestaus perinteisenä käytettävyystestauksena

Laatija: Merja Halonen (halonenmerja@gmail.com)
Julkisuustaso: Julkinen
Päivämäärä: 27.2.2018
Versio: 1.1.0
Opintojakso: TIES546 Ohjelmistotestaus
Organisaatio: Jyväskylän yliopisto, informaatioteknologian tiedekunta

1 Testauskerran kohteet, tavoitteet ja suoritustavat

Testausprojektissa testattavana kohteena oli Jyväskylän yliopiston vuorovaikutteinen oppimisympäristö-TIM. Testauskerralla keskityttiin LaTeX-pohjaisen tulostuksen käytettävyyteen opiskelijakäyttäjän näkökulmasta. Testausprojektin ajallisten resurssien vuoksi, tulostus verkkoselaimen kautta (ns. browser print) rajattiin testauskerran ulkopuolelle.

Testauskerralla kiinnitettiin huomiota seuraavien laadullisten ominaisuuksien toteutumiseen TIM-oppimisympäristön tulostustoiminnossa:

toiminnon löydettävyys,
toiminnon helppokäyttöisyys ja
toiminnon käytön opittavuus.

Testauskerta suoritettiin ei-toiminnallisena hyväksymistestauksena perinteisen käytettävyystestauksen menetelmin.

2 Koehenkilön ja tarkkailijan soveltuvuus ja tietotaidot

Koehenkilö vastasi kohderyhmään hyvin. Hän on opiskelija ja on käyttänyt TIM-oppimisympäristöä aikaisemmin, mutta ei ollut tulostanut TIM-dokumentteja ennen. Lisäksi koehenkilöllä oli tietokoneen ja WWW-selaimen peruskäyttötaidot. Tarkemmat tiedot koehenkilöstä löytyvät liitteestä 1. Testauskerralla koehenkilö havannoi TIM-oppimisympäristön tulostusominaisuutta sekä kertoi ääneen tekemisiään ja mielipiteitään.

Tarkkailijalla oli tietokoneen ja WWW-selaimen peruskäyttötaidot sekä kokemusta TIM-oppimisympäristöstä ja sen tulostusominaisuudesta. Hänellä oli myös tietoa tulostuksen muotoiluun liittyvistä TeX-makroista. Lisäksi tarkkailijalla oli perustiedot käytettävyystestauksesta. Aikaisempaa kokemusta käytettävyystestauksen suorittamisesta hänellä ei kuitenkaan ollut. Hän oli perehtynyt hyvin testauskertaa varten laadittuun testaussuunnitelmaan.

3 Testauskerran yksilöintitiedot

Testauskerran yksilöintitiedot on kuvattu alla olevaan listaan:

ohjelmisto ja versio: TIM-oppimisympäristö, päivitetty 15.12.2017,
käyttöjärjestelmä ja versio: Windows 10 Enterprise,
WWW-selain ja versio: Google Chrome Version 63.0.3239.108 (Official Build) (64-bit),
laitekokoonpano: Dell Optiplex 990 -työasema,
testausympäristön testauspalvelin osoitteessa: https://tim.jyu.fi,
testaussuunnitelma ja versio: FOP4-ryhmä, TIM-oppimisympäristön LaTeX-tulostusominaisuuden ei-toiminnallinen hyväksymistestaus perinteisin käytettävyystestauksen menetelmin, versio 1.1.0 [4],
testauskerran tarkkailija: Halonen Merja,
testauskerran koehenkilö: koehenkilö on testaajan tuntema, mutta hän ei halua tuoda nimeään esille raportin julkisuuden vuoksi,
testauksen suoritusajankohta: 20.12.2017 klo 9.10-9.45, sekä
testauksen suorituspaikka: Lakes, Agora-rakennus,
testausdata: TIM-dokumentit [1], [2] ja [4].

4 Testauskerran yhteenvetotiedot ja suositukset

Testauskerran yhteenvetotiedot on eritely taulukkoon 1.

Taulukko 1. Testauskerran yhteenveto.
Yhteenvetotiedot	Kappalemäärä
Testitehtäviä yhteensä	12
Testitehtäviä suoritettu	12
Testitehtäviä suorittamatta	0
Huomioita yhteensä	18
Parannusehdotuksia yhteensä	4

Testauskerran suositukset: Testauskerran havaintojen perusteella suositellaan seuraavia parannuksia: Pandoc died with exitcode "43" during conversion: ! Undefined control sequence. 1.1 \section. Pandoc: Error producing PDF virheilmoituksesta on tehtävä käyttäjälle ymmärrettävämpi. Template-vaihtoehtojen lyhenteet on tehtävä selkeämmiksi ja englanniksi. Käyttäjän tulostaessa WWW-selaimella ensimmäisen kerran, tulostuskertaan on asetettava jokin template-vaihtoehdoista oletukseksi. Lisäksi tulostajalla pitää olla mahdollisuus vaikuttaa templateiden kautta PDF-dokumentin rungon, kansilehden ja sisällysluettelon valintaan, tai vaihtoehtoisesti estettävä TeX-makrojen vastaiset valinnat tai annettava väärästä valinnasta virheilmoitus.

Havaitut ongelmat tulee korjata ja uusintatestata, jotta TIM-oppimisjärjestelmän LaTeX-pohjaisen tulostuksen käytettävyys parantuisi.

5 Testauskerran tulokset ja havainnot

Testauskerralla koehenkilö muodosti kolme PDF-dokumenttia testausdatana käytettävistä TIM-dokumenteista (ks. luku 3) testitehtävien mukaisesti. Testaaja eli tarkkailija havainnoi testitehtävien etenemistä. Dokumenteista kaksi oli ennalta määriteltyjä ja yksi oli koehenkilön vapaasti valitsema.

Jokaisen testausdatan tulostusominaisuuden käytettävyyden havainnot, puutteet, ongelmat ja muut huomiot on käsitelty erikseen. Havainnot on koottu lukujen 5.2 – 5.4 taulukkoihin 2 – 4 tiivistetysti testitehtävittäin. Lisäksi puutteet ja ongelmat on kuvattu tarkemmin taulukoiden jälkeen. Testauskerran päätteksi koehenkilölle tehdyn loppukyselyn (kyllä-/ei-kysymykset ja avoimet kysymykset) vastaukset ovat liitteissä 2 ja 3.

5.1 Testauskerran suoritus ja testitehtävät

Testauskerralla koehenkilön ei tarvinnut turvautua tulostusohjeisiin [3], eikä tarkkailijan tarvinnut neuvoa koehnekilöä tulostustoiminnon käytössä. Lisäksi koehenkilölle valinta PDF- ja LaTeX-tulostusmuodon välillä sekä templatien välillä oli selkeää. Testauskerran alussa koehenkilö kirjautui omilla tunnuksillaan TIM-oppimisympäristöön ja avasi kaikki testausdatat valmiiksi WWW-selaimen välilehdille.

Kaikille testausdatoille toistettiin testaussuunnitelmassa [4] määritellyt seuraavat testitehtävät:

Testitehtävä 1. Muodosta tulostettava PDF-dokumentti.
Testitehtävä 2. Muodosta tulostettava PDF-dokumentti niin, että siihen tulee kansilehti ja sisällysluettelo.
Testitehtävä 3. Muodosta tulostettava PDF-dokumentti niin, että siihen tulee sisällysluettelo, mutta ei kansilehteä.
Testitehtävä 4. Muodosta tulostettava LaTeX-dokumentti.

5.2 Testausdatan 1 havainnot

Ensimmäinen testausdata oli testauskerran testaussuunnitelma [4]. Testausdatan testaamiseen kului aikaa 10 minuuttia. Testauskerran alussa koehenkilöllä oli tulostuksen löytämisessä ongelmia.

Taulukko 2: Testausdatan 1 havainnot.
Testi-tehtävä	Toiminnon kuvaus	Huomiot
1	Tulostuksen löytäminen	Koehenkilöllä oli vaikeuksia löytää tulostustoiminto. Viidennellä klikkauskerralla hän löysi rattaan takaa Printdocument-painikkeen.
1	Tulostuksen löytäminen	Koehenkilön kommentti: Oletan, että rataksessa on asetukset. Tulostus on yleensä tulostimen kuvan alla.
1	Tulostaminen	Järjestelmä antoi virheilmoituksen, koska mitään templatea ei ollut oletuksena valittuna, eikä koehenkilö valinnut mitään tiettyä. Virheilmoitus: Pandoc died with exitcode "43" during conversion: ! Undefined control sequence. 1.1 \section. Pandoc: Error producing PDF.
1	Vaste	Odotettu vaste runko poikkesi. Saatu vaste: kansilehti, sisällysluettelo ja runko.
2	Templaten valinta	Koehenkilön kommentti: Templaten lyhenteet tyhmiä.
3	Vaste	Odotettu vaste: sisällysluettelo ja runko poikkesi, saatu vaste: kansilehti, sisällysluettelo ja runko.
4	LaTeX-dokumentin muodostaminen	Koehenkilö onnistui muodostamaan LaTeX-dokumentin testitehtävän mukaisesti.

Testitehtävä 1, tulostuksen löytämisen ongelmat: Koehenkilöllä oli alussa vaikeuksia löytää tulostustoimintoa. Ennen ratas-painiketta hän klikkasi eri painikkeita seuraavassa järjestyksessä: kirja, viivat, viivat, kirjanmerkki.

Koehenkilö oletti, että rataksessa on asetukset eikä tulostustoiminto. Hänen mielestään tulostustoiminto on yleensä tulostimen kuvan alla.

Löydettyään rataksen takaa tulostustoiminnon, koehenkilön oli helppo valita Print document ja Browser print -vaihtoehtojen väliltä.

Testitehtävä 1, virheilmoitus ja virheellinen vaste tulostuksessa: Kyseessä oli ensimmäisen PDF-dokumentin muodostaminen TIM-dokumentista kyseisellä WWW-selaimella, joten TIM-oppimisympäristön tulostusikkunassa ei ollut valittuna mitään templatea. Koehenkilö ei valinnut tiettyä templatea ennen Create-painikkeen painamista, koska tehtävänä oli muodostaa vain PDF-dokumentti ilman mitään tiettyä muotoilua. Tulostusmuodon (Output format) valintana oli PDF.

TIM-oppimisympäristö ei muodostanut PDF-dokumenttia, vaan antoi virheilmoituksen: Pandoc died with exitcode "43" during conversion: ! Undefined control sequence. 1.1 \section. Pandoc: Error producing PDF. Liitteen 4 kuvasta 1 käy ilmi, että mitään templatea ei ollut valittuna järjestelmän antaessa virheilmoituksen.

Virheilmoituksen jälkeen koehenkilö valitsi runko-templaten ja sai muodostettua PDF-dokumentin, johon muodostui rungon lisäksi kansilehti ja sisällysluettelo. Kyseisessä tilanteessa tulostustoiminto ei toiminut odotetulla tavalla. Lisäksi templaten valinnalla ei ollut vaikutusta siihen, että PDF-dokumentissa olisi vain pelkkä runko. Tämä aiheutti epäselvyyttä koehenkilössä.

Testitehtävä 3, virheellinen vaste: Testitehtävänä oli muodostaa PDF-dokumentti siten, että siinä on rungon lisäksi sisällysluettelo, mutta ei kansilehteä.

Koehenkilö valitsi oikean runko+sis-templaten sekä tulostusmuodoksi PDF, mutta vasteena muodostui kansilehti rungon ja sisällysluettelon lisäksi. Täten kyseisessä tilanteessa tulostustoiminto ei toiminut odotetulla tavalla, eikä templaten valinnalla ollut vaikutusta siihen, että PDF-dokumenttiin ei muodostuisi kansilehteä.

Testausdatan TeX-makrojen texcoverpage- ja textableofcontents parametrin arvot olivat 1, jolloin PDF-dokumenttiin pitäisi parametrien arvojen perusteella muodostua kansilehti ja sisällysluettelo.

5.3 Testausdatan 2 havainnot

Toisena testausdatana oli testausprojektin suunnitelma [1]. Testausdatan testaamiseen kului aikaa 8 minuuttia. Koehenkilöllä ei ollut ongelmia löytää tulostustoimintoa uudelleen rattaan takaa.

Taulukko 3: Testausdatan 2 havainnot.
Testi-tehtävä	Toiminnon kuvaus	Huomiot
1	Templaten valinta	Oletusvalintana oli edellisenä kerralla valittu runko-template.
1	Vaste	Odotettu vaste runko poikkesi. Saatu vaste: kansilehti, sisällysluettelo ja runko.
2	Templaten valinta	Koehenkilön kommentti: Hyvä, kun tulostusikkuna jää näkyviin tulostuksen jälkeen. Pystyy tulostamaan saman tien eri muodossa.
2	Templaten valinta	Koehenkilön kommentti: Tulostusikkunan tekstit sekavia, koska sekaisin lyhenteitä, kokonaisia lauseita, suomea ja englantia. Miten esim. vaihtarit pystyvät valitsemaan oikean templaten, jotka ovat ainoastaan suomeksi.
3	Vaste	Odotettu vaste: sisällysluettelo ja runko poikkesi. Saatu vaste: kansilehti, sisällysluettelo ja runko.
4	Vaste	Ihmetteli, millaista LaTeX-dokumentti on kirjoitusmuodoltaan.

Testitehtävä 1, virheellinen vaste: Testitehtävänä oli muodostaa PDF-dokumentti, jonka muotoilua ei ollut määritelty. Koehenkilö oli testausdatan 1 testitehtävän 4 kohdalla valinnut templateksi rungon, joten tämä valinta oli TIM-oppimisjärjestelmän muistissa. Tulostusmuotona oli PDF.

PDF-dokumentin muodostaminen onnistui ilman virheilmoitusta. Vasteena kuitenkin muodostui rungon lisäksi myös kansilehti ja sisällysluettelo. Täten tulostustoiminto ei toiminut odotetulla tavalla, eikä templaten valinnalla ollut vaikutusta siihen, että PDF-dokumenttiin ei muodostuisi kansilehteä ja sisällysluetteloa.

Testausdatan TeX-makrojen texcoverpage- ja textableofcontents parametrin arvot olivat 1, jolloin PDF-dokumenttiin pitäisi muodostua kansilehti ja sisällysluettelo.

Testitehtävä 3, virheellinen vaste: Testitehtävänä oli muodostaa PDF-dokumentti siten, että rungon lisäksi muodostuu sisällysluettelo, mutta ei kansilehteä.

Koehenkilö valitsi oikean runko+sislu-templaten ja tulostusmuotona oli PDF. Vasteena muodostui kansilehti, sisällysluettelo ja runko. Täten tulostustoiminto ei toiminut odotetulla tavalla, eikä templaten valinnalla ollut vaikutusta siihen, että PDF-dokumenttiin ei muodostuisi kansilehteä.

Testausdatan TeX-makrojen texcoverpage- ja textableofcontents parametrin arvot olivat 1, jolloin PDF-dokumenttiin pitäisi muodostua kansilehti ja sisällysluettelo.

5.4 Testausdatan 3 havainnot

Kolmas testausdata oli koehenkilön oma valinnainen TIM-dokumentti. Koehenkilö valitsi testausdataksi Jyväskylän yliopiston matematiikan ja tilastotieteen laitoksen Calculus 1-kurssin luentomateriaalin [2]. Testausdata ei ole testausprojektin TIM-dokumentteja, joten sen TeX-makrojen parametrin arvoista ei ole tietoa. Koehenkilöllä ja tarkkailijalla ei ollut oikeuksia päästä katsomaan kyseisen testausdatan TeX-makroja (eivät näy tulostusikkunassa), eikä koehenkilö ollut tietoinen TeX-makroista.

Testausdatan testaamiseen kului aikaa 5 minuuttia. Koehenkilö muisti kohdan, mistä tulostustoiminto löytyy sekä valinta Print document ja Browser print välillä oli edelleen selvä.

Taulukko 4: Testausdatan 3 havainnot.
Testi-tehtävä	Toiminnon kuvaus	Huomiot
1	Vaste	Odotettu vaste: runko ja saatu vaste: runko olivat yhtenevät. Vaste aiheutti epäselvyyttä, koska muissa testausdatoissa saatuna vasteena oli runko, kansilehti ja sisällysluettelo.
2	Vaste	Odotettu vaste: kansilehti, sisällysluettelo ja runko poikkesi, saatu vaste: runko.
3	Vaste	Odotettu vaste: sisällysluettelo ja runko poikkesi, saatu vaste: runko.
3	Tulostaminen	Koehenkilö huomasi, että TIM-oppimisympäristö muodosti TIM-dokumentista PDF-dokumentin nopeammin, mitä enemmän niitä muodosti.
4	LaTeX-dokumentin muodostaminen	Koehenkilö onnistui muodostamaan LaTeX-dokumentin testitehtävän mukaisesti.

Testitehtävä 1, vaste: Testitehtävänä oli muodostaa PDF-dokumentti, jonka muotoilua ei ollut määritelty. Tulostusasetuksissa templatena oli runko, joka oli muistissa testausdata 2 testitehtävän 4 templaten valinnasta. Tulostusmuotona oli PDF.

Vasteena muodostui pelkkä runko, niin kuin templaten valinnan mukaan odotettuna vasteena oli. Tämä kuitenkin aiheutti epäselvyyttä, koska aikaisempien testausdatojen kohdalla samalla templaten valinnalla oli tulostunut rungon lisäksi myös kansilehti ja sisällysluettelo.

Testitehtävä 2, virheellinen vaste: Testitehtävänä oli muodostaa PDF-dokumentti siten, että rungon lisäksi muodostuu myös kansilehti ja sisällysluettelo.

Koehenkilö valitsi oikean runko+sis+etusivu-templaten sekä tulostusmuotona oli PDF, mutta vasteena muodostui vain runko. Täten tulostustoiminto ei toiminut odotetulla tavalla, eikä templaten valinnalla ollut vaikutusta PDF-dokumentin muotoon.

Testauskerralla oletetaan, että TIM-dokumentin TeX-makrojen texcoverpage- ja textableofcontents parametrien arvot ovat 0, koska tulostusohjeesta [3] kopioitavasta perusasetuksessa näiden TeX-makrojen parametrien arvot ovat 0. Tällöin parametrien arvojen perusteella PDF-dokumenttiin muodostuu vain runko.

Testitehtävä 3, virheellinen vaste: Testitehtävänä oli muodostaa PDF-dokumentti siten, että rungon lisäksi on vain sisällysluettelo.

Koehenkilö valitsi oikean runko+sislu-templaten sekä tulostusmuotona oli PDF, mutta vasteena muodostui vain runko. Täten tulostustoiminto ei toiminut odotetulla tavalla, eikä templaten valinnalla ollut vaikutusta PDF-dokumentin muotoon.

Testauskerran oletuksena on, että TIM-dokumentin TeX-makrojen texcoverpage- ja textableofcontents parametrien arvot ovat 0, kuten tulostusohjeen [3] perusasetuksessa.

5.5 Testauskerran havaintojen yhteenveto

Testauskerran havaintojen mukaan yleisvaikutelma tulostusominaisuudesta oli melko käytettävä, mutta jotkut ominaisuudet olivat epätavallisia. Esimerkiksi template-vaihtoehtojen lyhenteet olivat epäselviä ja poikkesivat tulostusikkunan pääkielestä englannista. Muuten tulostukseen liittyvät vaihtoehdot olivat selkeitä, melko suoraviivaisia ja muistettavia. Tulostustoiminnossa ei ollut liikaa valittavia painikkeita tai vaihtoehtoja. Koehenkilön mielestä virheilmoitusta oli vaikea tulkita ja se oli monimutkainen.

Testauskerralla havaittiin, että käyttäjällä ei ole mahdollista vaikuttaa templaten valinnoilla PDF-dokumentin kansilehden ja sisällysluettelon muodostumiseen. Testauskerralle valittuihin testausdatoihin oli määritelty TeX-makrojen texcoverpage- ja textableofcontents parametrien arvoiksi 1, jolloin jokaiseen PDF-dokumenttiin tulostui kansilehti ja sisällysluettelo templaten valinnasta huolimatta.

Koehenkilön valitsemaan testausdatan PDF-dokumenttiin muodostui vain runko, vaikka koehenkilö valitsi templatesta kansilehden ja sisällysluettelon. Kyseisen testausdatan TeX-makrojen asetuksia ei ole mahdollista nähdä, joten testauskerralla oletetaan, että texcoverpage- ja textableofcontents-TeX-makrojen parametrien arvot ovat 0, koska dokumentin luoja on oletettavasti kopioinut tulostusohjeesta [3] perusasetukset. Näin ollen PDF-dokumenttiin ei muodostu kansilehteä ja sisällysluetteloa, vaikka ne valittaisiin templatesta.

TIM-oppimisjärjestelmä antaa tulostajan valita template-vaihtoehdoista ne, joita ei ole sallittu TeX-makroissa. Lisäksi näiden TeX-makrojen parametrit eivät näy millään tavoin tulostusikkunnassa. Ei voida myöskään olettaa, että tulostaja tietäisi TeX-makroista ja niiden asetuksista. Täten templaten valinnan toimimattomuus aiheuttaa epäselvyyttä tulostajassa, koska hänen on mahdollista valita mieleinen template, mutta järjestelmä ei toimi sen mukaisesti.

Lähteet

[1] Halonen Merja, Kyyhkynen Sami, Shenouda Khalil Kiril, Stylman Enni. 2017. TIM-järjestelmän LaTeX-tulostusominaisuuden testausprojektin suunnitelma Ryhmä: FOP4. Jyväskylän yliopisto, informaatioteknologian tiedekunta. https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testausprojektin_suunnitelma/fop4_testausprojektin_suunnitelma_v_120

[2] Laitinen Anni. 2017. Calculus 1. Jyväskylän yliopisto, matematiikan ja tilastotieteen laitos. Viitattu 20.12.2017. https://tim.jyu.fi/view/kurssit/matematiikka/Calculus/Calculus1

[3] Lappalainen Vesa, Latva-Salo Topi, Similä Marja. 2017. Tulostuksen käyttöohje. Jyväskylän yliopisto, informaatioteknologian tiedekunta. https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/kayttoohje#tulostusasetuksien-muokkaaminen

[4] Stylman Enni. 2017. FOP4-ryhmä, TIM-oppimisympäristön LaTeX-tulostusominaisuuden ei-toiminnallinen hyväksymistestaus perinteisin käytettävyystestauksen menetelmin. Jyväskylän yliopisto, informaatioteknologian tiedekunta. https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testaussuunnitelmat/fop4_testaussuunnitelma_v_110_ei-toiminnallinen_perinteinen_kaytettavyystestaus

Liitteet

Liite 1: Koehenkilön taustatietolomake.

Kysymys	Sanallinen vastaus
Nimi	Koehenkilö on testaajan tuntema, mutta hän ei halua tuoda nimeään esille raportin julkisuuden vuoksi.
Ikä	30
Tiedekunta	Informaatioteknologia
Opinto-ohjelma	Tietotekniikka
Opintojen vaihe	Maisteri, 2.vuosi
Oletko käyttänyt TIM:iä aiemmin?	Kyllä
Oletko tulostanut TIM-dokumentteja aiemmin?	En

Liite 2: Käytettävyystestauksen loppukysely (kyllä-/ei-kysymykset) koehenkilölle.

Kysymys	Kyllä	Ei
Oliko tulostusominaisuus mielestäsi helposti löydettävissä?	X
Oliko tulostettavan tiedoston muodostaminen testatun toiminnallisuuden kautta mielestäsi helppoa?	X
Oliko tulostukseen liittyvät vaihtoehdot mielestäsi selkeitä?	X
Saitko tulostettua dokumentit haluamassasi muodossa (template)?	X
Jos käyttäisit toimintoa huomenna, muistaisitko, miten sitä käytetään?	X
Jos käyttäisit toimintoa kuukauden kuluttua, uskoisitko muistavasi miten sitä käytetään?	X
Oliko tulostusominaisuus mielestäsi tarpeettoman monimutkainen?	Kyllä ja Ei
Oliko tulostustoimintoa mielestäsi luonnollista käyttää (intuitiivinen)?		X

Liite 3: Käytettävyystestauksen loppukysely (avoimet kysymykset) koehenkilölle.

Avoimet kysymykset
Kysymys: Mikä oli yleisvaikutelma tulostusominaisuudesta?
Vastaus: Melko käytettävä, jokseenkin outo.
Kysymys: Oliko tulostustoiminnossa joitakin vaikeita tai monimutkaisen tuntuisia vaiheita? Mitä ne olivat? Kuinka vaikeus tai monimutkaisuus ilmeni?
Vastaus: Virheilmoitus, joka tuli, kun templatea ei ollut valittuna, ei avautunut. Outoa, että pystyi valitsemaan eri templatet, vaikka niillä ei ollut mitään vaikutusta.
Kysymys: Mitkä tulostusominaisuuden osat tai ratkaisut olivat mielestäsi toimivia? Kuinka niiden toimivuus ilmeni?
Vastaus: Ei ollut liikaa nappeja tai vaihtoehtoja tulostusikkunassa. Melko suoraviivainen operaatio.
Kysymys: Tuntuuko sinusta siltä, että tulisit tulevaisuudessa käyttämään TIM-dokumenttien tulostustoimintoa?
Vastaus: En välttämättä. Browser print-vaihtoehdosta löytyvä PDF-tulostus on tutumpi ja kätevämpi.
Kysymys: Muuta kommentoitavaa / kehitysehdotuksia?
Vastaus: Virheilmoituksesta ymmärrättävämpi. Kamala, että tulostusikkunassa on pääkielenä englanti, mutta vaihtoehdot ovat suomeksi ja vieläpä epäselvinä lyhenteinä.

Liite 4: Virheilmoitus