Misją Instytutu jest dzialalność naukowo-badawcza prowadząca do nowych rozwiązań technicznych i organizacyjnych użytecznych w kształtowaniu warunków pracy zgodnych z zasadami bezpieczeństwa pracy i ergonomii oraz ustalanie podstaw naukowych do właściwego ukierunkowywania polityki społeczno-ekonomicznej państwa w tym zakresie.
Kontakt z komputerem i jego oprogramowaniem często bywa stresujący. Dzieje się tak szczególnie wtedy, gdy użytkownik korzysta ze źle funkcjonujących lub źle zaprojektowanych programów. W ostatnim czasie rozwinęły się specjalne metody służące ocenie oprogramowania. Wszystko po to, by użytkownik był bardziej zadowolony z pracy i by systemy były bardziej efektywne.
Sposoby oceny oprogramowania
W zakresie oceny oprogramowania wyróżnia się dwa zasadnicze rodzaje ocen (Sikorski,1997):
Ocena jakości konstrukcyjnej uwzględnia przede wszystkim aspekty techniczne oprogramowania, takie jak niezawodność, łatwość konserwacji, użyteczność, efektywność itp. (Jaszkiewicz, 1997; ISO 9126 za: Sikorski, 1997).
Ocena jakości użytkowej w większym stopniu uwzględnia kontekst użytkownika, tzn. te uwarunkowania pochodzące ze strony użytkownika, które mają wpływ na interakcję z oprogramowaniem. Dlatego w ocenie tej większą wagę przywiązuje się do preferencji, przyzwyczajeń, doświadczenia, wiedzy i wszystkich odczuć użytkownika oprogramowania. I dlatego ta ocena jest głównym przedmiotem badań ergonomistów i psychologów pracy zajmujących się jakością oprogramowania i ocena relacji człowiek - komputer. Można jednak dokonywać ocen jakości bez udziału użytkowników, ale z uwzględnieniem ich hipotetycznego występowania. Oto kilka przykładów takich ocen.
Oceny bez udziału użytkowników
Oceny oprogramowania bez udziału użytkowników są ocenami tańszymi i częściej wykorzystywanymi na etapie ich tworzenia i projektowania. Ten rodzaj ocen jest również przydatny w sytuacjach, gdy pojawia się nowy rodzaj oprogramowania, dla którego nie można znaleźć doświadczonych użytkowników. Lewis i Rieman (1994) opisują trzy rodzaje oceny interfejsu bez udziału użytkowników: a) wędrówkę myśli, b) analizę czynności i c) ocenę heurystyczną.
a) „Wędrówka myśli”
Technika wędrówki myśli zakłada wczucie się przez osobę oceniającą w sytuację użytkownika i wykonywanie czynności na bazie zakładanej wiedzy użytkownika i informacji wychodzących z systemu. Wszystkie trudności w racjonalnym dojściu do osiągnięcia celu (skutecznym wykonaniu pojedynczego zadania) wskazują na błędy w interfejsie. Zakłada się, że „wędrówka myśli” jest przeznaczona głównie do budowy i projektowania interfejsu, a w mniejszym stopniu do jego oceny.
b) Analiza czynności - formalna i nieformalna analiza działań
Analizy czynności można dokonywać na podstawie zbierania różnych rodzajów informacji, za pomocą formalnej i nieformalnej analizy czynności. Formalna analiza działań polega na przeanalizowaniu wszystkich potrzebnych czynności do wykonania zadania i przeliczeniu ich samych lub czasów potrzebnych na ich wykonanie. Średnie czasy dla poszczególnych czynności w pracy z komputerem zostały wyszczególnione w wielu badaniach z rzeczywistymi użytkownikami. Dla przykładu poniższa Tabela przedstawia przybliżone czasy dla wybranych czynności manualnych, percepcyjnych i procesów umysłowych (J.R. Olson; G.M. Olson, 1990)
Tabela 1. Przeciętne czasy czynności i procesów przy obsłudze interfejsu komputerowego (za: Lewis i Rieman , 1994)
RODZAJ CZYNNOŚCI |
CZYNNOŚĆ |
czas (s) |
Uwagi dotyczące różnic pomiarów |
CZYNNOŚCI MANUALNE |
jedno uderzenie w klawisz na typowej klawiaturze |
0,28 |
od 0,07 s dla wyszkolonej sekretarki do 0,2 s dla typowej maszynistki i ponad 1 s dla osoby początkującej; |
wskazanie obiektu kursorem myszy na ekranie |
1,5 |
może być mniej ale ok. 1 s dla małego ekranu lub menu, rośnie dla dużych ekranów i małych obiektów |
|
przenieść rękę do urządzenia wskazującego lub klawisza funkcyjnego |
0,3 |
waha się od 0,21 s dla klawiszy kursorów do 0,36 s dla myszy |
|
PERCEPCJA WZROKOWA |
reakcja na krótki sygnał świetlny |
0,1 |
waha się wraz z intensywnością sygnału, od 0,5 dla jasnego światła do 0,2 s dla przyćmionego |
rozpoznanie słowa 6-cio literowego |
0,34 |
|
|
przeniesienie wzroku do nowego położenia na ekranie |
0,23 |
|
|
CZYNNOŚCI UMYSŁOWE |
przywoływanie prostego obiektu z pamięci krótkotrwałej |
1,2 |
|
nauczyć się prostego „kroku” procedury |
25 |
|
|
wykonanie „kroku” umysłowego |
0,075 |
waha się od 0,05 do 1 s, zależnie od rodzaju czynności |
|
wybór pomiędzy metodami |
1,2 |
waha się od 0,06 do 1,8, zależnie od złożoności czynników wpływających na decyzję |
Nieformalna analiza postępowania również polega na wyliczeniu wszystkich koniecznych czynności ale w aspekcie możliwości i przydatności systemu. Potwierdzenia wniosków z tej techniki może przynieść rejestracja czynności użytkowników.
c) Ocena heurystyczna
Technika ta polega na samodzielnej ocenie interfejsu przez kilka lub kilkanaście osób z uwzględnieniem wyznaczonych wcześniej schematów postępowania. Następnie wszystkie uwagi i wątpliwości od wszystkich osób oceniających są łączone w jedną listę problemów. Ilość i rodzaj znalezionych trudności zależy od ilości osób oceniających, wiedzy szczegółowej osób oceniających (np. w zakresie konkretnego rodzaju interfejsu) i „jakości” zaleceń. Do najczęściej występujących heurystyk należą m.in. (Nielsen i Molich , 1990 za: Lewis, Rieman,1994; Nielsen 1994):
Badania Nielsena (1994b) pokazują, że liczba wykrytych problemów nie jest wprost proporcjonalna ani do liczby osób oceniających, ani do liczby zakładanych przed oceną zasad. Do wykrycia 75% wad i trudności wystarczy 5-ciu dobrze przeszkolonych osób oceniających. Zmniejsza to zarówno czas i koszty oceny.
Oceny z udziałem użytkowników
Techniki oceny systemów komputerowych z udziałem użytkowników są bardziej pracochłonne - wymagają doboru reprezentatywnej grupy użytkowników, wyboru typowych zadań oraz zorganizowania eksperymentu umożliwiającego rejestrację potrzebnych parametrów pracy z oprogramowaniem.
Wytypowanie grupy użytkowników jest prostsze w przypadku specjalistycznych programów dla określonej grupy zawodowej (np. dla lekarzy, dentystów, kontrolerów ruchu lotniczego itp.). Programy ogólnoużytkowe, takie jak edytory tekstów, programy graficzne czy bazy danych - mają bardzo szeroką grupę potencjalnych odbiorców - od studentów, przez wszystkie zawody administracyjne, po specjalistów w wąskich dziedzinach naukowych - wszystkich tych, którzy piszą, zbierają dane, rysują itd. Przy tego typu oprogramowaniach wskazane jest skategoryzowanie grupy i wyznaczenie typowych zadań dla każdej oddzielnie.
Zbieranie danych o procesie i danych podstawowych (pomiarowych)
Lewis i Rieman (1994) wyróżniają dwa rodzaje informacji przydatnych do analizowania w trakcie prób z użytkownikami: dane podstawowe i dane o procesie. Podział ten jest przybliżonym odzwierciedleniem omawianej wcześniej formalnej i nieformalnej analizy czynności bez użytkowników. Dane podstawowe uzyskuje się na podstawie pomiarów (np. całkowitego czasu wykonania, czasu pojedynczych czynności, liczby popełnionych błędów, liczby posługiwania się określonymi obiektami). Dane o procesie to analiza postępowania i procesów poznawczych w trakcie pracy z komputerem.
Obydwa rodzaje informacji są przydatne przy ocenie oprogramowania, jednak wymagają one oddzielnych metod uzyskiwania. Zarówno pomiary czasów, jak i kolejne kroki dojścia do celu można analizować za pomocą rejestracji wideo. Jednak aby poznać tok myślenia osób wykonujących zadania, potrzebna jest autorelacja z własnych działań, wątpliwości, pytań i wyborów. Lewis i Rieman (1994) zwracają uwagę na niebezpieczeństwo jednoczesnej analizy czasów wykonania z autorelacją, która może mieć wpływ na szybkość pracy, a tym samym zniekształcać wyniki czasowe. Autorzy zwracają uwagę, ze nie można nawet założyć, że wypowiadanie myśli w trakcie pracy z komputerem opóźnia wykonywanie zadań u wszystkich osób. U niektórych werbalizacja i zastanawianie się nad wykonywanymi czynnościami, ułatwia zrozumienie i może wpływać pozytywnie na rozwiązywanie zadań.
Oceny zastosowane w badaniach CIOP
W badaniach prowadzonych w CIOP zastosowano techniki zbierania informacji do subiektywnej i obiektywnej oceny oprogramowania. Podział stosowanych metod przedstawia Tabela 2
Tabela 2. Podział metod stosowanych w badaniach
Metody obiektywne (rejestracja pracy użytkownika) |
Metody subiektywne(rejestracja opinii użytkownika) |
Analiza zapisu wideo
|
Metoda kwestionariuszowa
Wywiad
|
Bibliografia
Jaszkiewicz A. (1997), Inżynieria oprogramowania, Helion.
Lewis C., Rieman J. (1994), Zadaniowe projektowanie komunikacji z użytkownikiem,
Nielsen J. (1994a), Ten Usability Heuristics, W: http://www.useit.com/papers/heuristic/heuristic_list.html
Nielsen J. (1994b), How to Conduct a Heuristic Evaluation, W: http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Sikorski M. (1997), Ocena jakości użytkowej oprogramowania wspomagającego zarządzanie przedsiębiorstwem. W: Interakcja człowiek – komputer ’97 w rekonstrukcji i modelowaniu procesów gospodarczych oraz tworzeniu zintegrowanych systemów informacyjnych.
Opracował: Andrzej Najmiec
Zobacz także: Kwestionariusz Oceny Oprogramowania