Jak stworzyć profesjonalny test wiedzy

Test wiedzy to narzędzie służące do określania zasobów wiedzy z danego tematu posiadanych przez pracowników lub kandydatów do pracy. Najczęściej wykorzystywany jest do sprawdzenia znajomości produktów i usług sprzedawanych przez handlowców lub stanu wiedzy wyniesionej ze szkolenia. Wyniki uzyskane za pomocą testu stają się często decydujące podczas tworzenia strategii firmy czy przesunięć kadrowych, rzutujących na późniejsze osiągnięcia finansowe. Dlatego, choć skonstruowanie go wydaje się pozornie prostym zadaniem, warto zapoznać się z warunkami, jakie musi spełniać dobry test wiedzy.

- Nasze doświadczenie wskazuje, że opracowanie skutecznego narzędzia do pomiaru wiedzy wymaga nieco więcej wysiłku niż powszechnie się uważa. Konstrukcja efektywnego testu wiedzy składa się z co najmniej z trzech podstawowych etapów: tworzenia banku pytań, oceny rzetelności oraz wyznaczania benchmarków. W zależności od celu testu, kroków może być więcej – mówi dr Krzysztof Fronczyk z Instytutu Analiz im. Karola Gaussa.

1. Przygotowanie banku pytań

Przygotowanie banku pytań powinno rozpocząć się od szczegółowego zdefiniowania wiedzy, która będzie przedmiotem pomiaru testowego. Chodzi tu o nazwanie wszystkich obszarów wiadomości, których test ma dotyczyć. Przykładowo, w teście przeznaczonym dla handlowców dotyczącym wiedzy na temat sprzedawanego przez nich oprogramowania komputerowego, można wyodrębnić obszary dotyczące poszczególnych elementów, takich jak: funkcjonalności, obsługa czy różnice pomiędzy wersjami.

- Do każdego z obszarów przygotowuje się zagadnienia bardziej szczegółowe, które następnie rozpisuje się na kwestie jeszcze bardziej drobiazgowe. Uzyskujemy dzięki temu, obszerny bank obszarów wiedzy, pozwalający na losowe generowanie pytań. Wyklucza to możliwość wyuczenia się zagadnień na pamięć przez kandydatów, co zwiększa, oczywiście, użyteczność testu. Dopiero w tym momencie można przystąpić do formułowania konkretnych pytań, pamiętając o tym, aby nie nachodziły na siebie i obejmowały cały zakres wiedzy – wyjaśnia doktor Fronczyk.

Najlepiej, kiedy z każdego obszaru tematycznego przygotuje się pewną minimalną liczbę pytań, np. 15. Następnie dokonuje się analizy właściwości formalnych i językowych. Specjaliści od metodologii testów eliminują lub modyfikują pytania nielogiczne, niejasne, zbyt długie lub skonstruowane w zbyt zawiły sposób. Po poprawkach pytania trafiają do ponownego przejrzenia w celu sprawdzenia, czy modyfikacje językowo-formalne nie naruszyły merytorycznej treści pytań.

2. Ocena trafności testu

W największym skrócie, trafność pytań wskazuje, czy faktycznie mierzą one to, co mają mierzyć. Sprawdza się ją, prosząc o udzielenie odpowiedzi na poszczególne pytania przez osoby o różnym poziomie wiedzy na dany temat. Mogą to być np. doświadczeni oraz nowi pracownicy. Do badań można włączyć także klientów, korzystających z produktów czy usług firmy przez dłuższy lub krótszy okres czasu. Kluczowe jest znalezienie dwóch grup różniących się stanem wiedzy z określonego obszaru.

- Różnice, np. pomiędzy pracownikami nowymi a tymi o długim stażu w danej firmie, powinny mieć swoje odzwierciedlenie w odpowiedziach. Jeśli stanie się inaczej i osoby zarówno o niskim, jak i wysokim poziomie wiedzy, jednakowo często udzielą prawidłowych odpowiedzi, będzie to świadczyć o braku trafności danego pytania. W praktyce oznacza to, że nie odróżnia ono dwóch wyselekcjonowanych przez nas grup badanych – wyjaśnia ekspert z Instytutu Analiz im. Karola Gaussa.

Wyniki testów wiedzy powinny być skorelowane z rzeczywistymi rezultatami działań pracowników. W przypadku znajomości produktu dowiedziono, że im lepszą wiedzę o sprzedawanych towarach posiada sprzedawca, tym trafniejsze pytania zadaje podczas rozmowy handlowej. Wynika stąd, że rezultaty testów wiedzy produktowej powinny korelować z efektywnością pracy danego pracownika, co w przypadku sprzedaży przekłada się na realizację planu sprzedaży. Jest to inny sposób sprawdzenia trafności testu. Kolejnym sposobem sprawdzenia trafności jest poddanie grupy osób szkoleniu z zakresu wiedzy, którego dotyczy test. Przeprowadzenie badania przed i po szkoleniu powinno pokazać istotne różnice między tymi dwoma pomiarami.

Następna stosowana metoda sprawdzenia trafności pytań to porównanie wyników testu i rzeczywistego zachowania pracownika podczas czynności, w których wykorzystywana jest wiedza z testowanego zakresu. Ocena zachowania podczas pracy może być dokonana przez specjalnych sędziów. Niekiedy wykorzystuje się do tego celu przełożonych, jednak nie jest to metoda polecana, ze względu na ewentualne uprzedzenia i ogólną wiedzę przełożonych o swoich pracownikach, która może wpływać na postrzeganie wykonywania konkretnych czynności.

3. Określenie rzetelności testów wiedzy (wyznaczanie benchmarków)

Ostatnim etapem tworzenia testu wiedzy jest sprawdzenie jego dokładności. Ta precyzja pomiaru w metodologii badań nazywana jest rzetelnością testu. Jej określenie może opierać się na jednokrotnym bądź dwukrotnym pomiarze. Metody dwupomiarowe badają tzw. stabilność testu. Polegają one na dwukrotnym przeprowadzeniu testu na tej samej grupie osób w odstępie np. kilku tygodni. Jeśli między pomiarami nie odbywa się żadne szkolenie, uzyskane przez pracowników wyniki powinny być zbliżone w obu pomiarach.

Gdy nie ma możliwości zastosowania wielokrotnego pomiaru, istnieje możliwość wykorzystania jednej z technik jednopomiarowych. Polega ona na podziale testu na dwie połowy lub specjalne wskaźniki. W pierwszym przypadku każda połowa musi spełniać szereg warunków statystycznych i być równoważna pod względem treści (wszystkie zagadnienia muszą być jednakowo reprezentowane). Miarą rzetelności testu jest współczynnik korelacji pomiędzy obiema połowami testu. Oznacza to, że im bardziej rzetelne jest narzędzie, tym wyższym współczynnikiem korelacji się charakteryzuje.

- Niekiedy podział testu na dwie równoważne połowy nie jest możliwy i wtedy należy skorzystać ze specjalnych wskaźników, np. współczynnika alfa Cronbacha. Jego wartość wskazuje stopień, w jakim poszczególne pytania testu są wzajemnie skorelowane. W badaniu wiedzy pracowników chodzi jednak nie tylko o podobne uporządkowanie osób wypełniających test, lecz o to, czy na jego podstawie zostanie sformułowana taka sama decyzja. W celu sprawdzenia, czy dwa badania skutkują podobnymi decyzjami, oblicza się specjalne wskaźniki zgodności, np. Kappa – dodaje Krzysztof Fronczyk z IAKG.

Zdolność testów do wyłonienia najlepszych pracowników i dokonania najtrafniejszych decyzji biznesowych stanowi meritum całego przedsięwzięcia. Efektywne testy wiedzy ograniczają ryzyko błędnych posunięć, zwiększając jednocześnie efektywność finansową prowadzonych przez firmę działań.

Kinga Syrek

Instytut Analiz im. Karola Gaussa sp z o.o. specjalizuje się w dostarczaniu rozwiązań z zakresu tworzenia narzędzi pomiarowych, analizy danych oraz badań w organizacji. Usługi IAKG są dopasowane do działów Human Resources, Zarządów oraz jednostek odpowiedzialnych za rozliczenia projektów EFS. Instytut może realizować kompleksowe projekty, ale również może pełnić funkcję doradcy merytorycznego lub audytora. W ramach współpracy dostarcza partnerowi odpowiednie narzędzia pomiarowe wraz z procedurami (np. testy kompetencji, ankiety, kwestionariusze), planuje i realizuje badania, analizuje dane pierwotne jak i wtórne.

Benhauer