Część I Przygotowanie do użycia systemu ocen 360 stopni
Rozdział 1. ABC systemu ocen 360 stopni
O gdybyż przez mocy jakiejś traf
Dane nam było zobaczyć siebie oczami innych
Od wielu by nas to uchroniło gaf
I głupich wspomnień
- Robbie Burns[1]
"Ocena okresowa 360 stopni może zmienić twoje życie" - tak brzmiał tytuł wstępnego artykułu jednego z ostatnich numerów czasopisma "Fortune"[2]. Podobny pogląd został wyrażony przez redakcję pisma "Business Week"[3] prezentującego panujący wśród menedżerów wysokiego szczebla pogląd na temat ocen 360 stopni: "wzmacnia samoocenę, pomaga menedżerom w uzyskaniu większej równowagi w życiu i uczy ich, jak być bardziej efektywnymi w pracy i w domu". W oparciu o studium wykonane przez firmy konsultingowe i dystrybutorów narzędzi przeprowadzania wieloźródłowych ocen pracowniczych: "Każda z firm z listy 500 pisma "Fortune" albo to robi, albo o tym myśli"[4].
Co takiego jest w systemie ocen 360 stopni, iż budzi on tak wielki entuzjazm czołowych amerykańskich organizacji? Cytat na początku rozdziału sugeruje odpowiedź: ocena 360 stopni oferuje menedżerom unikalną możliwość dowiedzenia się tego, w jaki sposób ich szefowie, podwładni, współpracownicy, wewnętrzni i zewnętrzni kontrahenci oraz dostawcy postrzegają ich zachowanie. W ten sposób mogłaby "od wielu nas uchronić gaf" poprzez konfrontację z rzeczywistością.
Dlaczego ta książka?
W naszej ponad dwudziestoletniej karierze zawodowej konsultantów zgłębialiśmy kwestie oceny 360 stopni. W tym czasie stworzyliśmy dwa kwestionariusze badawcze mierzące kompetencje przywódcze i umiejętności wpływania na innych, zaprojektowaliśmy instrumenty oceny 360 stopni dla szerokiego spektrum klientów[5] i zarządzaliśmy procesem oceny metodą 360 stopni w takich organizacjach, jak Coca-Cola, Bayer, Nowojorska Giełda Papierów Wartościowych czy GE Capital. Nasza praca nauczyła nas wiele na temat pomagania ludziom w osobistym i organizacyjnym rozwoju dzięki efektywnemu wykorzystaniu metody 360 stopni. Ta książka jest sposobem podzielenia się przez nas zdobytą wiedzą tak, aby pomóc Tobie, Czytelniku, w podjęciu najlepszej decyzji co do użycia tego ważnego narzędzia.
Skupiliśmy się na odpowiedzi na pytania najczęściej zadawane przez specjalistów zarządzania zasobami ludzkimi, menedżerów liniowych i osób zaangażowanych w proces oceny: Skąd mam wiedzieć, iż ocena 360 stopni jest właściwym narzędziem do zaspokojenia moich potrzeb biznesowych? Od czego mam zacząć, jeśli chciałbym wprowadzić w swojej organizacji ocenę 360 stopni? Czy system oceny 360 stopni zakupiony w zewnętrznej firmie będzie odpowiadał specyfice mojej organizacji, czy też muszę go zaprojektować indywidualnie? Jak zapewnić wsparcie pracowników dla tego procesu? Jak mogę upewnić się, iż uzyskane dane pozostaną poufne? W jaki sposób podtrzymać efekty działania tego procesu?
Jak zostać specjalistą oceny 360 stopni?
Pomimo wielu publikacji w czasopismach biznesowych i poświęconych tematyce zarządzania na temat potencjalnych korzyści i pułapek związanych ze stosowaniem oceny 360 stopni, wiele osób nadal ma mgliste pojęcie na temat tego, na czym opiera się ta metoda i jak można ją efektywnie wykorzystywać. W ramach przygotowania do wykładu dla New York Metro Chapter of the Society of Human Resource Managers[6] zapytaliśmy członków tego stowarzyszenia: "Jak można najlepiej opisać zastosowania oceny 360 stopni (oceny wieloźródłowej) w twojej organizacji?". 21% respondentów miało co prawda pewne doświadczenie w stosowaniu tej metody, jednak tyleż samo nie miało o niej bladego pojęcia.
Zanim przystąpimy do omówienia ABC systemu ocen 360 stopni, prosilibyśmy Ciebie, Czytelniku, abyś przez chwilę zastanowił się nad poziomem Twojej wiedzy na jej temat. Na ile czułbyś się przygotowany do dyskusji na ten temat ze swoim zwierzchnikiem lub współpracownikami tak, aby możliwe było podjęcie świadomej decyzji na temat jej zastosowania w Waszej organizacji?
Aby zostać adwokatem wprowadzenia oceny 360 stopni, powinieneś być w stanie dać pogłębioną odpowiedź na poniższe pytania. Zapoznaj się z nimi i zadaj sobie pytanie, na ile pewnie czułbyś się w dyskusji na ich temat.
1. Czym jest ocena 360 stopni? Jakbyś ją zdefiniował?
2. Jakie korzyści przyniesie jej stosowanie pracownikom i organizacji?
3. Jakie informacje są zbierane w trakcie procesu oceny 360 stopni? Jakie są metody zbierania tych informacji? Którą byś rekomendował?
4. Jakie szczeble Twojej organizacji powinny być objęte oceną 360 stopni? Czy od pracowników będzie się oczekiwać uczestnictwa? Jak rozproszyć obawy tych osób?
5. Z pomocą jakich metod można zaprezentować ocenianym treść ich oceny i pomóc im w interpretacji zebranych danych? Którą z metod byś polecał?
6. Jak można sprawdzić, czy oceniani realizują zalecenia oceny i czy dokonuje się postęp?
7. Jak zakończyłbyś proces oceny 360 stopni?
8. Jakie zasoby są niezbędne, aby ten wysiłek przyniósł pozytywne efekty?
9. Jakie są potencjalne pułapki i jak można ich uniknąć?
Jeśli jesteś w stanie bez problemu odpowiedzieć na większość z tych pytań, oznacza to, iż posiadasz duży zakres praktycznej wiedzy związanej z tematem i jesteś gotów do rozpoczęcia kampanii wdrożenia oceny 360 stopni w Twojej organizacji. (Prawdopodobnie będziesz chciał zapoznać się z wybranymi rozdziałami tej książki, aby potwierdzić swoją wiedzę). Jeśli odczuwasz potrzebę poszerzenia i pogłębienia swojego zrozumienia tych zagadnień przed wzięciem na siebie roli efektywnego adwokata tej metody, to powinieneś zapoznać się z całą treścią tej książki. A jeśli na powyższe pytania możesz dać tylko bardzo ogólne odpowiedzi lub nic Ci one nie mówią - zrelaksuj się. Jesteśmy tutaj, aby towarzyszyć Ci w podróży przez meandry oceny 360 stopni.
Czym jest ocena 360 stopni?
Omawiany na kartach tej książki proces oceny obejmuje zbieranie informacji na temat zachowań osoby ocenianej i konsekwencji tych zachowań. Wiadomości uzyskiwane są od przełożonego lub przełożonych, bezpośrednich podwładnych takiej osoby, jej kolegów i współpracowników w zespołach projektowych, zewnętrznych i wewnętrznych klientów oraz dostawców.
Ocena 360 stopni znana jest również pod nazwami: ocena wieloźródłowa, ocena wielostronna, grupowa ocena wydajności i ocena okrężna[7] (ang. full-circle appraisal). Termin "ocena 360 stopni" stał się synonimem oceny wieloźródłowej, nawet jeśli dane nie będą zbierane ze wszystkich możliwych źródeł. W dalszej części książki będziemy zamiennie używać określeń ocena 360 stopni i ocena wieloźródłowa.
Krótka historia oceny 360 stopni
Nie ma nic nowego w ocenie zachowania i produktywności pracowników. Początkowo jednak ocena była dokonywana tylko przez przełożonego danej osoby lub przez właściciela firmy. Opisy warunków pracy na przełomie stuleci wskazują, iż nie było niczym niezwyczajnym koncentrowanie oceny na produktywności i dokonywanie jej w związku z zachcianką zwierzchnika, szczególnie w okolicznościach, gdy sprawy nie szły dobrze.
We wczesnych latach 50. dwie idee pomogły w ukształtowaniu zawartości ocen i sposobu ich prezentacji ocenianym. Szeroka akceptacja i zastosowanie metody zarządzania przez cele pomogły sformalizować i ukierunkować proces oceny. Zwierzchnicy i pracownicy byli od tego momentu w stanie zakładać i realizować określone cele produkcyjne. W tym samym czasie badania nad motywacjami pracowników wykazały, iż zarówno produktywność, jak i satysfakcja z pracy rosną, kiedy pracownicy regularnie otrzymują informację o tym, jak dalece udało im się zrealizować cele i które z ich zachowań pomogły im lub przeszkodziły w ich realizacji. W konsekwencji regularne oceny wydajności pracowniczej (w formie sesji pracowników ze zwierzchnikami) stały się normą.
Oceny ukierunkowane w dół drabiny organizacyjnej, pomimo bycia wartościowym narzędziem monitorowania wydajności i wyjaśniania zachowań przyczyniających się do uzyskania określonego poziomu produktywności, zapewniały jednak tylko jedną perspektywę ewaluacji, przez co ich zastosowanie było ograniczone. Dodatkowo, badania wykazały, iż dokonywana przez zwierzchnika ocena często opierała się bardziej na osiągnięciach całej komórki, a nie zachowaniach pojedynczego pracownika. Przeprowadzana w sposób mało efektywny lub w przypadku, gdy zwierzchnik i pracownik różnili się w ocenie przyczyn słabej wydajności, ocena mogła negatywnie wpływać na motywację pracownika.
Od połowy lat 60. i we wczesnych latach 70. teoretycy i praktycy zaczęli zastanawiać się nad kwestią stworzenia szerszego i bardziej prawdziwego obrazu wydajności pracowniczej. Badacze zaczęli interesować się efektem ocen bezpośrednich podwładnych - tych najbardziej bezpośrednio dotkniętych zachowaniami zwierzchnika - na wydajność menedżerską. Liczne badania podtrzymały hipotezę, iż oceny zachowania zwierzchników przez bezpośrednich podwładnych były trafne i miały pozytywny wpływ, jeśli tylko zwierzchnik dowiedział się, jak oceniali go podwładni. Z tego powodu organizacje takie jak IBM od ponad trzydziestu lat korzystają z ocen dokonywanych przez podwładnych.
W połowie lat 80. Center for Creative Leadership - organizacja badawczo-szkoleniowa non-profit z Greensboro w Karolinie Północnej - wykonało studium, którego wyniki zostały opisane w dwóch książkach. Pierwszą z nich, zatytułowaną The Lessons of Experience: How Successful Executives Develop on the Job napisali Morgan W. McCall Jr., Michael M. Lombardo i Ann M. Morisson[8]. Drugą, zatytułowaną: Key Events in Executives' Lives napisali Morgan W. McCall Jr, Esther Lindsey i Virginia Holmes[9]. Te książki pomogły spopularyzować oceny ukierunkowane w górę drabiny organizacyjnej.
Jak mówi Randall White, pracujący w Center for Creative Leadership przez czternaście lat: "Praca, którą wykonywaliśmy w Center for Creative Leadership w związku z rozwojem zawodowym menedżerów wyższego szczebla, uświadomiła nam, iż ocena dokonań jednostki była zależna od tego, czy oceniany był naszym zwierzchnikiem, kolegą, bezpośrednim podwładnym, czy klientem. Nasze badania wykazały również, iż ludzie uczą się na podstawie własnych doświadczeń - wydarzenia w ich życiu były ich uniwersytetem"[10].
Trzy kluczowe ustalenia studium koncentrowały się wokół zainteresowania ludzi oceną 360 stopni. Pierwszym z nich było stwierdzenie, iż ocena jest ważnym elementem w rozwoju osobistym i zawodowym pracownika. Drugim było ustalenie, iż najbardziej efektywni zwierzchnicy byli pilnymi uczniami - każde wydarzenie było dla nich okazją do nauczenia się czegoś. Trzecim ustaleniem było stwierdzenie, iż wielu pracowników pracowało w środowisku, w którym częstotliwość i treść ocen pracowniczych były niewystarczające.
Tradycyjna, hierarchiczna struktura większości organizacji charakteryzowała się nieefektywnym procesem wyrażania akceptacji i ograniczonym przepływem informacji. Kiedy organizacje starały się osiągnąć sukces w coraz bardziej konkurencyjnym otoczeniu rynkowym i spełnić oczekiwania coraz lepiej poinformowanej i bardziej wymagającej klienteli, ich słabości utrudniały wykorzystanie szans rynkowych i szybką reakcję na zmiany rynku. Z tego powodu organizacje zaczęły spłaszczać swoje struktury organizacyjne, co wymagało lepszej komunikacji i pracy zespołowej w poprzek strukturalnych podziałów wewnątrzorganizacyjnych i wyposażenia pracowników stojących niżej w hierarchii w kompetencje decyzyjne. Wraz z postępami tej ewolucji organizacyjnej, struktury organizacyjne, które były projektowane w taki sposób, aby zapewnić samowystarczalność poszczególnych oddziałów, zostały zastąpione strukturami promującymi wzajemne zależności.
Rezultatem tych zmian, jak również ograniczania biurokracji w wielu firmach, był niespotykany wzrost liczby podwładnych menedżerów wszystkich szczebli. W wielu przypadkach menedżerowie byli również zmuszeni bliżej współpracować z ludźmi z innych jednostek organizacyjnych, nad którymi nie sprawowali bezpośredniego zwierzchnictwa, ale wspólnie z którymi mieli realizować cele organizacyjne. W tych okolicznościach nie mieli okazji osobiście obserwować zachowań poszczególnych osób przez więcej niż kilka godzin w tygodniu i vice versa. Stąd tradycyjne oceny ukierunkowane w górę i w dół drabiny organizacyjnej dawały jeszcze mniej użytecznych informacji niż dotychczas.
Wreszcie ani oceny ukierunkowane w górę, ani ukierunkowane w dół nie uwzględniały perspektyw wielu znaczących osób - kolegów, członków zespołów projektowych, innych menedżerów wyższego szczebla i klientów - których zachowania jednocześnie zależą i wpływają na zachowania danego menedżera. Ci ludzie mają również okazję zaobserwować szerokie spektrum zachowań, które mogą nie być oczywiste dla bezpośredniego zwierzchnika lub podwładnego.
Uwzględnienie punktu widzenia kolegów pozwala na analizę zachowań menedżera w sytuacjach grupowych, a jako że współpraca zespołowa odgrywa coraz istotniejszą rolę w realizowaniu celów organizacyjnych, ta informacja jest niezwykle ważna. Ocena dokonana przez kolegów pozwala również na zdobycie unikalnych informacji na temat zachowań związanych z wywieraniem wpływu na innych w sytuacjach, gdy nie mamy do czynienia z formalną podległością organizacyjną. Dodatkowo ocena dokonywana przez kolegów pomaga w pobudzaniu zachowań prozespołowych, uświadamiając pracownikom, iż trzeba brać pod uwagę nie tylko oczekiwania zwierzchnika.
Ocena dokonana przez klientów i inne osoby spoza organizacji pozwala na uwzględnienie kolejnej wartościowej perspektywy, ponieważ są oni w stanie ocenić, do jakiego stopnia zachowania danej osoby wpływają na podniesienie wartości całej organizacji. Ocena tych osób pozwala również na wyjaśnienie wszelkich konfliktów, jakie może napotkać menedżer pomiędzy odpowiedzialnością w stosunku do organizacji i zewnętrznego klienta. Dzięki temu można ustalić granice działania stosownie do okoliczności.
Te czynniki prowadzą nas do oceny 360 stopni. Zbierając informacje od wielu różnych osób, otrzymujemy pełny obraz zachowań organizacyjnych ocenianego - z każdej strony i z każdej perspektywy, w roli podwładnego, członka zespołu, menedżera, w stosunkach wewnętrznych i zewnętrznych, źródła wiedzy i eksperta w swojej dziedzinie. To jak namalowanie pełnego portretu - zarazem z profilu, en face, jak i od tyłu w jednym.
Gdy ocena płynąca z tych wszystkich źródeł jest prezentowana ocenianemu w określonych ramach, daje mu szansę na wypraktykowanie kluczowych zachowań i planowanie rozwoju, może posłużyć jako dźwignia do prawdziwych, mierzalnych zmian zachowań. Badania empiryczne, jak i jednostkowe przykłady dowodzą, iż oceny 360 stopni mogą prowadzić do zwiększenia wydajności w ocenianych aspektach[11]. W związku z trendem do spłaszczania struktur organizacyjnych i ich uelastyczniania, co wzmaga nacisk na efektywność poszczególnych pracowników, podobne udoskonalenie niesie ze sobą niezwykłe korzyści zarówno dla ocenianego, jak i organizacji.
Jaki rodzaj informacji jest zbierany?
Proces oceny 360 stopni może być wykorzystany do zebrania informacji na temat umiejętności, wiedzy i stylów zachowań danej osoby. Ponieważ brakuje zgodności co do znaczenia tych terminów, w poniższej tabeli 1.1 przedstawiamy robocze definicje, którymi będziemy się posługiwać na potrzeby tej książki.
Tabela 1.1. Robocze definicje typów informacji zbieranych na potrzeby oceny 360 stopni
Umiejętność
Sprawność w wykonywaniu zadań, poziom mistrzostwa w danej dziedzinie (przykładowo umiejętność myślenia strategicznego, komunikacji na piśmie, delegowania obowiązków, wpływania na innych, negocjacji, obsługi urządzenia).
Wiedza
Obeznanie z danym tematem lub dyscypliną wiedzy (przykładowo znajomość danej gałęzi przemysłu czy segmentu rynkowego).
Style zachowań
Zbiór typowych cech lub sposobów reakcji w kontaktach ze środowiskiem zewnętrznym (przykładowo pewność siebie, poziom energii, samowystarczalność, stabilność emocjonalna).
Decyzja na temat rodzaju informacji, które będziemy zbierać, zależy od wielu czynników - problemu biznesowego lub przywództwa czy okoliczności, w jakich dokonywana jest ocena, roli i stanowiska osoby ocenianej, a także norm i wartości organizacyjnych określających, jakie zachowania są akceptowane i właściwe.
Najbardziej pożyteczne kwestionariusze skupiają się na ocenie określonych zachowań, nie zaś na ogólnych sądach. Przykładowo zamiast zapytać: "Czy ta osoba jest inspirującym menedżerem?", pytanie można sformułować następująco: "Jak często dana osoba prezentuje jasną i zachęcającą wizję tego, co może osiągnąć z pomocą mojej (respondenta) współpracy i wsparcia?". Formułując pytania w taki sposób, aby bezpośrednio odnosiły się do osoby oceniającej, unikamy niebezpieczeństwa zgadywania przez taką osobę, jak też oceniany może się zachowywać w stosunku do innych. Dodatkowo dzięki temu oceniany uzyska jasny obraz zachowań, które powinny ulec zmianie lub występować rzadziej.
Oceniający powinni również otrzymać szansę ocenienia poziomu ważności danego zachowania dla nich samych oprócz ewaluacji jego częstości i efektywności. Pozwoli to ocenianemu zidentyfikować najistotniejsze zachowania, na których powinien się skupić, tworząc plan rozwoju osobistego.
W jaki sposób są zbierane dane?
Najpopularniejszymi metodami zbierania danych są kwestionariusze i wywiady indywidualne. Większość kwestionariuszy ma nadal formę papierową, chociaż coraz większą popularność zdobywają kwestionariusze elektroniczne (na dyskach lub on-line) wraz z coraz szerszym zastosowaniem ich w organizacjach. Przyjrzyjmy się obu tym metodom.
Kwestionariusze[12]. Kwestionariusze, generalnie w formie zamkniętych pytań wielokrotnego wyboru, służą dokonaniu przez respondentów oceny zachowań i działań ocenianego w pewnych określonych aspektach. Niektóre kwestionariusze zawierają pytania otwarte, co pozwala respondentom umieścić własne komentarze lub obserwacje wedle ich uznania. W obecnej chwili na rynku jest dostępna ponad setka kwestionariuszy i zidentyfikowanie tego, który utrafi w potrzeby Twoje i Twojej organizacji, nie jest zadaniem łatwym. Wybór kwestionariusza do pewnego stopnia zależy od rodzaju danych, które chcemy uzyskać.
Na szczęście istnieją przewodniki po instrumentach dokonywania oceny, zawierające opisy tych najczęściej spotykanych. Jeden z najlepszych przewodników - Feedback to Managers Volume II: A Review and Comparison of Sixteen Multi-rater Feedback Intruments - jest publikacją Centre for Creative Leadership. Feedback to Managers określa, które kwestionariusze służą do zbierania informacji o umiejętnościach zawodowych.
W przypadku wyboru kwestionariusza proces zarządzania procesem oceny powinien uwzględniać następujące kroki:
- Oceniani zostają poinformowani, w jakim celu zbierane będą informacje i jak zostaną one wykorzystane.
- Oceniani otrzymają zestaw kwestionariuszy, łącznie z tym, który wypełnią na swój temat. Podobne kwestionariusze otrzymają inni (zwierzchnicy, bezpośredni podwładni, koledzy i zewnętrzni lub wewnętrzni klienci) wraz z wyjaśnieniem tego, czemu służą, i prośbą o pomoc.
- Wypełnione kwestionariusze trafiają bezpośrednio do jednego miejsca (w organizacji lub poza nią), gdzie zostaną poddane analizie, na podstawie której zostanie sformułowany raport ewaluacyjny.
- Oceniani dokonują przeglądu otrzymanych ocen, często pod kierunkiem trenera-specjalisty przeprowadzania ocen. Analizują oni otrzymane informacje i określają na podstawie uzyskanej na swój temat wiedzy, jakie kolejne kroki byłyby najwłaściwsze.
Ponieważ kwestionariusze są najczęściej stosowaną techniką zbierania danych do ocen 360 stopni, prześledźmy proces ich zastosowania, krok po kroku na przykładzie.
Niedawno firma Lehrer McGovern Bovis Inc., jedna z największych na świecie firm budowlanych, przeprowadziła program rozwoju kadr kierowniczych z zastosowaniem ocen 360 stopni w celu wykorzystania ich do określenia obszarów rozwoju zawodowego. Margaret Van Voast, menedżer projektu w firmie Lehrer McGovern Bovis Inc., była jedną z osób, które otrzymały list informujący o tym, iż zostały wybrane do wzięcia udziału w procesie oceny. List wyjaśniał również, iż kwestionariusz oceny 360 stopni zostanie użyty do zebrania danych na temat jej zdolności przywódczych i menedżerskiej efektywności, oraz informował, iż otrzyma wyniki badania przeprowadzone z pomocą kwestionariusza w trakcie trwania programu.
Ponieważ nigdy wcześniej nie miała do czynienia z oceną 360 stopni, Van Voast była nieco zdenerwowana: "Myślę, że to normalne, aby mieć pewne obawy związane z byciem ocenianym. Ja nie byłam żadnym wyjątkiem". Myślałam sobie: "O nie, ludzie powiedzą, że jestem kretynką"[13]. Jednak jej obawy zostały rozproszone, gdy ludzie z działu zarządzania zasobami ludzkimi firmy Bovis jasno wyjaśnili jej cel programu, powody jej w nim udziału oraz sposób wykorzystania zebranych danych.
Jak wyjaśnia wiceprezes do spraw zarządzania zasobami ludzkimi w Bovis, Rich Lupi: "Chcieliśmy, aby ludzie byli otwarci na proces oceny. Ze względu na sposób, w jaki wszystko zostało zaplanowane i wprowadzone w życie, ludzie byli w to zaangażowani wcześniej i nie napotkaliśmy większych oporów. Oceniani mieli świadomość, iż była to część programu szkolenia menedżerskiego dla pracowników o dużym potencjale. Od początku jasno postawiliśmy dwie sprawy: po pierwsze, program miał na celu osobisty i profesjonalny rozwój tych osób, a po drugie wybrane do uczestnictwa osoby były bardzo ważne dla Bovis i firma chciała ich zatrzymać. Wybór instrumentu zawierającego elementy postrzegane przez ludzi jako związane z ich pracą na pewno też był pomocny"[14].
Ponieważ w Bovis zdecydowano się nie budować własnego kwestionariusza, Lupi podjął decyzję o zakupie gotowego od zewnętrznego dostawcy. Wybrał kwestionariusz, który odpowiadałby specyficznym potrzebom osób, które chciał zbadać. Jak mówi Lupi: "Ci ludzie, będący w większości inżynierami budowlanymi, nie zarządzają tylko budową, ale również pracownikami i kontaktują się z klientami. Nie tylko budują budynki, ale zarządzają relacjami i procesami dla klientów. Sami określają siebie mianem konsultantów i na pewno istnieją dające się określić umiejętności, które przyczyniają się do ich sukcesów zawodowych w tej roli. Tak więc wybrany kwestionariusz musiał zawierać istotne kompetencje. Wybrany przez nas był najbardziej przyjazny dla użytkownika - najłatwiejszy w użyciu i taki, który w naszym mniemaniu był łatwy do zrozumienia zarówno dla oceniających i ocenianych"[15].
W tydzień po otrzymaniu informacji na temat programu Van Voast otrzymała pakiet dziesięciu kwestionariuszy wraz z listem wyjaśniającym zasady postępowania z nimi. Przed zrobieniem czegokolwiek dokładnie przestudiowała instrukcję i dowiedziała się, iż na początek powinna wypełnić część kwestionariusza dotyczącą samooceny. Proces ten miał zająć jedynie 20 minut i dać pewność, iż zrozumiała, jaki typ pytań miał być zdawany, tak aby mogła ocenić, które osoby byłyby w stanie najlepiej ocenić jej efektywność jako lidera, menedżera i członka zespołu. Część kwestionariusza poświęcona samoocenie wymagała od Van Voast między innymi określenia, jak często posługiwała się zastanymi procedurami (zazwyczaj, w dużym stopniu, w ograniczonym stopniu, rzadko, w małym stopniu, nigdy, w ogóle, nie dotyczy). Kwestionariusz zawierał stwierdzenia typu: "Jasno wyjaśniam, jakich efektów projektu lub zadania oczekuję", "Uważnie wysłuchuję wszelkich uwag wyrażanych na temat moich propozycji lub planów bez przyjmowania postawy defensywnej", "Wychodzę z inicjatywą zidentyfikowania związanych z pracą problemów wymagających rozwiązania" i "Zachęcam do współpracy i wspólnego wysiłku osoby, które potrzebują siebie nawzajem do wykonania swoich zadań". Van Voast wypełniła swój kwestionariusz i odesłała go w dostarczonej kopercie do zewnętrznej firmy konsultingowej zbierającej wyniki.
Następnie wysłała kopie tego samego kwestionariusza do swojego szefa, czterech kolegów, z którymi często współpracowała, i czterech bezpośrednich podwładnych. Przesłane im wersje kwestionariusza obejmowały pytania o te same zachowania organizacyjne, wzbogacone o prośby o określenie przez respondentów, czy chcieliby, aby dane zachowanie miało miejsce częściej, rzadziej lub z tą samą częstotliwością. Do kwestionariuszy dołączony był list (dostarczony przez firmę przeprowadzającą proces oceny) wyjaśniający respondentom, iż Van Voast prosi ich o pomoc w ocenie swoich zachowań, aby móc opracować plan rozwoju personalnego. List zapewniał respondentów, iż przekazane przez nich dane pozostaną poufne, to znaczy zapoznawszy się z oceną, Van Voast nie będzie wiedziała, kto co powiedział. Wybrani przez Van Voast respondenci wypełnili kwestionariusz i odesłali go do tej samej zewnętrznej firmy.
Mniej więcej miesiąc później Van Voast dotarła na zaplanowaną dwudniową sesję treningową przygotowana na najgorsze. Sesję prowadził konsultant zatrudniony przez tę samą firmę, która dostarczyła kwestionariusze i dokonała ich analizy. Po krótkim wprowadzeniu każda osoba otrzymała raport oceniający na swój temat. Okazał się on znacznie mniej krytyczny, niż obawiała się tego Van Voast. Jak mówi: "Dobrą stroną tych kwestionariuszy było to, iż wszyscy oceniający uwzględnili też pozytywne aspekty obok tych mniej pozytywnych. Gdy słyszysz na swój temat wiele dobrego, to łatwiej ci powiedzieć: "OK, w tym jestem dobra, ale nad tym powinnam popracować""[16].
Po pewnym czasie spędzonym na samodzielnym studiowaniu ocen prowadzący sesję poprosił uczestników o utworzenie małych grup roboczych. Grupom przydzielono konkretne ćwiczenia mające na celu pomóc im w spojrzeniu na swoje oceny w kontekście ich bieżącego środowiska pracy tak, aby mogli określić swoje mocne strony i obszary wymagające dalszego rozwoju. Jak wspomina Van Voast: "Zdałam sobie sprawę, iż czasami na siłę dążę do konsensusu, zamiast powiedzieć, że musimy coś zrobić w określony sposób i tak właśnie zrobimy. Zdałam sobie sprawę, iż nie można zawsze kierować w sposób demokratyczny, jeśli praca ma być wykonana na czas. Niekiedy zespół oczekuje od szefa walnięcia pięścią w stół. O ile dobrze jest zaangażować innych w podejmowanie decyzji, to istnieje również coś takiego jak nadmiar informacji"[17].
Wywiady[18] indywidualne. Proces oceny z wykorzystaniem wywiadów powinien obejmować następujące kroki:
- Podobnie jak w przypadku użycia kwestionariuszy, oceniany jest informowany na temat przyczyn zbierania informacji i sposobu ich wykorzystania.
- Oceniany pomaga w ustaleniu, jakie pytania zostaną zadane i z kim zostaną przeprowadzone wywiady.
- Przeprowadzający wywiady umawia się z wyznaczonymi osobami i przeprowadza rozmowy.
- Przeprowadzający wywiady przygotowuje zbiorczy raport uwzględniający główne poruszane zagadnienia i uwagi z reprezentatywnymi (lecz anonimowymi) cytatami na temat zachowań ocenianego.
- Oceniany spotyka się z osobą, która zebrała informacje i opracowała raport na jego temat, aby dokonać analizy zebranych danych i omówić kolejne kroki.
- Oceniany tworzy plan rozwoju personalnego uwzględniający szczegółowe działania, daty docelowe i terminy analizy postępów.
Wywiady mogą służyć jako jedyna metoda zbierania danych lub tylko uzupełniająco przy równoczesnym zastosowaniu kwestionariuszy. Wywiady mogą być przeprowadzane równolegle z badaniem kwestionariuszowym lub po jego zakończeniu w celu doprecyzowania lub rozbudowania danych zebranych z pomocą kwestionariusza. Przykładowo po otrzymaniu wypełnionych kwestionariuszy od swojego szefa oraz wybranych podwładnych i kolegów, Diane Frimmel, starsza wiceprezes i dyrektor operacyjna Paine Webber, zdecydowała się na przeprowadzenie wywiadów w celu lepszego zrozumienia otrzymanych komunikatów. Wykorzystała ona uzyskane dzięki wywiadom informacje do dopracowania swojego planu rozwoju i określenia sposobów uzyskania wsparcia innych dla realizacji jej celów przywódczych i organizacyjnych. Z perspektywy samej Frimmel: "Dane z kwestionariuszy były bardzo pożyteczne, ale przynosiły ze sobą tyle samo pytań co odpowiedzi. Jeśli na podstawie tych danych miałam wykonać kolejny krok w rozwoju zawodowym, potrzebowałam precyzyjniejszych danych na temat kluczowych komunikatów zawartych w kwestionariuszach. Dzięki wywiadom udało mi się wyjaśnić zagadnienia, które postrzegałam jako kluczowe"[19].
Wielu praktyków wyraża przekonanie, iż metoda wielokrotnego zbierania danych daje najlepszy obraz zachowań jednostki. Jednym z wyznawców tego poglądu jest David DeVries, były wiceprezes wykonawczy Center for Creative Leadership, obecny jeden z prezesów Kaplan-DeVries, firmy konsultingowej specjalizującej się w zastosowaniu oceny 360 stopni dla rozwoju menedżerskiego. DeVries mówi: "Oceny powinny pochodzić z wielu źródeł i być uzyskiwane różnymi metodami. Uważam, iż wywiady powinny być integralną częścią każdego procesu oceny 360 stopni przeprowadzanego z pomocą kwestionariuszy. Kwestionariusz pozwala na zebranie pożytecznych danych, jednak są to dane o charakterze nadmiernie ogólnym. Jest niezwykle pożytecznym uzupełnić je danymi z wywiadów, które przynoszą nam zupełnie inne informacje. Nie przeczą danym zabranym z pomocą kwestionariusza, dostarczają za to konkretnych przykładów"[20]. Z tą opinią zgadza się Randall White: "Wywiady zapewniają nam kontekst, a nie tylko informacje o silnych i słabych stronach danej osoby. Uzupełniają one dane uzyskane z pomocą kwestionariuszy". Dodaje on: "Jednak większość organizacji nie posiada zasobów pozwalających na zebranie tego typu danych"[21].
Gdzie wykorzystywane są oceny 360 stopni?
Chociaż oceny 360 stopni są dziś wykorzystywane na wszystkich szczeblach organizacyjnych, to najczęściej spotykamy je na szczeblach kierowniczych, zwłaszcza tych wyższych. Członkowie Stowarzyszenia Specjalistów Zarządzania Zasobami Ludzkimi (ang. Society of Human Resource Managers), którzy wzięli udział w naszym badaniu na temat zastosowania oceny 360 stopni, stwierdzili, iż w ich organizacjach ocenie tą metodą podlegają członkowie zarządu (35%) i kadra kierownicza wyższego i średniego szczebla (37%). W 23% przypadków ocena obejmowała również kadrę menedżerską średniego szczebla, w 18% - menedżerów najniższego szczebla, a w 11% - nawet pracowników niepełniących funkcji kierowniczych. Respondenci mogli wybrać więcej niż jedną odpowiedź, stąd bezpiecznie można założyć, iż wiele organizacji wykorzystuje tę metodę na więcej niż jednym szczeblu zarządzania. (Wyjaśnia to również, dlaczego suma procentów przekracza 100).
Zapytaliśmy licznych kierowników działów zarządzania zasobami ludzkimi i szefów działów szkoleń i rozwoju, w jaki sposób w ich organizacjach podejmuje się decyzje co do szczebli hierarchii, na których zostanie wykorzystana ocena 360 stopni. Marion Jacobson, wiceprezes i dyrektor ds. treningu korporacyjnego w Paine Webber, wyraziła pogląd wielu osób opowiadających się za rozpoczęciem ocen 360 stopni od menedżerów najwyższego szczebla: "Wybraliśmy ten sposób, ponieważ chcieliśmy pokazać osobom na niższych szczeblach, iż włączamy je w program rozwoju wyższych kadr menedżerskich, a także zaproponować model bycia otwartym na nowe doświadczenia. Kiedy dostrzegli, iż kierownictwo najwyższego szczebla było otwarte na opinie innych na swój temat i miało świadomość potrzeby rozwoju swoich kwalifikacji, stali się chętniejsi do wzięcia udziału w podobnym procesie. I dodatkowo, anegdotyczne opowieści starszych rangą menedżerów były tak fantastyczne, iż kierownicy niższego szczebla byli wręcz podekscytowani na myśl, iż wezmą udział w podobnym procesie"[22].
Steve Gonabe, wiceprezes ds. szkoleń i rozwoju w Household International, gdzie menedżerowie najwyższego szczebla byli również pierwszymi, których oceniono metodą 360 stopni, wyjaśnia, iż decyzja ta była uwarunkowana chęcią dokonania szerokiej zmiany organizacyjnej. "Chcieliśmy upewnić się, iż ludzie nie tylko otrzymają wyniki oceny, ale i będą się zachowywać w sposób zgodny z kulturą organizacyjną, którą chciał wprowadzić nasz prezes Bill Aldinger. Aby spowodować faktyczną zmianę kulturową, musieliśmy rozpocząć od ludzi z samej góry tak, aby efekty były filtrowane w dół drabiny organizacyjnej"[23].
W jakim celu wykorzystywane są oceny 360 stopni?
Na pytanie: "Do jakich celów w Twojej organizacji wykorzystywane są oceny 360 stopni?", 58% ankietowanych przez nas menedżerów działów zarządzania zasobami ludzkimi odpowiedziało, iż w celu rozwoju menedżerskiego i organizacyjnego, 25% wskazało na oceny wydajności, 20% podało wspieranie wprowadzania strategii i zmiany kulturowej, a 19% - rozwój zespołowy (respondenci byli proszeni o zaznaczenie wszystkich odnoszących się do ich organizacji wariantów odpowiedzi, stąd przekraczają one 100%). Inne badanie, przeprowadzone wśród film konsultingowych wykazało, iż 85% klientów tych firm wykorzystywało oceny 360 stopni do celów rozwojowych. Rozwój okazuje się więc najczęstszym polem zastosowania tej metody[24].
Nasze własne doświadczenia potwierdzają tę konkluzję. Zaobserwowaliśmy jednak trend szerszego zastosowania oceny 360 stopni, wraz z wzrastającą świadomością przydatności tej metody w zmianach organizacyjnych i doświadczeniem organizacji w posługiwaniu się nią. Pomagając setkom firm w rozwiązaniu ich problemów biznesowych, mieliśmy okazję zaobserwować wiele sposobów efektywnego zastosowania oceny 360 stopni do celów innych niż rozwój. Poniżej prezentujemy listę innych (sprawdzonych i efektywnych) zastosowań tej metody.
Realizacja strategii biznesowej i dokonywanie zmiany organizacyjnej poprzez wyjaśnienie zachowań koniecznych do wsparcia tych inicjatyw
Kiedy organizacja ustali już swoją strategię i cele biznesowe, oceny 360 stopni mogą być wykorzystywane jako kluczowy element przy ukierunkowywaniu energii pracowników na osiąganie zmienionych celów organizacyjnych poprzez zmiany zachowań.
Prawdziwa zmiana kulturowa może być osiągnięta tylko poprzez skłonienie pracowników wszystkich szczebli do zachowania się w sposób sprzyjający zmianie. Liderzy będą prezentować nowe typy zachowań i zachęcać innych do naśladownictwa. Pracownicy muszą wiedzieć nie tylko, jakich zachowań oczekuje się od nich w przyszłości, ale też na ile ich dotychczasowe zachowanie odbiega od oczekiwań, które się zmieniły.
Zbieranie danych na temat istotnych zachowań to wysyłanie jasnego komunikatu pracownikom na temat tego, co jest ważne, co będzie oceniane i nagradzane. Ponieważ szef, koledzy i podwładni danego menedżera często mają najlepsze pole do obserwacji jego aktualnych zachowań i zwrócenia uwagi na ewentualne luki pomiędzy nimi a oczekiwaniami, ocena 360 stopni może być efektywnym punktem wyjścia do zmiany organizacyjnej.
Zwiększenie efektywności zespołowej
Zachowania, które przyczyniają się do efektywności jednostki jako członka zespołu, są zupełnie inne od tych wymaganych w bardziej tradycyjnych i hierarchicznych relacjach. Ponieważ organizacje w coraz szerszym zakresie przechodzą na struktury zespołowe - zespoły wielozadaniowe powoływane na różne okresy czasu - w celu zmaksymalizowania zysków poprzez zwiększoną efektywność, reaktywność i jakość, pracownicy czują, iż muszą opanować nowe umiejętności. Wiele organizacji wykorzystuje oceny 360 stopni skupiające się na cechach wymaganych do efektywnej współpracy zespołowej. Zbierane dane pomagają w określeniu, które zachowania są najistotniejsze i pomagają pracownikom zrozumieć, co muszą zrobić, aby zwiększyć swoją zespołową efektywność.
Jako część systemów zarządzania zasobami ludzkimi, w celu rozwoju, oceny i nagradzania krytycznych zachowań związanych z wykonywaniem pracy
Podobnie jak jednostki wykorzystują oceny 360 stopni do określenia własnych potrzeb rozwojowych, organizacje mogą wykorzystywać zbiorcze raporty do tworzenia profili szkoleniowych i rozwojowych dla potrzeb całej firmy. Stworzenie podobnych profili pozwala na zaplanowanie efektywnych interwencji - szkoleń, przydzielania zadań, mentoringu lub coachingu - w celu poprawienia wydajności poszczególnych osób i zapewnienia im wsparcia w dopasowaniu ich zachowań do celów i wartości organizacji.
Ostatnie trendy wskazują na wzrost częstotliwości zastosowań ocen 360 stopni dla celów administracyjnych[25]. Coraz więcej systemów ocen wydajności jest rozbudowanych w celu uwzględnienia opinii bezpośrednich podwładnych i kolegów[26]. Połowa firm, które wzięły udział w niedawnym badaniu, zadeklarowała, iż oceny 360 stopni są używane jako narzędzie do formalnej ewaluacji pracowników, lokalizowania stanowisk pracy, decyzji płacowych i cięć kadrowych. Jedna z organizacji dokonała nawet porównania trafności przewidywań swojego Assessment Center i bezpośrednich raportów ocen 360 stopni na temat efektywności przywódczej. Okazało się, iż bezpośrednie raporty wykazywały wyższą trafność[27].
Szczegółowe przykłady każdego z powyżej opisanych zastosowań opisuje rozdział 2. W większości przypadków odkryliśmy, iż proces oceny 360 stopni miał wpływ na więcej niż jeden z powyżej wymienionych aspektów. Dzieje się tak, ponieważ nakreślone sztywno cele organizacyjne mogą się jednak wzajemnie przeplatać. Przykładowo do promowania zmiany kulturowej i osiągania celów biznesowych rzadko podchodzi się jak do odrębnych, niepowiązanych zagadnień; najczęściej zmiana kulturowa jest od początku zamierzona do posłużenia celom biznesowym.
Kluczowe decyzje na temat wykorzystania systemu ocen 360 stopni
Jeśli zdecydowałeś, iż oceny 360 stopni będą przydatne dla celów Twojej organizacji, wraz z kolegami będziesz musiał podjąć ważne decyzje na temat tego, na jakich szczeblach organizacji przeprowadzona zostanie ocena, jakie będą metody zbierania danych, jaki kwestionariusz zostanie użyty dla wybranej metody i jaki będzie sposób pomocy ocenianym w zrozumieniu sensu oceny i zaplanowaniu kolejnych kroków. Te decyzje zależne będą od celów przeprowadzenia oceny, natury organizacji i dostępnych zasobów.
Ta książka ma na celu dostarczenie informacji pozwalającej na podjęcie możliwie najlepszej decyzji w następujących kwestiach:
Właściwego podejścia do zbierania informacji i ich zaprezentowania ocenianym w Twojej organizacji
Będziesz musiał rozważyć, które umiejętności, wiedza i style zachowań są tak istotne, aby można było stosownie ukierunkować proces zbierania danych; zdecydować, czy będziesz chciał wykorzystać kwestionariusze, wywiady indywidualne lub jakąś kombinację obydwu tych metod. Podjąć decyzję, czy (o ile zdecydujesz się na kwestionariusz) zakupić gotowy, czy stworzyć własny. Zastanowić się, jak znaleźć najbardziej odpowiadający potrzebom kwestionariusz, o ile zapadnie decyzja o jego kupnie. Rozstrzygnięcia wymaga też kwestia prezentacji oceny ocenianym - czy dokonać tego na spotkaniu indywidualnym czy grupowym?
Wywołania entuzjazmu i zapewnienia wsparcia kluczowych decydentów w organizacji
Szerokie poparcie jest bardzo ważne dla uzyskania zielonego światła dla przeprowadzenia procesu oceny 360 stopni i zapewnienia jego końcowego sukcesu. W szczególności powinno się zadbać o wsparcie kierownictwa najwyższego szczebla, i to jak najwcześniej. Najłatwiej jest je zapewnić za pomocą połączenia procesu oceny 360 stopni z konkretnymi inicjatywami biznesowymi oraz uzasadnienia kosztów i przedstawienia prognozy zysków tego procesu dla organizacji i indywidualnych pracowników. Gdy kluczowi decydenci zrozumieją, iż oceny 360 stopni wpisują się w kontekst szerszych celów organizacyjnych, to będą bardziej skłonni do poparcia wprowadzenia tej metody. Kiedy zaś wyżsi rangą menedżerowie zapalą się do pomysłu, to zarażą swoim entuzjazmem swoich podwładnych.
Zapewnienie wysokiej jakości i użyteczności zbieranych danych
Będziesz chciał zwiększyć prawdopodobieństwo uzyskania użytecznych informacji przez ocenianych, w przyjaznej dla nich formie i otoczeniu. Rozważyć trzeba kwestie ochrony prywatności oceniających, wyboru wystarczającej liczby respondentów, najefektywniejszego sposobu prezentowania wyników i sposobu wyjaśnienia ocenianym, w jaki sposób ocena może pomóc im zwiększyć ich efektywność.
Zapewnienie istotnych, szkoleń, planów rozwojowych i działań poewaluacyjnych
Konieczne będzie rozważenie tego, jakie rodzaje indywidualnych konsultacji i monitorowania powinny być zapewnione w trakcie i po zakończeniu procesu oceny, jakie rodzaje szkoleń będą najbardziej użyteczne i jak wygląda kwestia ich dostępności. W jaki sposób skłonić pracowników do formułowania istotnych, realistycznych celów rozwojowych i jak monitorować ich postępy?
Uwagi końcowe
W przypadku ocen 360 stopni bardzo ważne są zarówno sam proces, jak i treść. Sposób zbierania i prezentowania danych, a także rodzaj zadawanych pytań mogą mieć olbrzymi wpływ na sposób przyjęcia oceny. Z tego powodu zalecamy szczególną uwagę przy projektowaniu procesu tak, aby rzeczywiście służył on zamierzonym celom.
Przypisy:
[1] Wiersz R. Burnsa "To a Louse" w przekładzie tłumacza
[2] B. O'Reilly, 360 [Degree] Feedback Can Change Your Life, "Fortune" 1994, 17.10, s. 93 - 97.
[3] L. Bongiorno, How'm I Doing? This Creative Management Program Uses Tough Love, "Business Week" 1995, 23.10, s. 72 - 74.
[4] M. London, J. W. Smithers, Can Multi-source Feedback Change Perceptions of Goal Accomplishment, Self-Evaluations and Performance Related to Outcomes? Theory-Based Applications and Directions for Research, Filadelfia 1995. Artykuł przyjęty do publikacji w piśmie "Personnel Psychology".
[5] Opracowane przez autorów książki metody ocen 360 stopni to między innymi Kompas i Macierz. Przykłady zastosowania tych metod będą przedmiotem niektórych fragmentów tej książki - przyp. red.
[6] New York Metro Chapter of the Society of Human Resource Managers - profesjonalna organizacja stowarzyszająca ok. siedmiuset specjalistów z dziedziny zarządzania zasobami ludzkimi; największa tego typu na świecie - przyp. red.
[7] Ocena 360 stopni (ang. 360-degree feedback) oznacza dosłownie "360-sto-pniową informację zwrotną". Na język polski dość niefortunnie jest tłumaczona jako "ocena", co wywołuje negatywne skojarzenia z represywnością ocen szkolnych. Jednak istotą tej metody nie jest określanie wartości, ale pozyskiwanie informacji o pracowniku. 360 stopni, czyli pełny okrąg, ma przywodzić skojarzenia z całym zawodowym otoczeniem pracownika udzielającym mu komunikatów zwrotnych na temat jego funkcjonowania w organizacji - przyp. red.
[8] M. W. McCall Jr., M. M. Lombardo, A. M. Morrison, The Lessons of Experience: How Successful Executives Develop on the Job, Lanham 1988.
[9] E. Lindsey, V. Holmes, M. W. McCall Jr., Key Events in Executives' Lives, "Technical Report" 1987, nr 32.
[10] Wywiad z Randallem White'em, listopad 1995.
[11] Special Issue on 360-degree Feedback, "Human Resource Management" 1993, lato - jesień, s. 32.
[12] Kwestionariusz nie występuje jako samodzielna metoda badawcza, ale składnik różnych metod wystandaryzowanych (czyli umożliwiających porównania) - czyli jako narzędzie badawcze. W języku polskim rozróżniamy kwestionariusze ankiet i kwestionariusze wywiadów. Jest to o tyle istotne, że pozwala odróżnić wywiad kwestionariuszowy (zgodny ze scenariuszem, powtarzalny, zaplanowany) od wywiadu swobodnego, spontanicznego. Jednak ze względu na to, że w niniejszej publikacji będą omawiane tylko te dwa narzędzia, rezygnujemy z dookreśleń: będą używane pojęcia "kwestionariusz" i "wywiad". Należy pamiętać, że Autor ma na myśli metody wystandaryzowane, odpowiadające polskim pojęciom "kwestionariusz ankiety" i "kwestionariusz wywiadu" - przyp. red.
[13] Wywiad z Margaret Van Voast, listopad 1995.
[14] Wywiad z Richem Lupim, listopad 1995.
[15] Wywiad z Richem Lupim, listopad 1995.
[16] Wywiad z Margaret Van Voast, listopad 1995.
[17] Wywiad z Margaret Van Voast, listopad 1995.
[18] Chodzi oczywiście o wywiady kwestionariuszowe, lecz dla uproszczenia, w całej publikacji będzie stosowany termin skrócony "wywiady" - przyp. red.
[19] Wywiad z Diane Frimmel, maj 1996.
[20] Wywiad z Davidem DeVries, listopad 1995.
[21] Wywiad z Randallem White'em, listopad 1995.
[22] Wywiad z Marion Jacobson, maj 1996.
[23] Wywiad z Stevem Gonabe, maj 1996.
[24] M. London, J. W. Smithers, Can Multi-source Feedback Change Perceptions of Goal Accomplishment, Self-Evaluations and Performance Related to Outcomes? Theory-Based Applications and Directions for Research, Filadelfia 1995. Artykuł przyjęty do publikacji w piśmie "Personnel Psychology".
[25] D. W. Bracken, Straight Talk About Multi-rater Feedback, "Training and Development" 1994, wrzesień, s. 44 - 51.
[26] C. W. Timmreck, Upward Feedback in the Trenches: Challenges and Realities. Referat wygłoszony na 10. corocznym spotkaniu Society for Industrial and Organizational Psychology, Orlando, Floryda 1995.
[27] H. J. Bernardin, R. W. Beatty, Can Subordinate Appraisal Enhance Leader Effectiveness?, "Sloan Management Review" 1987, nr 28(4), s. 63 - 73.
