樓主上次發(fā)布了《Phillips的“五級六指標”模型》,之后收到很多消息、留言或者問題,對培訓效果的評估上顯得很無奈,也很迷惑,更有迷糊,說:培訓效果評估,很多人說這是形式,沒有效果。樓主試著把所遇到的問題匯總回答如下,期待能帶給大家一些啟示。當然,有些地方只是樓主的見解,不一定對,歡迎參與討論,讓我們更一步清晰明白:對于培訓效果評估究竟如何做才是最有效的。 論壇及線下交流群提及的問題,樓主進行了歸類,具體表現(xiàn)形式上: 第一、在培訓計劃制定上沒有包含對培訓評估方法的選擇; 第二、在培訓評估系統(tǒng)設計上選擇了不當?shù)脑u估形式,沒有制定完整的合理性培訓評估計劃,每次培訓完了沒有用心進行評估總結,更不要說建立良好的培訓評估反饋系統(tǒng)和進行有效反饋; 第三、在培訓評估標準制定上,對培訓效果的評估沒有形成體系,或者是搞主觀性過強的反應評估;或者是給受訓人員帶來壓力的學習評估;或者是占用時間和經(jīng)理太多的行為評估;或者是評估標準有歧義存在缺陷;這樣的評估結果,肯定就會導致信度很低。 下面,樓主結合一些案例對以上表現(xiàn)形式進行分析,努力尋求解決之道: 一:在制定培訓計劃時,不要忘記選擇培訓評估方法! 培訓結束后評估方法的選擇,是衡量培訓成功與否的重要途徑,在《Phillips的“五級六指標”模型》帖子中,曾說到:“培訓評估:回答的是“做得怎樣”的問題,也就是對當初為啥搞培訓的出發(fā)點和初衷進行驗證,對培訓實施的過程進行跟蹤,對培訓后產(chǎn)生的成果進行衡量測量。所以,培訓效果評估是貫穿于整個培訓的循環(huán)中的,而不是等到培訓搞完了才來評估。”以下是網(wǎng)絡上流傳的一份培訓計劃:
這份培訓計劃中就沒有把培訓評估方法作為重要內容選擇進去。那么就會導致目標能不能實現(xiàn),不好衡量。 培訓評估對所有參加培訓的公司來說都是不可少的一個環(huán)境,可以對培訓效果進行正確、合理的判斷、確定受訓人員知識、技術能力的提高或行為表現(xiàn)的改變是否直接來自培訓本身,找出培訓的不足,發(fā)現(xiàn)新的培訓需求,客觀地評價培訓者的工作,為管理層決策提供所需信息。 因此,在制定培訓計劃時,應該確定培訓實施中所采用的評估方法,包括如何考核培訓的成敗、如何進行中間效果的評估、如何評估培訓結束時受訓人員的學習效果等等。 第一、在有關培訓評估方法的選擇上,有觀察法、問卷調查法、測試法、情景模擬測試、績效考核法、360°考核、前后對照法、時間序列法和收益評價法等等。 第二、對培訓效果評估的實施上,應該從反應層、學習層、行為層和結果層進行,也就是采用Kirkpatrick的四層次理論。論壇中有關這樣的理論和模型,這里就不再多說,各位可以參考以下帖子: 1. 柯氏評價 2. 柯氏四級培訓評估模式 雖然說:“培訓不是萬能的”,但是“沒有培訓是萬萬不能的”!任何一項培訓都必須接受效果評估,否則培訓就流于形式起不到任何作用。為避免這個形式,和避免培訓的盲目性,作為HR就應該建立起一整套科學有效的培訓評估系統(tǒng)。這個系統(tǒng)應該是對培訓前、培訓中、培訓后各個環(huán)節(jié)進行檢驗的逐步深化的過程。 二:根據(jù)實際情況采取適當?shù)脑u估形式。 根據(jù)具體的培訓情況(目的、對象、內容、方法與技術等等),可以采用具體的評估形式來評估培訓效果。但是若采用了不恰當不合適的評估形式,將直接影響對培訓效果的評估,間接影響公司的決策和下次培訓計劃的制定。 A公司決定對各地業(yè)務員進行營銷培訓,為期三周。HR經(jīng)理讓培訓主管小夏全面負責,并讓其做好本次培訓的評估分析。小夏對此事非常認真,積極設計了評估過程中的測評問卷,計劃對培訓規(guī)程跟進評估,從而形成有效的評估報告。在培訓期間,小夏每三天就會對受訓人員進行問卷測試,總結培訓效果和向大家說明情況,但是到了第二周,許多業(yè)務員就不愿意做問卷了,說:“我們是來學習營銷知識和經(jīng)驗的,不是來做問卷測試的……”小夏的計劃很難進行下去,最后也沒有拿出一個很好的評估報告。 與管理中的控制功能相似,在公司培訓的某一項目或課程結束后,一般要對培訓效果進行一次總結性的評估或檢查,以便找出參加人員究竟有哪些收獲或提高。通過評估可以對培訓效果進行正確合理的判斷,以便于了解某一項目是否達到原定目標和要求。小夏的問題在于他只是主觀地想要進行培訓評估,而忽視了評估形式的正確應用,造成員工抵觸情緒。 一般說來,培訓效果評估的形式主要有: 第一、非正式和正式評估。非正式評估就是評估者依據(jù)自己的主觀性的判斷,而不是用事實和數(shù)據(jù)來加以證明。正式評估就是在一些正式的場合,尤其是當評估結論要被管理層用來作為覺得的依據(jù),或者為了向特定人員說明培訓效果時需要的評估形式。 非正式評估一般不需要記錄太多的信息,但有時要記錄下某些認為對評估有價值的信息,比如參訓人員的表現(xiàn)、態(tài)度和一些特殊困難。這種方式在于可以使評估者能夠在參訓人員不知不覺的自然狀態(tài)下進行觀察,減少了緊張情緒,增強了信息的真實性和評估結論的客觀性有效性,方便易行,幾乎不需要耗費什么額外的時間和資源。 正式評估往往具有詳細的評估方案、測度工具和評判標準。盡量剔除主觀因素影響,從而使評估更可信:在數(shù)據(jù)和事實的基礎上做出判斷,使評估結論更有說服力,更容易用書面形式表現(xiàn)出來,可以將評估結論和最初計劃比對核定。 第二、建設性評估和總結性評估。建設性評估就是在培訓過程中以改進而不是以是否保留培訓項目為目的的評估;總結性評估就是在培訓結束時,對參訓人員的學習效果和培訓項目本身的有效性所進行的評估。 建設性評估經(jīng)常是一中非正式的主觀評估。當進行建設性評估時,需要保證定期評估不過分頻繁,也不能讓參訓人員有一種他們一直在進行簡單乏味和重復學習的感覺。不然的話,建設性評估就無法發(fā)揮他的激勵作用,其他一些優(yōu)勢也會因此喪失殆盡。選擇這種評估,有助于參訓人員學習的改進,幫助參訓人員明白自己的進步,從而使其產(chǎn)生某種滿足感和成就感,這種滿足感和成就感在參訓人員后一階段的學習中,有著巨大的激勵作用。 總結性評估經(jīng)常是正式和客觀的,具有較強的說服力。適用的情況包括:當評估結論將被作為決定給予參訓人員某種資格,或者為組織的決策提供依據(jù)時才采用。但是,和建設性評估相比,總結性評估不能作為培訓項目改進的依據(jù),無助于參訓人員學習的改進,只能決定最終結果:是否給參訓人員某種資格或者組織是否應該做出某種決策。 三:制定的合理培訓評估計劃要完整。 做好培訓評估工作,首要的就是制定完整的培訓評估計劃,包括對評估人員、評估對象、評估數(shù)據(jù)庫的建立、選擇恰當?shù)脑u估形式等如何開展和進行要有一個詳實合理的計劃。在選定評估人員、評估對象和完善評估數(shù)據(jù)庫之后,評估人員需要選擇恰當?shù)脑u估形式。只有在確定了評估形式的基礎上,評估人員才能設計出合理的評估方案并選擇爭取的測度工具,同時對評估的時機和進度做出準確的判斷。 B公司過去幾年對員工培訓的投入很大,開展的培訓項目也是品種繁多,但是大家都感覺到收效甚微,董事長也認為是這樣,就安排HR部門的培訓主管小劉對培訓效果進行評估。小劉很積極地對公司進行的各個培訓項目制定十分詳盡的評估計劃,一一實施。但是一年下來,公司在培訓評估方面的費用遠遠超出了董事長的想象,使得公司培訓費用很高,董事長很頭疼,小劉也很困惑,百思不得其解,如何才能做到有效評估并制定合理的評估計劃? 這個案例中,小劉做到了對培訓項目一一進行詳盡評估,但最終造成公司高額培訓費用支出。由于培訓的需求呈現(xiàn)增長的趨勢,因而實施培訓的直接費用和間接費用也在持續(xù)上升,為了避免不必要的浪費,無須對所有的培訓情況進行全部評估,而是應該選擇關鍵的、對公司員工職業(yè)發(fā)展、公司戰(zhàn)略計劃有很大關系的培訓去評估,同時制定完整合理的培訓評估計劃,才能做好培訓評估工作,不至于造成很多不必要的浪費和困惑。 制定培訓評估計劃主要從以下方面進行: 第一、選擇培訓評估人員。評估人員不用細說,可以來自公司內外部。 第二、選擇培訓評估對象。培訓的最終目的是為了給公司創(chuàng)造價值,因此評估主要選擇那些影響員工技能提高、公司利潤增長、競爭力提升的培訓項目,具體應針對以下情況進行評估: 1.開發(fā)的課程應著重于培訓需求、課程設計、應用效果等方面。 2.培訓人員的課程應著重于教學方法、教學態(tài)度、課程質量等綜合能力方面。 3.培訓方式應著重于課程組織、教材、課程設計、應用效果等方面。 第三、建立陪評估數(shù)據(jù)庫。培訓數(shù)據(jù)按照是否用數(shù)字來衡量的標準分為硬數(shù)據(jù)和軟數(shù)據(jù),也就是直接數(shù)據(jù)和間接數(shù)據(jù)。硬數(shù)據(jù)一般是產(chǎn)出、質量、成本、時間,具有代表性的業(yè)績衡量標準。軟數(shù)據(jù)一般是工作習慣、氛圍、新技能、發(fā)展、滿意度和主動。具體可以參照樓主的另一個帖子《Phillips的“五級六指標”模型》。 第四、選擇培訓評估形式。評估形式的選擇以評估的實際需要及這種形式評估所具有的特點為依據(jù)。只有在確定了評估形式的基礎上,才能設計合理的評估方案并選擇正確的測度工具,同時對評估的實際和進度做出準確的判斷。 第五、選擇培訓評估方法。評估方法的選擇必須適合數(shù)據(jù)類型。評估方法的類型主要課程前后的測試、參訓人員的反饋意見、對參訓人員進行的培訓后跟蹤、采取的行動計劃及績效完成情況等。培訓效果的評估主要有定性和定量評估。方法在前面已經(jīng)說了。 第六、確定方案和測度工具。評估方案構成整個評估過程的框架,測度工具則提供了收集數(shù)據(jù)、獲取信息的途徑。評估方案和測度工具與培訓項目、參訓人員的匹配程度則直接決定了培訓評估能否取得成功。 四:千萬別忘記對培訓評估進行總結。 培訓評估結束后要寫培訓評估報告,評估報告用來對培訓小乖乖評估的總結,要注意其代表性和真實性,全面總結評估工作,縱觀培訓的整體效果,避免以偏概全。 在現(xiàn)實中,很多人寫報告都是三言兩語,不知道如何寫,有的在做培訓的時候根本就沒有想到要做報告總結。但是寫這樣的報告的目的是向哪些沒有參與評估的人員提供結論并對此做出解釋。自己做了啥,應該向上級報告。更重要的是通過報告,向上級提供培訓的結論和建議,供上級決策。 培訓評估總結報告的結構和核心內容,以Phillips的“五級六指標”為例如下表:
五:評估了要反饋,建立良好的培訓評估反饋系統(tǒng) C公司老板老張在過去一年投入了大量的人力和物力,不斷地對員工進行培訓,可是一年的輪流培訓下來,公司產(chǎn)品的市場開發(fā)仍然很不理想。老張感覺投入如此大的費用對員工進行培訓,銷售額卻不增長,公司利潤很難保證。于是請來外部咨詢公司診斷,發(fā)現(xiàn):C公司的培訓時間和投入都很充分,培訓師大多來自專家、學者,這些培訓師對行業(yè)進展和新產(chǎn)品都有詳細的了解,但是普遍沒有太多市場開發(fā)的經(jīng)驗和技巧,而負責營銷的專家則是在其他經(jīng)營領域很有經(jīng)驗,但并不了解公司產(chǎn)品和產(chǎn)品所在行業(yè)。 這案例就充分說明了:建立良好的培訓評估反饋系統(tǒng)可以更好地使員工認識到培訓帶給自己的提高,使培訓師認識到培訓規(guī)程還有哪些不足,使公司培訓主管通過培訓評估認識到某次培訓成功與否、對公司參訓人員工作能力的提高有多大幫助、對公司的未來發(fā)展有多大影響、以后的培訓項目要汲取的經(jīng)驗等等。 建立評估反饋系統(tǒng)涉及參訓人員、參訓人員的直線上級、培訓師和培訓機構、HR部門或者培訓部。首先將培訓評估反饋給參訓人員,使他們認識到業(yè)績的改進在多大程度上與培訓項目有關,以后這樣的培訓項目應該參加還是沒有必要。其次,參訓人員將自己的結論反饋給直線上級,直線上級將根據(jù)反饋結合培訓后參訓人員的業(yè)績改進程度,得出培訓的效果是否符合評估的結論,而業(yè)績提升中有多少是由于培訓以外的其他因素造成的。最后,參訓人員所在部門將觀察結果反饋給培訓部門,培訓部門再將信息反饋給培訓師或者培訓機構,這樣就可以從工作實踐中得出培訓的真正效果,從而進一步發(fā)現(xiàn)培訓中的缺陷,完善培訓計劃的設計,更好第為公司戰(zhàn)略發(fā)展、員工職業(yè)發(fā)展服務。 這里還需要注意的是:對于公司來講,這樣的培訓實施、評估、反饋的過程不是一次、兩次,而是一個長期的過程。因此培訓評估也應該是一個長期連續(xù)的行為。如果評估是一次性的,它的建設性遠遠不及破壞性,因為一次性的評估會使人覺得這是領導層的不重視和形式主義,從而產(chǎn)生消極作用。培訓作為公司行為,其目的在于改變員工的思維方式和行為習慣,提供公司績效,增強公司競爭優(yōu)勢。但真正影響培訓和開發(fā)效果的人不是培訓人員而是參訓人員的直線領導,如果他們沒有這方面的意識和技能,培訓和開發(fā)的措施就會落空。所以必須從戰(zhàn)略上、從領導層面上去重視培訓的實施和評估,將培訓作為公司人力資源發(fā)展的一個重要的必不可少的環(huán)節(jié)去認真對待。 六:嚴格按照柯氏四個層次理論來執(zhí)行,將培訓效果評估形成體系。 相信以下做法是很多企業(yè)里的普遍做法: 每次培訓項目結束完了,為檢驗培訓效果,大部分HR是這樣做的: 首先對所有參訓人員發(fā)放滿意度調查問卷表,接著對部分參訓人員進行訪談,了解對本次培訓項目的主觀感受及滿意度;再次采用閉卷考試和操作測試的方法檢驗參訓人員的實際收獲。最后,HR將以上步驟中收集來的資料,撰寫一份評估報告交給總經(jīng)理審核。就這樣結束了培訓項目,每次如此,年年如此。 這樣的做法,您是嗎? 這樣的做法,僅僅是對培訓效果的前兩個層次(反應層次和學習層次)進行了評估。這兩個評估都是在培訓結束后就可以進行的,只檢驗了短期體現(xiàn)出來的效果,而對于培訓所能給公司帶來的好處并沒有進行長期的跟蹤考察。要想做好培訓效果的評估實施,則需要嚴格按照柯氏四個層次理論逐級進行:
七:在反應層次的評估上避免太主觀。 先看一個案例:某公司在調查問卷上既有封閉式問題的滿意度按1-5打分,又包括需要參訓人員自己填寫的開放式問題。拿到問卷后,這四人說了起來: A說:“我就喜歡這老師的風格,特幽默,感覺上課很輕松,學到了不少東西,我給這次培訓的打分都是5分。” B說:“我對老師的感覺倒是一般,不過這次培訓沒有占用周末時間,還讓我們來這么的好玩地方,既能學習,又能萬,我滿意,都打4分吧。” C說:“你們都高興,我可是不滿意的哦。我覺得這次雖然外在的一些因素安排得好,但是真正核心的培訓內容安排得有點問題,跟咱們的工作聯(lián)系不大,也不知道以前調查過的咱們對培訓的真正需求他們考慮沒考慮。我全部打2分。” D說:“我覺得你們都說得很片面。這問卷里面不是分了好幾項的么?有關培訓師、組織者、課程內容都在問卷上了,就應該就事論事,給這次培訓公正的評分。” 相信這樣的情景在很多公司都類似發(fā)生過。反應層次評估的幾個方面在上面已經(jīng)說到了。這里說一下進行反應評估時,應該遵循的原則: 第一、確定希望了解的事項。對每個培訓項目來說,都有必要針對培訓主題和培訓責任人進行培訓反應方面的評估。且在每個培訓項目的評估中,將這2方面的因素單獨進行評估。此外,培訓人員還可能就培訓條件、課程安排、培訓期間的后勤保障、案例分析、視聽輔助材料、分發(fā)的培訓資料等事宜對參訓人員的反應進行調查和了解。 第二、設計一部分能夠量化的反應評估表,盡力做到兩點:一是能夠提供盡可能多的信息;二是僅僅需要花費盡可能少的時間。培訓項目結束后,多數(shù)參訓人員會迫不及待地離開場地,他們并不像在評估表格填寫花費過多時間。有些參訓人員甚至認為培訓人員根本不會對他們的意見進行考慮。 第三、鼓勵參訓人員提交書面的意見和建議。匯總評分情況,僅僅反映了參訓人員的部分培訓反應情況。單憑得分情況還不能提供參訓人員培訓反應的原因,也不能說明怎樣才能對培訓項目做出改進,所以,從參訓人員哪里得到更多的意見反饋,尤其是書面形式的,就很重要了。可以將反應評估表的填寫安排成培訓項目的一個組成部分,從而從所有參訓人員那里得到相應的意見反饋。 第四、得到真誠的回答。參訓人員在參加公司外部的培訓項目時通常都會坦率表達自己意見,因為這樣做幾乎不會給他們帶來什么負面影響。而公司內部的培訓項目情況則正好相反,參訓人員會擔心提出意見之后對自己產(chǎn)生不利的影響而不愿意表達真實的想法。所以,反應評估表盡量采取匿名填寫才有可能得到比較真誠的意見。 第五、確定參訓人員認可的評估標準。在充分考慮了資金預算、培訓設施和可用師資等相關情況下,根據(jù)對培訓項目預期情況的實績分析,建立一套參訓人員能夠接受的培訓績效評估標準。 第六、根據(jù)評估標準衡量培訓反應,并采取相應措施。一旦確定了符合實際情況的評估標準,就應該根據(jù)評估標準對照實際結果對培訓項目的各個方面進行評估。如果沒有達到預期標準,可以對培訓負責人、培訓設施條件、培訓主題、培訓師深圳評估標準等方面做出調整。 八:在學習層評估上避免給參訓人員帶來壓力。 有一個案例:某公司在給員工開展英語培訓,除了周末的集中授課外,每天還要求員工自己抽出1小時自學,1個月后進行考核,不合格的就被辭退。可是員工們普遍基礎很差,壓力很大,為了保證自己不被辭退,在上班時間也偷學英語,導致公司工作嚴重滯后。 無論評估的內容是啥,適當?shù)膲毫τ兄趨⒂柸藛T更積極地學習、培訓師更好地講課,但是壓力過大就會使培訓適得其反。 第一、通過筆試對參訓人員學習的知識技能進行測試。培訓前后測試總分對比是衡量知識增長或態(tài)度轉變;將參訓人員對測試題中各個題目的答案進行對比,找到培訓對參訓人員的作用和影響。但是在學習新知識的時候不要進行培訓前測試。對于學習態(tài)度方面的評估,可以通過態(tài)度調查表的方法將希望參訓人員在培訓后具備的態(tài)度包括在里面,然后把參訓人員培訓前后的調查結果進行對比,則可以看出參訓人員在態(tài)度上的變化。 第二、通過績效測評衡量參訓人員學習的技能。在培訓前先通過參訓人員的實際操作考察期培訓前的水平,在培訓后根據(jù)其同樣的操作表現(xiàn)來評估學習的結果。 第三、讓全部參訓人員參加測試。 第四、采取恰當?shù)拇胧?。如果培訓沒有取得相應的成功,那么就應該把視野放到培訓內容或者培訓目標上,了解在哪些方面做的不好,而不是質疑參訓人員在哪方面出現(xiàn)了問題如果認識到選擇的培訓內容或培訓目標與理想的存在差距,就應該找出對策。 九:在行為評估上避免占用過多精力。 有些公司在行為評估上花費的時間和精力很多很長,采取360°的方式來評價行為層次,既要填寫問卷還要應付訪談,甚至有些公司為此還出現(xiàn)過吵架爭執(zhí)現(xiàn)象,搞到最后,大家就培訓就更反感了。對于這種,情況,HR應該從評估實施的時間、方法、評估前的溝通及評估后的反饋上多方面綜合考慮設計評估流程。 第一、留出充足的時間,促使行為轉變。除非參訓人員有機會改變自己的行為,否則他們很難促成自己的行為轉變。如果參訓人員能夠將培訓中掌握的知識應用到實際工作中,應該留出充足的時間,以促使其行為改變。不然,他們會說:我都沒有機會和時間來轉變,你就來評估,這不是扯淡的嘛! 第二、如果有可能,在培訓項目前后都要進行評估。在計劃培訓項目時,首先確定員工應該采取哪些行為以取得最高的工作效率是最重要的。在培訓項目開始前,應該對參訓人員的行為進行評估。在培訓結束后,如果需要對參訓人員的學習情況進行評估,就可以對其培訓后的行為轉變做出衡量,了解培訓項目講授的知識技能或態(tài)度讓參訓人員在行為方面發(fā)生了怎樣變化。通過參訓人員培訓前后行為變化的對比,就可以確定參訓人員在行為方面發(fā)生了哪些變化。 第三、對了解參訓人員行為的人進行調查或訪談。評估應該對參訓人員及其直接主管和下屬人員,以及對參訓人員行為有直接了解的其他人員進行調查或訪談。這里面,只需要抽取一小部分人作為樣本,沒有必要全部調查訪談。這時候,可以為這部分人準備一點禮物進行激勵激勵。 第四、對所有參訓人員進行評估或者選擇部分人員作為調查樣板進行評估。 第五、在適當?shù)臅r間范圍內進行多次評估。因為行為的轉變需要時間、需要機會等等。 第六、比較評估成本和評估收益,看看行為轉變所用的成本與評估取得的收益。 十:制定評估標準避免缺陷。 曾記得本人參加電腦五筆輸入法培訓的時候,單位沒有說要掌握Excel和Word的應用技能,結果培訓回來后,對我們的考核標準全部是怎樣使用Excel和Word,搞得哭笑不得。這個事實說明,評估標準一定要在培訓前確定,避免缺陷和爭議。 制定評估標準應該充分考慮: 第一、標準相關度。也就是培訓成功和培訓目標所強調的知識、能力和技能之間的相關性。 第二、信度。就是測試結果在一段時間內的一致性程度。信度高的測試就是參訓人員對測試題目的理解和解答在經(jīng)過一段時間后并沒有發(fā)生改變,就可以使參訓人員相信,相對于培訓前后測試分數(shù)上的提高是由于在培訓項目中進行了學習,而不是因為測試特點或測試環(huán)境等其他因素。 第三、區(qū)分度。就是不同的參訓人員取得的成功真正反應其績效的差別的程度。 第四、可行性。就是收集培訓成果的測量結果的難易程度。 正確的培訓評估是一個復雜過程,這是因為培訓的效果具有多因素、多變量、界限模糊等原因,科學地進行定量分析是比較困難,堅持評估標準的科學性就是想努力做到合理分解評估項目與要素,合理確定各項評估指標的權重,合理確定各項評估要素的分值。 十一:避免出現(xiàn)信度較低的測試結果。 測試結果是否能真實地反應培訓效果還取決于測試的信度。以前,本人在建設單位的時候,對員工的安全標準掌握程度進行測試,結果是普遍不合格,上報之后引起領導高度重視,責令部門長進行安全標準知識的培訓??墒遣块T領導為了優(yōu)化培訓效果,將本次培訓化作自己的功勞,就選擇了一個業(yè)績最好的單位,親自監(jiān)督,觀察他們的行為。培訓結束后過了一段時間,公司對參訓人員進行一次測驗,結果是部門長監(jiān)督的單位效果非常明星,所有員工全部合格,然而其他單位的成績則參差不齊。 這個案例,雖然對員工參加培訓前后各進行一次測驗,但是測試結果的信度卻不高。信度高的測試是指參訓人員對測試題目的理解和解答在經(jīng)過一段時間后并沒有發(fā)生改變。這就可以使參訓人員相信,相對于培訓前、培訓后測試分數(shù)上的提高是由于在培訓項目中進行了學習,而不是因為測試特點(比如第二遍看題目時更容易理解)或者測試環(huán)境(比如參訓人員之所以能在培訓后的測試中表現(xiàn)得更好,是由于教室更舒服更安靜)等其他因素。上面的這個案例,前后測試環(huán)境相同,但是可能出現(xiàn)了霍桑效應:在評估中,員工僅僅因為受到關注表現(xiàn)高績效的現(xiàn)象。 由于參訓人員培訓前后的行為和態(tài)度的變化,不僅僅取決于培訓,還取決于組織環(huán)境的變化、培訓期間個體的成熟程度、參訓人員對培訓的認知等多種因素的復合作用,則需要設法從諸多變量中區(qū)分培訓的影響。參考的方法有: 1.前測和后測。提高信度的一個方法就是首先建立培訓成果的基準線或進行培訓前測驗,培訓后在相同的環(huán)境進行有關成果的另外一次測驗,能夠說明參訓人員由于參加培訓而改變的程度。如果后測的環(huán)境顯然優(yōu)于前測的環(huán)境,則測試結果的信度必然會低。 2.利用對照組,避免霍桑效應。對照組是指不參加培訓項目的一組員工,但是他們會收到相同的對待,前測和后測使用的儀器相同,而且他們具有與參訓人員相似的條件,比如性別、年齡、文化、在職年限、技能水平等,因此他們在公司中收到的關注度差別不大。在評估中,運用對照組就可以排除培訓之外的因素對成果衡量尺度的影響。 在上面的案例中,對參訓組和對照組在培訓前、培訓后分別進行安全測驗,并且給予對照組和參訓組同樣的領導關注度,如果參訓人員的安全行為水平較培訓前有所提高,而對照組在培訓前后沒有什么變化或者變化程度明顯弱于參訓組,那么合理的結論就是:培訓導致了員工的行為發(fā)生了好的變化,而不是參訓組因為受到領導的關注導致了這一變化。 增加一個對照組,會增加培訓成本,而且還需要考慮哪些員工納入?yún)⒂柦M和對照組,一個辦法就是在明確參訓人員之后,對他們的特點進行描述,確保對照組中的成員有類似的特征;另外一個辦法就是采用隨機抽樣法,由于一般不太容易衡量所有能夠影響培訓成果尺度的個性特征,只能通過隨機抽樣,確保這些特征均勻分布在參訓組和對照組。 培訓效果評估的方法有很多,對培訓效果的要求各不相同。培訓師必須有效地運用評估方法,既要成功地進行評估,又不能浪費資源。決定評估前,要考慮兩點:一是可以使用的方法、工具;二是可以用來評估的資源。當這兩條都滿足的時候,就可以有效地進行評估。 但是在現(xiàn)實中,由于一些客觀條件的影響或者限制,使得培訓方法不能發(fā)揮全部的作用,這樣會使評估不完整;評估結果帶有主觀性;評估結果很難理解。但是,如果前后一致地進行了評估,盡管評估不完整,在某種程度上,也對下一步的參訓人員的工作和下一次的培訓有所幫助的。 十二:如何避免單一的培訓效果信息收集渠道? 在某次公司培訓評估會議上,某領導首先開口這樣說:“這次培訓,我看到我們的員工都很積極,他們都說收獲很多,因此,我個人認為這次培訓是非常成功的。”接下來,基本上所有的與會者都按照領導的這個基調進行培訓效果發(fā)表自己的意見,沒有一個發(fā)表與領導基調不同意見的意見或者建議。最后,領導就決定:“大家的講話很有代表性,基本上代表了本次培訓的心聲,因此,這次的培訓效果評估,培訓師也好、組織者也好,就按照這次會議精神來進行。” 這個案例中,領導只考慮了單一(自己)方面的培訓感受,而且是通過正式會議的形式進行信息數(shù)據(jù)收集,信息收集渠道就不全面。首先,至少要考慮到生產(chǎn)、計劃、參訓人員、管理部門、主管領導以及培訓師對培訓的感受,而不能一開會就定基調。這就導致但愿信息主體的信息采集必然不準確。其次,領導的感受固然是信息收集過程中的一個環(huán)節(jié),但是培訓是受到多方面因素決定的,對培訓效果的評估也不能單從某一方面入手,這是一個整體,少了那個環(huán)節(jié)都會影響最終的結果分析。因此,全面的信息收集是做好培訓評估的保證。 1.主觀信息的采集。在確定信息采集主體后,結合調查問卷等信息采集方式,正面采集個體對培訓的反饋。在培訓的過程中貫穿非正式的信息調查采集,如小范圍的座談、就餐時的交流等等。非正式渠道的信息采集要以確認正式渠道所采集的信息準確度為目的,注意形式的多樣化和氣氛的控制。 2.客觀信息的采集??陀^信息的采集包括一切可用數(shù)據(jù)衡量的信息,如員工知識水平的提升、操作水平的改變等,在正式采集信息的前后可進行多次非正式的測試或評分模擬,以確認在正式采集時信息的準確性,排除偶然因素的干擾。但不能忽視時間作用對正式采集信息結果的影響,應在不同時間間隔時期進行多重檢測,確定信息的穩(wěn)定性。 3.注意信息之間的對比分析。在正式采集各主體的信息后,應對同一問題的不同主體之間的信息進行對比分析,這也是非正式信息采集的一種方式。比如,同一問題不同主體之間的信息偏差過大,則存在進一步確認的必要,找到分歧所在,是信息技術處理問題還是主體理解程度問題等,從而保證信息的準確性。 信息的準確性是保證培訓評估結果準確性的基礎。這點我們要牢記。只有多樣的信息采集方式、全面的信息采集多渠道、客觀又合理的信息收集技術等方面能正常地發(fā)揮作用并有機地結合在一起,才能真正確保信息準確性。 |
|