實驗設計
調查實驗法
在透過大規模面訪取得樣本逐漸變得困難的今日,同時搭配政治學中實驗方法的興起,另一種取得樣本的方式,在網路上執行的權宜樣本(convenience samples)在政治學研究中蔚為風行。
首先,這些樣本通常透過大型的網路民調公司(比方Mturk,YouGov等)所具有的大量會員資料庫來提供研究者隨機抽樣取得樣本。在速度上,這比起傳統抽樣更為快速與便利。同時,雖然這並非傳統的機率樣本,但研究者可以透過配額(quota)的設定,讓樣本更接近研究者所設定的群體。
雖然部分研究者對此種樣本仍有所保留,主張此類樣本中的受試者,具有特定的特質,可能會干擾結果。比方此類樣本排除了非網路使用者;這些網路受試者甚至可能是專業受試者,熟悉線上調查的程序,知曉研究者所要的答案,這導致了實驗文獻中所指摘的「需求效果」(demand effect)。但這些疑慮在最近的實驗文獻中都被證實並不如批評者所憂慮的。(Coppock, 2017; Coppock et al。2018)
實際上,如果研究者追求的是對某個群體的完整描述,那權宜樣本確實不適當。但如果研究者的意圖是要透過實驗法測試特定的理論以及其因果論證,權宜樣本確實有其優勢。重點是,只要研究者在實驗組與對照組的分派上是隨機的,這自然給予所得到的平均施作效果(average treatment effect)足夠的內部有效性。就這點而言,權宜樣本的使用沒有任何問題,這些效果的存在是客觀的。至於時常被質疑的外部有效性,我們可以從幾個層面來看。首先,如果施為的操作化離現實太遠,這並非樣本的問題,可能部分研究問題本就不適合以實驗法來驗證。其次,若權宜樣本所的得到平均施作效果與母體的平均施作效果產生差異,這可以透過研究中介變量的效果來加以處理。換言之,如果平均因果效果在這些中介因素之間產生異質性,這一方面可以告訴我們因果關係的機制為何,另一方面也可以透過了解這些變量的分佈是否在母體與樣本存在差異來進行加權,確保權宜樣本得到的結果與母體所得到的效果沒有顯著的差異。當然,如果證明這些因素與施為之間是不相關的,這更可以確保透過權宜樣本得到結果是沒有問題的(Hartman et al 2015)。總而言之,權宜樣本為政治學界帶來的好處十分明確,而其缺點都有適當的處理方式。