這學期我的必修課之一是研究方法(Research Methods),由Galit老師授課。此前我以為研究方法這東西學起來大概跟唸唸paper、設計實驗、處理數據之類有90%像,不過在第一堂課之後我發現事情不像戆人想得那麼簡單。上面那些只占了一小部分,準確點應該說只算是基本能力,整學期的課程架構還真的著重在方法上啊這不是廢話,包含各種搞研究可能會使用到的軟硬體及思辨能力。

  正式開始的第一堂課討論了InfoQ的概念,全名是Information quality,可以翻做資訊品質或資訊質量之類,是個種來判斷手中資訊價值的思考模式。我想不只在研究方面,舉凡讀報紙、看新聞、網路上反串引戰打嘴砲等日常生活常見場合都能發揮很大的效用。目前有data quality跟analysis quality兩個概念分別討論資料與分析的品質,而我所理解的InfoQ即是討論由資料取得到分析完成整個過程的品質。


  在InfoQ的討論中,共有4個邏輯與步驟上的定義:分析目標(Analysis goal, g)、資料取得(Data, X)、分析方法(Empirical analysis method, f)、分析效益(Utility, U);以及8個可用來檢視資訊內容的向度:資料解析度(data resolution)、資料結構(data structure)、資料混合(data integration)、即時關聯性(temporal relevance)、資料與目標之同調性(chronology of data and goal)、推廣性(generalizability)、操作(operationalization)、溝通(communication)。這些翻譯我加了點個人解讀,有別的想法或興趣的話推薦去看原始文獻。


分析目標(Analysis goal, g):

  就是論文第一章的研究目的,例如確定翡X檸檬的完美比例、探討紙箱大小與肥貓行為的關係等等。目的愈明確愈好,若是連自己想要做什麼都不清楚,那麼做出來的結果通常不會有太大的價值。值得思考的一點是,現在的教育觀念還真的讓不少學生連自己想要做什麼都不清楚,差別在於有些會教學生說聲請給我任務而有些不會。


資料取得(Data, X):

  即是思考所使用的資料從哪來,常見的有調查、模擬、量測、網路抓取等;比較不那麼常見的有PS、CtrlC+V之類。這世上有著英國研究、韓國起源、中國製造、台灣媒體四大傳說不可信,所使用的資料來源與取得方法將大大影響研究的結果。


分析方法(Empirical analysis method, f)

  這邊包含各式處理資料的方法,如統計:T-test、ANOVA等理論中參數定義與計算,或是圖解法(graphical methods)之類。適當的資料分析方法有助於提升產出資訊的價值,不然就會出現某國媒體常見「放_當爆料,爆料當新聞,新聞當證據,正據當放_」的不良示範。


分析效益(Utility, U)

  這算是一個關鍵,即是定義分析結果的好壞。例如坊間流傳男生身高沒有175cm叫殘障,沒170cm叫殘廢,沒30cm要自盡,這些數字即是區分不同等級的標準。但絕大多數的研究效益沒辦法只用那麼簡單的數字定義,或者是說沒辦法輕易的定義出那些數字,所以分析效益的探討一直是個重要的課題。

  當你搞懂一篇文章論述中的四個邏輯與步驟之後,就可以透過評量8個向度來定義它的InfoQ指數:


資料解析度(data resolution):

  每個研究目標都有它適當的解析度,例如量身高常用cm,量體重常用kg,探討一個月的拍賣投標情況你不會找年度統計資料等。恰當的解析度選取將會提升InfoQ指數。


資料結構(data structure):

  資料結構在這邊指的是所使用資料的類型,如數字、文字、影音等。不同類型的資料各有優點,像數字很適合用來進行分析與計算,文字適合呈現認知與感受,影音可用來記錄動態的資料等等。基本上我認為稍微正式一點的理工研究中所使用的資料結構都沒問題,因為通常都直接依照感測器所測量的形式而且有問題的話會被退件,不過在行為與認知相關的研究中,這部分需要多留意。


資料混合(data integration):

  這邊我翻譯成資料混合感覺比較直白淺顯易懂,指的是一項資料的呈現會需要兩個不同資料來源的情況。例如拿尺量身高+磅秤量體重呈現你的BMI,或是兩個不同的拍賣網站擷取下來的資訊呈現消費趨勢。愈多資訊來源的混合能夠讓資料本身所呈現的價值提升(連帶提升InfoQ),但可能的誤差也會隨著放大(降低InfoQ),故需依據現有的限制來判斷資料混合的程度。


即時關聯性(temporal relevance):

  照字面上翻是時間相關性,但經過討論後我翻成即時關聯性,因為這個概念是討論資料取得與研究時間的關係。假設我的分析目標(g)是了解未來颱風動態而告訴大家明天要不要上班上課,花了一天的資料蒐集加上兩天的精密分析,要發布停班停課通知的時候才發現兩天前大家早就被吹走了,這樣的即時關聯性就非常低。如果只是研究蚯蚓有幾節這種比較沒有時間壓力的問題,即時關聯性的影響就相對不顯著。


資料與目標之同調性(chronology of data and goal):

  我承認我辭窮沒有更好的方法翻譯,這個概念描述指資料取得所需時間對於達成研究目標的適切程度。例如我想透過投標者的數量來預測某商品的結標價,這時資料取得(X)需要計算這商品所有投標者的數量,但這個數量卻要等到商品結標後才會知道,所以對於結標價的分析目的(g)而言幫助有限,因此同調性低。這個概念有點像前面提到的即時關聯性(temporal relevance),目前我的判斷方式是同調性在於討論資料某研究目標的影響,而即時關聯性則是資料取得對整個研究結果的影響。


推廣性(generalizability):

  推廣性就比較單純,指研究所得到的資訊能否再現或是推廣。一般而言科學理論推倒方面只要沒有算錯,它的推廣性都會不錯;而對於行為模式的論述則容易因為對象不同而影響推廣性。實務面上,某些統計理論預測的模組換了一個資料庫就會出錯;某些工程研究結果只適用於特定機型,這些情況推廣性的InfoQ都不會太高。老實說很多急就章趕結案的研究都有相同的問題。


操作(operationalization):

  這個操作是將各項資料定義成資訊的操作方式,例如BMI定義為體重/身高平方,經濟繁榮可以透過GDP或失業率之類的量測來定義。一般而言理工領域的操作都有許多規範或是經驗法則可以參考,但在行為或認知的描述中,對於同一項資訊會有許多不同的操作方式。適當的操作方式能確保良好的InfoQ,但這確不是一項很容易的事。


溝通(communication):

  這部分是指整個研究結果所呈現的資訊有沒有確實傳達給他人。某些期刊會限制paper發表的頁數,現在才發覺對讀者來說有時可能會是件好事,頁數限制將會讓作者對研究內容進行取捨,所以某些在他人眼中很重要的研究成果並不會被傳遞;或者因為種種原因,作者並沒有將研究內容完全公開,導致讀者無法了結如合從實驗推論到結果,這些都將會降低溝通的InfoQ指數。


  這八個向度根據其表現給1(差)~5(優)分,1分對應指數為0,2分對應0.25,3對應0.5,4對應0.75,5對應1。然後把八個向度的所以指數全部乘起來,再開八次方根,就可以得到這篇文章的InfoQ分數。


  在一項課後作業中,我拿之前碩論的一份很重要的參考資料來做分析,得到0.66的InfoQ分數,幫教授的論文打分數比起教學意見調查又更有爽感。我順便詢問這個分數算好還是算差,老師回應她個人比較在意八個向度的各別分數,因為那呈現了這篇文章的優缺點,提供讀者探索資訊時的參考。總分本身指是一個數字,並無法呈現太多的事情(意即總分的InfoQ相較分項呈現而言低)。或許這對習慣以絕對分數思考比較的我們來說是上了另一課吧。


後記:

  開學至今即將邁入第四週,到目前為止那堂課讓我印象最深刻。我不確定這樣的思維在管理學院是不是很基本,但很肯定若是自己過去的經歷中有這樣的邏輯,很多思維與判斷上會有所不同。


參考資料:

Kenett R. S. and Shmueli, G. (2014), “On Information Quality”, Journal of the Royal Statistical Society, Series A, vol 177(1), pp. 3-38.

arrow
arrow
    全站熱搜

    aix 發表在 痞客邦 留言(0) 人氣()