บทความน่าสนใจ
อ่านคำอธิบายและตัวอย่างเรื่อง Critical Evaluation of Claims and Evidence ให้เข้าใจก่อน แล้วจึงทำแบบฝึกหัด 10 ข้อ
ประเมินคุณภาพหลักฐาน สมมติฐาน และความสมเหตุสมผล
Thirty per cent of respondents reported difficulty.
ต้องการ sample และ measurement ที่เป็นตัวแทน
Sleep duration was associated with recall.
ต้องการการวัดสองตัวแปรและ control ที่เหมาะ แต่ยังไม่รับรอง cause
Longer sleep improved recall.
ต้องการ comparison ที่ช่วยตัด confounding และ reverse causation
The model accurately predicts hospital admission.
ต้องการ out-of-sample performance, calibration และ population ที่เกี่ยวข้อง
Hospitals should adopt the model.
นอกจาก accuracy ยังต้องดู harms, fairness, cost และ alternatives
Design ที่ดีสำหรับ claim หนึ่งอาจไม่พอสำหรับอีก claim
งานกำหนด engagement เป็นจำนวน clicks
ปัญหา:
จำนวน click มี reliability สูงได้แต่ construct validity ต่ำ
อีกตัวอย่าง:
Productivity was measured by hours logged into the system.
hours logged อาจวัด presence มากกว่า output
ก่อนรับ claim ให้ถาม:
A survey of platform subscribers found that 82% support the new premium feature.
ผลนี้อาจใช้กับ active subscribers แต่ไม่ควรขยายถึง general public หรือ former users
Sampling problems:
Sample ใหญ่ไม่แก้ selection bias หากทุกคนมาจากกลุ่มที่ผิด
A million responses from voluntary website visitors may be less representative than a carefully selected sample of one thousand.
App สำรวจเฉพาะผู้ทำ challenge ครบ 100 วัน แล้วรายงาน satisfaction สูง
ผู้ที่ทำครบอาจ:
ผู้ที่เลิกกลางทางหายจาก sample จึงประเมินผลโดยรวมสูงเกินจริงได้
การถามเฉพาะ completers ไม่ผิดหาก claim คือ “ประสบการณ์ของผู้ทำครบ” แต่ผิดหาก claim คือ “ผู้เริ่มโปรแกรมทุกคนจะพึงพอใจ”
Ice-cream sales and drownings rise together.
ไม่ควรสรุปว่า ice cream causes drowning เพราะอากาศร้อนอาจเพิ่มทั้งการซื้อไอศกรีมและการว่ายน้ำ
Confounder ต้องสัมพันธ์กับ exposure และ outcome และไม่ใช่เพียงผลตาม causal path
ตัวอย่างการศึกษา tutoring:
Students who chose tutoring scored higher.
Possible confounders:
Regression adjustment ช่วยเฉพาะ confounders ที่วัดได้และ model เหมาะ ไม่สามารถรับรองว่าไม่มี residual confounding
Employees who felt less stressed exercised more.
Possible directions:
Cross-sectional data วัดพร้อมกันจึงแยกทิศทางยาก Longitudinal design ช่วย temporal ordering แต่ยังไม่ตัด confounding ทั้งหมด
คำว่า predicts ทางสถิติไม่จำเป็นต้องหมายถึงเกิดก่อนหรือเป็นสาเหตุ หากใช้ใน model contemporaneous
Random assignment ช่วยทำให้ known/unknown confounders กระจายใกล้กันโดยเฉลี่ย แต่ต้องตรวจ:
Randomised trial ไม่ได้สมบูรณ์โดยอัตโนมัติ และอาจมี external validity จำกัด
Observational study ไม่ได้ไร้ค่า มันอาจเหมาะกับ rare harms, long-term effects หรือ exposure ที่สุ่มไม่ได้ แต่ causal language ต้องระมัดระวัง
Attrition น่ากังวลเมื่อ:
ตัวอย่าง:
Satisfaction averaged 9/10 among respondents, but only 35% completed follow-up.
หากผู้ไม่พอใจไม่ตอบ ค่าเฉลี่ยอาจสูงเกินจริง
คำว่า missing at random มีความหมายทางสถิติภายใต้ข้อมูลที่สังเกต ไม่ได้แปลว่าข้อมูลหายแบบสุ่มธรรมดา
Point estimate:
The treatment reduced symptoms by 8%.
หาก 95% CI คือ −3% ถึง 19% ข้อมูลยังเข้ากันได้กับ harm เล็กน้อย ไม่มีผล หรือ benefit ที่มีขนาดพอสมควร
ข้อความที่เหมาะ:
The estimate favoured treatment, but it was imprecise and did not rule out little or no benefit.
ไม่ควรเขียน:
The treatment had no effect because the result was not significant.
Non-significance ไม่บอก effect เท่ากับศูนย์ ต้องดู interval และ power
Sample ใหญ่มากอาจทำให้ effect เล็กมาก significant
Average waiting time fell by 12 seconds, p < .001.
ต้องถามว่า 12 วินาทีมีความหมายต่อผู้ป่วยหรือ operation หรือไม่
ตรงกันข้าม effect ที่สำคัญทางปฏิบัติอาจไม่ significant ใน small sample เพราะ imprecision
การประเมินควรดู:
สมมติ disease พบ 1 ใน 1,000 และ test มี sensitivity/specificity สูง ผลบวกยังอาจมี false positives จำนวนมากเมื่อเทียบ true positives
คำถามว่า “test accurate 99%” ไม่พอ ต้องรู้:
Base-rate neglect ทำให้ผู้อ่านตีความผลคัดกรองว่าเป็น diagnosis ที่แน่นอนเกินไป
หากทดสอบ outcomes หรือ subgroups จำนวนมาก บางผลอาจ significant โดย chance
สัญญาณ:
Exploratory finding มีประโยชน์สร้าง hypothesis แต่ควรถูกเรียกว่า provisional และต้อง confirm ในข้อมูลใหม่
A dramatic result in one small subgroup is not equivalent to a replicated primary outcome.
ผู้เชี่ยวชาญที่น่าเชื่อถืออาจให้หลักฐานที่ไม่ตรง claim
A leading surgeon endorses a national education policy.
ชื่อเสียงด้าน surgery ไม่ทำให้เป็นผู้เชี่ยวชาญ education
ในทางกลับกัน source ที่มี conflict of interest ไม่ได้ทำให้ข้อมูลผิดโดยอัตโนมัติ แต่เพิ่มเหตุให้ตรวจ methods, transparency และ independent replication
ควรแยก:
ผลที่แข็งแรงควร:
Failure to replicate ไม่พิสูจน์ทันทีว่าผลแรก fraud อาจต่าง sample, method หรือ power แต่ลด confidence และต้องวิเคราะห์ divergence
Claim:
A language-learning app doubles vocabulary growth.
Evidence:
Users who purchased the premium plan learned an average of 40 words, compared with 20 among free users over one month.
learned อาจเป็น recognition test ไม่ใช่ productive vocabularyRevised claim:
Premium users recorded greater one-month vocabulary gains, although self-selection and uncertainty about long-term retention prevent a causal conclusion.
Critical evaluation ระดับ C2 ไม่ได้ถามเพียงว่าหลักฐาน “ดีหรือไม่ดี” แต่ระบุอย่างแม่นว่าหลักฐานตอบคำถามใดได้ ตอบได้ด้วยความแน่นอนเท่าใด และคำถามใดยังอยู่นอกขอบเขตของมัน
| ภาษาอังกฤษ | จุดสังเกตในการเรียน |
|---|---|
| A large sample cannot compensate for a biased measure. | ตัวอย่างขนาดใหญ่ไม่สามารถชดเชยการวัดแบบลำเอียงได้ — large sample แก้ measurement bias ไม่ได้ |
| The anecdote is vivid but offers little support for the general claim. | เรื่องเล่าจากประสบการณ์อาจชวนติดตาม แต่สนับสนุนข้ออ้างทั่วไปได้น้อย — anecdote มี vividness แต่ขาด generalisability |
| Correlation remains compatible with several alternative explanations. | ความสัมพันธ์ที่พบยังสอดคล้องได้กับคำอธิบายทางเลือกหลายแบบ — correlation เปิด alternative explanations ไว้ |
| The source is credible, although its evidence is not directly relevant. | แหล่งที่มามีความน่าเชื่อถือแม้ว่าหลักฐานจะไม่เกี่ยวข้องโดยตรง — source credibility ไม่ทดแทน relevance |
| The conclusion is more confident than the method permits. | ข้อสรุปแสดงความมั่นใจมากกว่าที่วิธีวิจัยรองรับ — confidence ของ conclusion ต้องไม่เกิน method |
คำสั่ง โจทย์ และตัวเลือกเป็นภาษาอังกฤษทั้งหมด ทุกข้อเป็นสถานการณ์ที่เขียนขึ้นใหม่เฉพาะบท ส่วนคำอธิบายภาษาไทยจะแสดงหลังตรวจคำตอบเท่านั้น
คำตอบ: A large randomised trial with low attrition and a prespecified analysis · randomisation, retention และ prespecification ลด bias หลัก
คำตอบ: The base rate and positive predictive value · โรคหายากทำให้ false positives มีสัดส่วนสำคัญแม้ accuracy สูง
คำตอบ: Hot weather may increase both swimming and ice-cream purchases. · อุณหภูมิเป็น plausible confounder ที่กระทบทั้งสองตัวแปร
คำตอบ: Completers may differ systematically from people who quit. · conditioning on completion เลือกกลุ่มที่อาจมี motivation/outcome ต่าง
คำตอบ: Clicks may not capture attention, understanding or meaningful participation. · operationalisation แคบกว่าคอนเซปต์และอาจลด construct validity
คำตอบ: Tutored students scored higher than untutored students in a self-selected comparison. · self-selection เปิด confounding เช่น motivation และ prior attainment
คำตอบ: The effect estimate is imprecise. · ช่วงกว้างหมายถึงค่าที่ข้อมูลเข้ากันได้มีหลายค่า
คำตอบ: When dropout differs by group and relates to the outcome · differential outcome-related dropout บิด comparison ได้
คำตอบ: Treat it as provisional until independently replicated and tested confirmatorily. · exploratory small-study result เสี่ยง chance/overfitting จึงต้อง confirm
คำตอบ: The study did not detect an effect, but its low power means a meaningful effect cannot be ruled out. · non-detection ในงาน low power ไม่ได้หักล้าง effect ที่มีนัยสำคัญเชิงปฏิบัติ
เลือกเรียนกับติวเตอร์ตามทักษะหรือเป้าหมายการสอบ