Làm việc với dữ liệu một cách trung thực

Nhắc đến sai phạm trong nghiên cứu, người ta thường nghĩ tới những vụ ầm ĩ: bịa dữ liệu, chép bài. Những chuyện đó có thật và nghiêm trọng. Nhưng mình ngờ rằng rủi ro phổ biến hơn lại lặng lẽ hơn, nằm trong những quyết định nhỏ mà ai cũng đưa ra khi ngồi một mình với bộ dữ liệu.

Bỏ những quan sát nào vì coi là ngoại lai. Đưa biến kiểm soát nào vào. Báo cáo mô hình nào khi đã thử nhiều mô hình. Chọn giai đoạn nào để phân tích. Mỗi lựa chọn riêng lẻ đều có lý. Nhưng gộp lại, nếu tất cả cùng nghiêng về phía mình mong muốn, chúng có thể tạo ra một kết quả trông rất chắc mà thật ra không phải.

Marketing cũng có phiên bản của riêng nó. Chọn khoảng thời gian chiến dịch trông đẹp nhất, so với mốc yếu nhất, làm nổi chỉ số tăng và im lặng về chỉ số giảm. Mình biết việc đó dễ thế nào, vì mọi động lực đều đẩy về hướng ấy.

Nên mình cố giữ vài thói quen đơn giản.

Quyết định trước khi nhìn, khi có thể. Viết ra câu hỏi, các biến và mô hình chính trước khi thấy kết quả. Khi kế hoạch đã nằm trên giấy, tự lừa mình khó hơn nhiều.

Ghi nhật ký. Ghi lại từng bước làm sạch dữ liệu và từng mô hình đã thử, kể cả những cái "không ra". Nhật ký chủ yếu dành cho chính mình sau này, người sẽ chẳng nhớ vì sao từng chọn như thế.

Báo cáo cả những gì không khớp. Kết quả đi ngược câu chuyện chính là thông tin, không phải điều đáng xấu hổ. Nhắc đến chúng thường làm bài báo thuyết phục hơn chứ không kém đi.

Nói rõ giới hạn. Bộ dữ liệu nào cũng có chỗ hổng. Nói ra chúng nằm ở đâu để người đọc tự đánh giá kết quả.

Chẳng ý nào ở đây là của riêng mình; chúng là lời khuyên quen thuộc trong thực hành nghiên cứu tốt. Phần khó là làm theo khi không ai nhìn và một kết quả gọn gàng hơn chỉ cách một quyết định nhỏ. Mình nghĩ làm việc trung thực với dữ liệu không nằm ở quy tắc nhiều bằng ở chỗ mình muốn câu trả lời đúng hơn là câu trả lời đẹp.

---

Ảnh: engin_akyurt trên Pixabay, sử dụng theo Giấy phép Nội dung Pixabay. Đây không phải ảnh do mình chụp.