🔗 이 글은 Jim Lewis가 Measuring U에 올린 아티클을 번역, 요약한 글입니다.
통계 연구 결과는 어떤 내러티브로 전달하는지가 아주 중요합니다. 통계학 졸업반 학생들을 대상으로 하는 Statistics as Principled Argument 라는 책의 저자인 Abelson의 법칙 8가지를 소개합니다. 전달을 위해 의역을 많이 했으니 원문이 궁금하신 분들은 원문을 확인해주세요.
- 확률은 생각만큼 매끄럽게 발생하지 않는다
- 동전 던지기가 50% 확률이라고 해서 앞면 다음에 반드시 뒷면이 나오진 않습니다
- 실제 랜덤 함수의 결과는 결과들이 생각보다 뭉쳐있습니다
- 사람들은 표본 간 차이를 무시하려는 경향이 있다
- 표본마다 측정치는 다를 수 있는데, 이를 무시하고 잘못된 확신을 가지려 하는 경우가 많습니다
- 특히 표본 크기가 작을 때 추정된 값을 중심으로 신뢰 구간을 계산하는 것이 중요합니다
- 통계적 관행 은 한 번만 다시 생각하라
- 오랜 시간동안 유의성 실험에 p < 0.05를 사용하는건 관행이었습니다
- 하지만 현대 UX 분석에서 p < 0.10이라는 덜 엄격한 기준을 적용했을 때 더 높은 통계적 힘을 낼 수 있었습니다
- 마음에 드는 결과를 찾기 위해 p < 0.05와 p < 0.10 사이를 왔다갔다 하면 안됩니다
- 복잡한 분석 방식으로 뭘 분석해야할 지 모름을 덮으려 하지 마라
- 다변량 분석 방식은 유의미할 수 있는 종속 변수를 결합할 수 있는 어떤 방법이 있음을 나타낼 뿐, 그 조합이 어떤 실제적 의미를 갖는지는 고려되지 않았습니다
- 각각 단일 분석 결과는 상관 관계가 있지만 UX 관점에서 다르게 해석되는 경우가 있습니다. 이런 분석 결과를 맹목적으로 조합 해 그 조합을 이해하려는 노력보다는 각각을 별도로 분석하는것이 더 옳습니다 (예: 성공률, 용이성 등급, 완료 시간)
- 아무 할 말이 없을 땐 아무 말도 하지 마라
- 종종 분석 결과가 어떤 유의성도 보이지 않는 경우가 있을 수 있습니다
- 여기서 어떤 의미를 뽑아내기 위해 데이터를 이리 저리 쥐어짜기 보다는 다음 연구로 넘어가는게 맞습니다
- 거짓으로 결과를 뽑아내는것 보다는 아무 말도 하지 않는 것이 낫습니다
- 공짜 점심은 없다
- 단일 실험 결과는 실험 맥락을 벗어나는 일반적인 경우까지 일반화되어 적용될 순 없습니다
- 소파를 움직이지 않으면 먼지를 볼 수 없다
- 한 분석 결과가 컨텍스트가 다른 상황에 적용 가능할 지 확인하는 방법은 그 컨텍스트를 변수화 하는 것입니다
- 비판은 방법론의 어머니다
- 모든 답을 내려주는 한 가지 실험은 있을 수 없고, 한 실험은 어떤 종류든 비판에 노출될 것입니다
- 적절한 비판을 받았다면 연구자들은 그러한 비판을 극복할 수 있는 추가적인 연구를 수행하게 될 것입니다
- 이런 결과로 기존 일반론이 지지되거나, 수정되거나, 파기되기도 하며, 새로운 일반론이 등장하기도 합니다