숫자를 믿기 전에 — 클릭 328건이 실제로는 70명이었습니다

하나. 클릭 328건. 그런데 실제 사람은 70명이었습니다

배너 클릭은 눌렀을 때 거쳐 가는 중간 주소에서 세고 있었습니다. 기록상 328건. 그런데 같은 사람이 여러 번 누른 것을 걷어내고 다시 세어 봤더니 70이었습니다. 그중 사람이 아닌 자동 프로그램(봇)으로 판별되는 접속이 23건이었습니다.

한 사람이 여러 번 누르고, 검색 로봇이 링크를 따라가고, 미리보기 요청이 섞이면 클릭 수는 쉽게 부풀려집니다. 클릭 수는 「몇 번 눌렸나」이지 「몇 명이 왔나」가 아닙니다. 유입 숫자를 보실 때 최소한 세 가지는 나눠서 보세요 — 요청 수, 실제 사람 수, 그리고 봇을 뺀 수. 이 셋이 크게 벌어져 있으면, 그 위에서 계산한 전환율은 전부 실제와 다릅니다.

둘. 도착한 31명 중, 핵심 행동까지 간 사람은 1명이었습니다

다음 단계를 쟀습니다. 클릭한 사람 중 실제로 페이지에 도착한 사람은 31명 — 절반가량이 도중에 사라진 셈입니다. 그리고 도착한 31명 중, 서비스의 핵심 행동(대화 시작)까지 간 사람은 1명이었습니다.

여기서 답이 나왔습니다. 매출이 0인 이유는 트래픽이 부족해서가 아니었습니다. 들어온 사람이 아무것도 하지 않고 나가고 있었습니다. 더 좁혀 보니 첫 화면의 사진은 로드됐는데 상세 페이지 진입이 거의 0 — 첫 화면은 봤는데 아무것도 클릭하지 않은 것이었습니다.

손님의 길을 클릭 → 도착 → 핵심 행동 → 결제 네 칸으로 쪼개면, 새는 구멍이 어느 칸인지가 이렇게 한 번에 보입니다. 합계만 보면 절대 안 보입니다.

셋. 그래서 리디자인을 하지 않았습니다

「첫 화면에서 클릭이 안 난다」까지 알아냈으니 첫 화면을 통째로 새로 만들고 싶어집니다. 저희도 그러고 싶었습니다. 하지만 한 번에 여러 개를 바꾸면, 결과가 좋아져도 나빠져도 무엇 때문인지 영영 알 수 없습니다. 그다음 개선은 또 감으로 하게 됩니다.

그래서 규칙을 정했습니다. 가장 큰 구멍 하나에, 한 번에 한 가지만 바꾸고, 3~4일 재고, 맞으면 다음 구멍으로 가고 틀리면 가설을 바꾼다. 느려 보이지만 실제로는 이쪽이 빠릅니다 — 한 번 돌 때마다 「무엇이 효과였는지」가 자산으로 남기 때문입니다.

넷. 좋은 문구를 만들었는데, 보이지가 않았습니다

개선 실험 중 하나로, 방문자 상황에 맞춘 안내 문구를 붙였습니다. 결과는 좋았습니다 — 일반 배너보다 10배 가까운 반응이 나왔습니다. 그런데 전체 전환은 기대만큼 오르지 않았습니다. 원인을 찾아보니, 그 문구가 방문자의 17%에게만 보이고 있었습니다. 화면 하단에 있었는데, 대다수가 거기까지 스크롤을 내리지 않았던 겁니다.

문제는 문구의 질이 아니라 위치였습니다. 아무리 잘 만들어도 보이지 않으면 0입니다. 그래서 문구를 가장 반응이 높은 지점(결과가 나오는 바로 다음)으로 끌어올렸습니다. 그 전에 휴대폰 화면 하단에 고정하는 것도 시도해 봤는데, 휴대폰 자체 버튼 줄에 가려서 되돌렸습니다 — 이런 건 실제 화면을 봐야만 알 수 있습니다.

전환이 안 오를 때 문구부터 고치기 쉬운데, 그 문구가 몇 %에게 보이고 있는지를 먼저 재 보시길 권합니다.

다섯. 그리고 애널리틱스 숫자 자체가 오염돼 있었습니다

여기까지 하고 나서, 더 근본적인 문제를 발견했습니다. 구글 애널리틱스에 찍히던 조회수에 실제 사람이 아닌 것이 섞여 있었습니다. 브라우저는 사용자가 링크를 누르기 전에 미리 페이지를 당겨오는 경우가 있는데, 이게 조회수로 잡히면 아무도 보지 않은 페이지의 조회수가 올라갑니다. 노출은 두 배인데 수익은 그대로인 이상한 상태가 만들어집니다.

또 하나는 과거 데이터를 다시 처리하며 남은 옛 기록이 수치를 부풀리고 있던 것입니다. 저희는 이걸 판별하는 규칙을 만들어 소급해서 바로잡았습니다.

숫자가 오염된 상태에서 내린 판단은 전부 틀립니다. 그리고 오염은 에러를 내지 않습니다. 그냥 조용히 더 좋은 숫자로 보일 뿐입니다. 숫자가 갑자기 좋아졌는데 매출이 그대로라면, 좋아진 쪽을 한 번 의심해 보세요.

여섯. 사이트가 여러 개가 되면, 사람이 매일 볼 수 없습니다

저희는 현재 서버 7대에서 사이트 51개를 운영하고 있습니다. 이 정도가 되면 관리 화면을 하나씩 열어 보는 방식은 무너집니다. 어제와 무엇이 달라졌는지, 어느 사이트가 조용히 멈췄는지를 사람이 매일 대조할 수 없습니다.

그래서 트래픽과 수익을 매일 자동으로 한곳에 모으고, 사이트 상태와 전날 변동, 이상 징후를 아침마다 요약해서 받아 보도록 만들었습니다. 핵심은 「보기 좋은 계기판」이 아니라 사람이 열어 보지 않아도 이상이 먼저 도착하는 것입니다. 계기판은 열어야 보이고, 사람은 바쁘면 안 엽니다.

정리 — 매출이 안 나올 때 확인할 순서

• 먼저 숫자를 나눠 세세요 — 요청 수 / 실제 사람 수 / 봇을 뺀 수
• 손님의 길을 칸으로 쪼개세요 — 클릭 → 도착 → 핵심 행동 → 결제
• 가장 큰 구멍 하나에, 한 번에 한 가지만 바꾸세요
• 문구를 고치기 전에, 그 문구가 몇 %에게 보이는지 재세요
• 숫자가 이유 없이 좋아졌다면, 그 숫자를 먼저 의심하세요

「트래픽이 부족하다」는 결론은 위 다섯 개를 다 확인한 다음에 내려도 늦지 않습니다. 저희 경우는 트래픽 문제가 아니었습니다.