์ผ๋จธ ํ๋ก์ ํธ3๏ธโฃ: A/Bํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ๋ถ์ํด๋ผ
๋ฐ์๊ฑธ์ฆ๋ ์ค๋ฌด ์์ค์ ๋ฐ์ดํฐ ๋ถ์ ์ญ๋์ ํค์ฐ๊ธฐ ์ํด '์ดํฐ๋ ์ด์ iteration' ๋จ์๋ฅผ ํตํด ํ์ตํ๊ณ , ๋จ์๋ง๋ค ๋ถ์ ํ๋ก์ ํธ๋ฅผ ๊ฑฐ๋ญํ๋ ๋ฐฉ์์ผ๋ก ํ์ตํ๊ณ ์์ต๋๋ค. ์ฌ๊ธฐ์ ์ดํฐ๋ ์ด์ ์ด๋, ํน์ ๋ชฉ์ ์ ๋ฌ์ฑ์ด๋ ์ํ๋ ์ต์ข ๊ฐ์ ์ป๊ธฐ ์ํ์ฌ ํน์ ํ ์๊ณ ๋ฆฌ๋ฌ์ ๊ฐ์ ๊ณผ์ ์ ๋ณ์๋ง ๋ฌ๋ฆฌํ์ฌ ๋ฐ๋ณต์ ์ผ๋ก ์ํ์ํค๋ ๊ฒ์ ์๋ฏธํ๋ ๋จ์ด๋ก ๋ฐ์๊ฑธ์ฆ์์๋ ์ต์ข ํ์ต ๋ชฉํ์ ๋๋ฌํ๊ธฐ ์ํด ์์ ํ๋ก์ ํธ๋ฅผ ๊ฑฐ๋ญํ๋๋ก ํ๋ ํ๊ธฐ ํ๋ํ๋๋ฅผ ์๋ฏธํฉ๋๋ค. ๋ฐ์๊ฑธ์ฆ ๊ตฌ์ฑ์๋ค์ ์ดํฐ๋ ์ด์ ๋ง๋ค ๋ฐ๋ณต์ ์ผ๋ก ์์ ์์ค์ ์คํจ์ ๋น๋๋ ์ฑ๊ณต๋ค์ ๊ฒฝํํ๋ฉฐ ๊พธ์คํ ์ฑ์ฅํด์์ต๋๋ค!
์ดํฐ๋ ์ด์ 1์์๋ 1) SQL ์ด๋ก ๊ฐ์์ ์ค์ต์ด ์ฃผ๋ฅผ ์ด๋ฃจ์์ต๋๋ค. ํ๋ก๊ทธ๋๋จธ์ค, ํด์ปค๋ญํฌ์ ์ฝ๋ฉ ํ ์คํธ ๋ฌธ์ ๋ฅผ ํ๊ณ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์ ์ํ๋ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถ ๋ฐ ๊ฐ๊ณตํ๋ ์ฟผ๋ฆฌ ์์ฑ์ ์ฐ์ตํ์ต๋๋ค. 2) AARRR ๋ง์ผํ ์ํฌ์์ ํตํด ๋น์ฆ๋์ค ๋ชจ๋ธ ํ๋ ์์ํฌ๋ฅผ ํ์ฉํ ๊ณ ๊ฐ ํ๋ ๋ถ์์ ํ์ตํ์์ต๋๋ค.
"์ผ๋จธ(Yammer)"๋ ๋ง์ดํฌ๋ก์ํํธ ์ฐํ์ ๊ธฐ์ ์ฉ ์์ ๋คํธ์ํฌ ์๋น์ค ํ์ฌ์ ๋๋ค. ๋ฐ์๊ฑธ์ฆ์์ ๋ณธ ํ๋ก์ ํธ ์๋ฆฌ์ฆ๋ฅผ ์ํด ์ฌ์ฉํ ๋ฐ์ดํฐ๊ฐ "์ผ๋จธ(Yammer)"์ฌ์ ๋ฐ์ดํฐ์ด๊ธฐ ๋๋ฌธ์, ์ผ๋ช "์ผ๋จธ ํ๋ก์ ํธ"๋ผ ๋ถ๋ฅด๊ณ ์์ต๋๋ค. ๋ํ ์ฌ์ฉ๋ ๋ฐ์ดํฐ๋ ๋ฐ์ดํฐ ๋ถ์ ์๋ฃจ์ ์ ์ฒด "๋ชจ๋(MODE)"์์ ๋ฐ์์ผ๋ฉฐ, ์ด๋ฅผ ํ์ฉํ์ฌ ์ด 3๊ฐ์ง์ ํ์ ๊ณผ ์ ์ฌํ ๋ฌธ์ ์ํฉ์ ๊ฐ์ ํ๊ณ ํด๊ฒฐํ๋ ์๋ฎฌ๋ ์ด์ ํ๋ก์ ํธ๋ฅผ ์งํํ์ต๋๋ค.
์ผ๋จธ๋ ์๋ก์ด ๊ธฐ๋ฅ์ ๊ฐ๋ฐํ ๋ฟ๋ง ์๋๋ผ, ๊ธฐ์กด์ ์๋ ๊ธฐ๋ฅ๋ค์ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๊ณ ์์ต๋๋ค. ์ผ๋จธ๋ ์ด๋ ๊ฒ ๊ฐ์ ํ ๊ธฐ๋ฅ์ ์ ์์ผ๋ก ๊ณ ๊ฐ๋ค์๊ฒ ์ ๋ณด์ด๊ธฐ์ ์, ์ด ๊ธฐ๋ฅ์ด ๊ณ ๊ฐ ๊ฒฝํ์ ์ด๋ค ์ํฅ์ ์ฃผ๋์ง ํ์ ํ๊ธฐ ์ํ A/B ํ ์คํธ๋ฅผ ์งํํฉ๋๋ค. ์ด๋ฒ์๋ ์ผ๋จธ์ ๋ฉ์์ง ๋ฐ์ก๊ธฐ๋ฅ์ ๊ฐ์ ํด์ A/B ํ ์คํธ๋ฅผ ์งํํ๋๋ฐ, ์ด์ ๊ณผ ์ด๋ค ์ฐจ์ด๊ฐ ์๋์ง ๋ถ์์ ํตํด ์์๋ณด๋ ค๊ณ ํฉ๋๋ค.
๋ฐ์๊ฑธ์ฆ 5๊ฐ ์กฐ๋ ์ด ๊ณผ์ ๋ฅผ ์ด๋ป๊ฒ ๋ถ์ํ๋์ง ์ดํด๋ด ์๋ค.
๐ team no.1์ ๋ฐํ์๋ฃ
A/B ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ์ดํดํ๋๋ฐ์ ๊ธฐ๋ณธ์ด ๋๋ T-test, P_value ๋ฅผ ์ค๋ช ํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋๋ฃ์ ํ ์คํธ ๋ฐฉ์์ ๋๊ฐ์ง ์๋ฌธ์ ์ ์ ๊ธฐํฉ๋๋ค. ์ฒซ์งธ๋ก ํ ์คํธ ๊ฒฐ๊ณผ ์ธก์ ๋ฐฉ์์ด ์๋ชป ๋์์ ๊ฐ๋ฅ์ฑ ์ ๋๋ค. t-test๋ฅผ ์งํํ๊ณ , z-test ๋ถํฌํ๋ฅผ ์ฐธ๊ณ ํ ์ ์ ๋ฐ๊ฒฌํด๋ด์์ต๋๋ค. ๋์งธ๋ก ๋์กฐ๊ตฐ๊ณผ ์คํ๊ตฐ์ ์ ๋ง๋ก ๋๋คํ๊ฒ ๋๋์๋์ง์ ๋ํด ์๋ฌธ๊ณผ ๊ทธ๋ ๊ฒ ์๊ฐํ ์ด์ ๋ค์ ์ ์ํ๊ณ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ด๋ฐ ์๋ฌธ์ ์ ๊ฐ์ ํ ์๋ก์ด ๋ถ์ ๋ฐฉ๋ฒ์ ์ ์ํ๊ณ ์์ต๋๋ค.
๐ team no.2์ ๋ฐํ์๋ฃ
๋ณธ๊ฒฉ ๋ถ์์ ์์ SQL ์ฝ๋๋ฅผ ๊ผผ๊ผผํ๊ฒ ๋ฏ์ด๋ณด๊ณ , ํ ์ด๋ธ์ ๊ตฌ์กฐ๋ฅผ ๋์ํํ์ฌ ๋ณต์กํ subquery๋ฅผ ํ๋์ ๋ณผ ์ ์๋๋ก ์ ๋ฆฌํ์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ฐ ํ ์ด๋ธ์ ์ปฌ๋ผ์ด ๋ฌด์์ ์๋ฏธํ๋์ง table์ ์ง์ join ํด๋ณด๋ฉด์ ์ดํด๋ณด๊ณ ์ฟผ๋ฆฌ์ ์ฌ์ฉ ๋ ํจ์๋ค์ ์ ์ํ๋ฉด์ ํ ์ด๋ธ๊ณผ ์ฟผ๋ฆฌ๋ฅผ ์ดํดํ๋๋ฐ์ ๋์์ ์ฃผ์์ต๋๋ค. ๋ถ์๊ณผ์ ์์๋ ์ฝํธํธ ๋ถ์์ ํ์ฉํ์ฌ, ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ์ธ๋ถ์ ์ผ๋ก ๋ ์ชผ๊ฐ์ ์ดํด๋ณด๊ณ ์์ต๋๋ค.
๐ team no.3์ ๋ฐํ์๋ฃ
์ด๋ฆ๋ง์ผ๋ก ์ดํดํ๊ธฐ ์ด๋ ค์ด ์งํ์ธ rate_difference, rate_lift ๋ฑ์ ๋ํ ์ ์๋ฅผ ๊ผผ๊ผผํ๊ฒ ์ดํด๋ณด๊ณ , ์ฟผ๋ฆฌ๋ก ์ดํดํ๊ณ ์์ด์. ๋ํ ๋๋ฃ๊ฐ ๊ทธ๋ฆฐ ์๊ฐํ ๋ฐฉ๋ฒ๋ณด๋ค ๋ ๋์ ๋ฐฉ๋ฒ์ ์๊ฐํ๋ฅผ ์ ์ํ๊ณ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋๋ฐ์ด์ค ๋ณ๋ก ๋ณด์์ ๋ ์ฃผ์ํด์ผ ํ ๊ต๋ํธํฅ(Counfounding bias)์ ๋ํด ๊ฐ๋ ์ ์ค๋ช ํ๊ณ , ์ผ๋จธ์ ์คํ์์๋ ๊ต๋ธํธํฅ์ด ์์๋์ง ๋ถ์ํ์ต๋๋ค.
๐ team no.4์ ๋ฐํ์๋ฃ
์คํ ๊ฒฐ๊ณผ์์ ์ฃผ์ํ๊ฒ ์ดํด๋ณผ ๋ฌธ์ ๋ค์ ๋ฏธ๋ฆฌ ์ ์ํด๋๊ณ ๋๋ฃ์ ๋ถ์์ ๋ฏ์ด๋ณด๊ณ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ถ์๊ณผ์ ์์ ์ฟผ๋ฆฌ๋ฅผ ๋ค์ ์งฐ์ ๋ ๋ฐ์ํ๋ null๊ฐ์ด ์๊ธฐ๋ ์์ธ ์ผ์ด์ค, ์ปฌ๋ผ์ ํ๊ฐ์ง ๊ฐ ๋ฐ์ ์์์๋ ๋ช ์ํด์ฃผ๋ ์ด์ , ์ ๊ท ์ ์ ์ ๊ธฐ์ค์ ๋ํด ์๋ฌธ์ ๊ฐ์ง๊ณ , ํด๋ต์ ์ด๋์ด๋ด์์ต๋๋ค. ์ต์ข ์ ์ผ๋ก ์์ผ๋ก ์ ๊ท ์ ์ ๋์์ผ๋ก๋ง A/B ํ ์คํธ๋ฅผ ์งํํด๋ณด๋ ๊ฒ๊ณผ ๊ธฐ๊ธฐ๋ณ ์ฌ์ฉ๋์ ์ฒดํฌํด๋ณด๋ ๊ฒ์ ์ ์ํ๋ฉด์ ๋ง๋ฌด๋ฆฌํ์ต๋๋ค.
๐ team no.5์ ๋ฐํ์๋ฃ
A/B ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ํด์ํ๋๋ฐ์ ๋์์ด ๋๋ ํต๊ณ์ ๊ฐ์ค๊ฒ์ , z-test, t-test, p-value๋ฅผ ์๊ธฐ ์ฝ๊ฒ ์ ๋ฆฌํ์ต๋๋ค. ๊ฒฐ๊ณผ์ ๋ํด์ ์ผ๋จธ ๋๋ฃ๋ ๊ฐ์ ํ ๋ฒ์ ์ด ์ฑ๊ณผ๊ฐ ๋๋ค๊ณ ํ์ง๋ง, ๊ตญ๊ฐ, ๊ธฐ๊ธฐ ๋ฑ์ ๊ณ ๋ คํ์ฌ ๊ท ๋ฑํ๊ฒ ์ง๋จ์ ๋๋์๋์ง์ ๋ํด ์๋ฌธ์ ์ ๊ธฐํ์์ต๋๋ค. ๋ํ ์คํ๊ตฐ์๊ฒ ๋์ผํ ํ ์คํธ ๊ธฐ๊ฐ์ด ์ ์ฉ๋๋ ๋ฐฉ์์ ๊ณ ๋ คํ ๊ฒ์ ์ ์ํ์ต๋๋ค.
A/B ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ํด์ํ๋๋ฐ์ ๋์์ด ๋๋ ํต๊ณ์ ๊ฐ์ค๊ฒ์ , z-test, t-test, p-value๋ฅผ ์๊ธฐ ์ฝ๊ฒ ์ ๋ฆฌํ์ต๋๋ค. ๊ฒฐ๊ณผ์ ๋ํด์ ์ผ๋จธ ๋๋ฃ๋ ๊ฐ์ ํ ๋ฒ์ ์ด ์ฑ๊ณผ๊ฐ ๋๋ค๊ณ ํ์ง๋ง, ๊ตญ๊ฐ, ๊ธฐ๊ธฐ ๋ฑ์ ๊ณ ๋ คํ์ฌ ๊ท ๋ฑํ๊ฒ ์ง๋จ์ ๋๋์๋์ง์ ๋ํด ์๋ฌธ์ ์ ๊ธฐํ์์ต๋๋ค. ๋ํ ์คํ๊ตฐ์๊ฒ ๋์ผํ ํ ์คํธ ๊ธฐ๊ฐ์ด ์ ์ฉ๋๋ ๋ฐฉ์์ ๊ณ ๋ คํ ๊ฒ์ ์ ์ํ์ต๋๋ค.๐
๋๊ธ ์์ญ