์ƒ์„ธ ์ปจํ…์ธ 

๋ณธ๋ฌธ ์ œ๋ชฉ

์•ผ๋จธ ํ”„๋กœ์ ํŠธ3๏ธโƒฃ: A/Bํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ๋ถ„์„ํ•ด๋ผ

๋ณธ๋ฌธ

๐Ÿ“Š ๋ฐ์ž‡๊ฑธ์ฆˆ์˜ ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ”„๋กœ์ ํŠธ

๋ฐ์ž‡๊ฑธ์ฆˆ๋Š” ์‹ค๋ฌด ์ˆ˜์ค€์˜ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์—ญ๋Ÿ‰์„ ํ‚ค์šฐ๊ธฐ ์œ„ํ•ด '์ดํ„ฐ๋ ˆ์ด์…˜iteration' ๋‹จ์œ„๋ฅผ ํ†ตํ•ด ํ•™์Šตํ•˜๊ณ , ๋‹จ์œ„๋งˆ๋‹ค ๋ถ„์„ ํ”„๋กœ์ ํŠธ๋ฅผ ๊ฑฐ๋“ญํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ํ•™์Šตํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ์ดํ„ฐ๋ ˆ์ด์…˜์ด๋ž€, ํŠน์ • ๋ชฉ์ ์˜ ๋‹ฌ์„ฑ์ด๋‚˜ ์›ํ•˜๋Š” ์ตœ์ข…๊ฐ’์„ ์–ป๊ธฐ ์œ„ํ•˜์—ฌ ํŠน์ •ํ•œ ์•Œ๊ณ ๋ฆฌ๋“ฌ์˜ ๊ฐ™์€ ๊ณผ์ •์„ ๋ณ€์ˆ˜๋งŒ ๋‹ฌ๋ฆฌํ•˜์—ฌ ๋ฐ˜๋ณต์ ์œผ๋กœ ์ˆ˜ํ–‰์‹œํ‚ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•˜๋Š” ๋‹จ์–ด๋กœ ๋ฐ์ž‡๊ฑธ์ฆˆ์—์„œ๋Š” ์ตœ์ข… ํ•™์Šต ๋ชฉํ‘œ์— ๋„๋‹ฌํ•˜๊ธฐ ์œ„ํ•ด ์ž‘์€ ํ”„๋กœ์ ํŠธ๋ฅผ ๊ฑฐ๋“ญํ•˜๋„๋ก ํ•˜๋Š” ํšŒ๊ธฐ ํ•˜๋‚˜ํ•˜๋‚˜๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ž‡๊ฑธ์ฆˆ ๊ตฌ์„ฑ์›๋“ค์€ ์ดํ„ฐ๋ ˆ์ด์…˜๋งˆ๋‹ค ๋ฐ˜๋ณต์ ์œผ๋กœ ์ž‘์€ ์ˆ˜์ค€์˜ ์‹คํŒจ์™€ ๋น›๋‚˜๋Š” ์„ฑ๊ณต๋“ค์„ ๊ฒฝํ—˜ํ•˜๋ฉฐ ๊พธ์ค€ํžˆ ์„ฑ์žฅํ•ด์™”์Šต๋‹ˆ๋‹ค!

์ดํ„ฐ๋ ˆ์ด์…˜1์—์„œ๋Š” 1) SQL ์ด๋ก  ๊ฐ•์˜์™€ ์‹ค์Šต์ด ์ฃผ๋ฅผ ์ด๋ฃจ์—ˆ์Šต๋‹ˆ๋‹ค. ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค, ํ•ด์ปค๋žญํฌ์˜ ์ฝ”๋”ฉ ํ…Œ์ŠคํŠธ ๋ฌธ์ œ๋ฅผ ํ’€๊ณ  ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœ ๋ฐ ๊ฐ€๊ณตํ•˜๋Š” ์ฟผ๋ฆฌ ์ž‘์„ฑ์„ ์—ฐ์Šตํ–ˆ์Šต๋‹ˆ๋‹ค. 2) AARRR ๋งˆ์ผ€ํŒ… ์›Œํฌ์ˆ์„ ํ†ตํ•ด ๋น„์ฆˆ๋‹ˆ์Šค ๋ชจ๋ธ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ํ™œ์šฉํ•œ ๊ณ ๊ฐ ํ–‰๋™ ๋ถ„์„์„ ํ•™์Šตํ•˜์˜€์Šต๋‹ˆ๋‹ค.

[์•ผ๋จธ(Yammer)ํ”„๋กœ์ ํŠธ] ๋ž€?

"์•ผ๋จธ(Yammer)"๋Š” ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ ์‚ฐํ•˜์˜ ๊ธฐ์—…์šฉ ์†Œ์…œ ๋„คํŠธ์›Œํฌ ์„œ๋น„์Šค ํšŒ์‚ฌ์ž…๋‹ˆ๋‹ค. ๋ฐ์ž‡๊ฑธ์ฆˆ์—์„œ ๋ณธ ํ”„๋กœ์ ํŠธ ์‹œ๋ฆฌ์ฆˆ๋ฅผ ์œ„ํ•ด ์‚ฌ์šฉํ•œ ๋ฐ์ดํ„ฐ๊ฐ€ "์•ผ๋จธ(Yammer)"์‚ฌ์˜ ๋ฐ์ดํ„ฐ์ด๊ธฐ ๋•Œ๋ฌธ์—, ์ผ๋ช… "์•ผ๋จธ ํ”„๋กœ์ ํŠธ"๋ผ ๋ถ€๋ฅด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ์‚ฌ์šฉ๋œ ๋ฐ์ดํ„ฐ๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„ ์†”๋ฃจ์…˜ ์—…์ฒด "๋ชจ๋“œ(MODE)"์—์„œ ๋ฐ›์•˜์œผ๋ฉฐ, ์ด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์ด 3๊ฐ€์ง€์˜ ํ˜„์—…๊ณผ ์œ ์‚ฌํ•œ ๋ฌธ์ œ ์ƒํ™ฉ์„ ๊ฐ€์ •ํ•˜๊ณ  ํ•ด๊ฒฐํ•˜๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ”„๋กœ์ ํŠธ๋ฅผ ์ง„ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค.

์•ผ๋จธ ํ”„๋กœ์ ํŠธ 3๏ธโƒฃ: A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ถ„์„ํ•˜๋ผ!

 

์„ธ ๋ฒˆ์งธ ํ”„๋กœ์ ํŠธ์˜ ๊ณผ์ œ

์•ผ๋จธ๋Š” ์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ์„ ๊ฐœ๋ฐœํ•  ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๊ธฐ์กด์— ์žˆ๋Š” ๊ธฐ๋Šฅ๋“ค์„ ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•ผ๋จธ๋Š” ์ด๋ ‡๊ฒŒ ๊ฐœ์„ ํ•œ ๊ธฐ๋Šฅ์„ ์ •์‹์œผ๋กœ ๊ณ ๊ฐ๋“ค์—๊ฒŒ ์„ ๋ณด์ด๊ธฐ์ „์—, ์ด ๊ธฐ๋Šฅ์ด ๊ณ ๊ฐ ๊ฒฝํ—˜์— ์–ด๋–ค ์˜ํ–ฅ์„ ์ฃผ๋Š”์ง€ ํŒŒ์•…ํ•˜๊ธฐ ์œ„ํ•œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฒˆ์—๋Š” ์•ผ๋จธ์˜ ๋ฉ”์‹œ์ง€ ๋ฐœ์†ก๊ธฐ๋Šฅ์„ ๊ฐœ์„ ํ•ด์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ–ˆ๋Š”๋ฐ, ์ด์ „๊ณผ ์–ด๋–ค ์ฐจ์ด๊ฐ€ ์žˆ๋Š”์ง€ ๋ถ„์„์„ ํ†ตํ•ด ์•Œ์•„๋ณด๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.


๋ฐ์ž‡๊ฑธ์ฆˆ 5๊ฐœ ์กฐ๋Š” ์ด ๊ณผ์ œ๋ฅผ ์–ด๋–ป๊ฒŒ ๋ถ„์„ํ–ˆ๋Š”์ง€ ์‚ดํŽด๋ด…์‹œ๋‹ค.

team no.1

๐Ÿ‘€ team no.1์˜ ๋ฐœํ‘œ์ž๋ฃŒ

A/B ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ์ดํ•ดํ•˜๋Š”๋ฐ์— ๊ธฐ๋ณธ์ด ๋˜๋Š” T-test, P_value ๋ฅผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋™๋ฃŒ์˜ ํ…Œ์ŠคํŠธ ๋ฐฉ์‹์— ๋‘๊ฐ€์ง€ ์˜๋ฌธ์ ์„ ์ œ๊ธฐํ•ฉ๋‹ˆ๋‹ค. ์ฒซ์งธ๋กœ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ ์ธก์ • ๋ฐฉ์‹์ด ์ž˜๋ชป ๋˜์—ˆ์„ ๊ฐ€๋Šฅ์„ฑ ์ž…๋‹ˆ๋‹ค. t-test๋ฅผ ์ง„ํ–‰ํ•˜๊ณ , z-test ๋ถ„ํฌํ‘œ๋ฅผ ์ฐธ๊ณ ํ•œ ์ ์„ ๋ฐœ๊ฒฌํ•ด๋‚ด์—ˆ์Šต๋‹ˆ๋‹ค. ๋‘˜์งธ๋กœ ๋Œ€์กฐ๊ตฐ๊ณผ ์‹คํ—˜๊ตฐ์„ ์ •๋ง๋กœ ๋žœ๋คํ•˜๊ฒŒ ๋‚˜๋ˆ„์—ˆ๋Š”์ง€์— ๋Œ€ํ•ด ์˜๋ฌธ๊ณผ ๊ทธ๋ ‡๊ฒŒ ์ƒ๊ฐํ•œ ์ด์œ ๋“ค์„ ์ œ์‹œํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด๋Ÿฐ ์˜๋ฌธ์ ์„ ๊ฐœ์„ ํ•œ ์ƒˆ๋กœ์šด ๋ถ„์„ ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

team no.2

๐Ÿ‘€ team no.2์˜ ๋ฐœํ‘œ์ž๋ฃŒ

FROM ์ ˆ์˜ ํ…Œ์ด๋ธ” ๊ตฌ์กฐ ์š”์•ฝ

๋ณธ๊ฒฉ ๋ถ„์„์— ์•ž์„œ SQL ์ฝ”๋“œ๋ฅผ ๊ผผ๊ผผํ•˜๊ฒŒ ๋œฏ์–ด๋ณด๊ณ , ํ…Œ์ด๋ธ”์˜ ๊ตฌ์กฐ๋ฅผ ๋„์‹ํ™”ํ•˜์—ฌ ๋ณต์žกํ•œ subquery๋ฅผ ํ•œ๋ˆˆ์— ๋ณผ ์ˆ˜ ์žˆ๋„๋ก ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๊ฐ ํ…Œ์ด๋ธ”์˜ ์ปฌ๋Ÿผ์ด ๋ฌด์—‡์„ ์˜๋ฏธํ•˜๋Š”์ง€ table์„ ์ง์ ‘ join ํ•ด๋ณด๋ฉด์„œ ์‚ดํŽด๋ณด๊ณ  ์ฟผ๋ฆฌ์— ์‚ฌ์šฉ ๋œ ํ•จ์ˆ˜๋“ค์„ ์ •์˜ํ•˜๋ฉด์„œ ํ…Œ์ด๋ธ”๊ณผ ์ฟผ๋ฆฌ๋ฅผ ์ดํ•ดํ•˜๋Š”๋ฐ์— ๋„์›€์„ ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค. ๋ถ„์„๊ณผ์ •์—์„œ๋Š” ์ฝ”ํ˜ธํŠธ ๋ถ„์„์„ ํ™œ์šฉํ•˜์—ฌ, ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ์„ธ๋ถ€์ ์œผ๋กœ ๋” ์ชผ๊ฐœ์„œ ์‚ดํŽด๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

team no.3

๐Ÿ‘€ team no.3์˜ ๋ฐœํ‘œ์ž๋ฃŒ

์ด๋ฆ„๋งŒ์œผ๋กœ ์ดํ•ดํ•˜๊ธฐ ์–ด๋ ค์šด ์ง€ํ‘œ์ธ rate_difference, rate_lift ๋“ฑ์— ๋Œ€ํ•œ ์ •์˜๋ฅผ ๊ผผ๊ผผํ•˜๊ฒŒ ์‚ดํŽด๋ณด๊ณ , ์ฟผ๋ฆฌ๋กœ ์ดํ•ดํ•˜๊ณ  ์žˆ์–ด์š”. ๋˜ํ•œ ๋™๋ฃŒ๊ฐ€ ๊ทธ๋ฆฐ ์‹œ๊ฐํ™” ๋ฐฉ๋ฒ•๋ณด๋‹ค ๋” ๋‚˜์€ ๋ฐฉ๋ฒ•์˜ ์‹œ๊ฐํ™”๋ฅผ ์ œ์•ˆํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋””๋ฐ”์ด์Šค ๋ณ„๋กœ ๋ณด์•˜์„ ๋•Œ ์ฃผ์˜ํ•ด์•ผ ํ•  ๊ต๋ž€ํŽธํ–ฅ(Counfounding bias)์— ๋Œ€ํ•ด ๊ฐœ๋…์„ ์„ค๋ช…ํ•˜๊ณ , ์•ผ๋จธ์˜ ์‹คํ—˜์—์„œ๋Š” ๊ต๋žธํŽธํ–ฅ์ด ์—†์—ˆ๋Š”์ง€ ๋ถ„์„ํ–ˆ์Šต๋‹ˆ๋‹ค.

team no.4

๐Ÿ‘€ team no.4์˜ ๋ฐœํ‘œ์ž๋ฃŒ

์‹คํ—˜ ๊ฒฐ๊ณผ์—์„œ ์ฃผ์š”ํ•˜๊ฒŒ ์‚ดํŽด๋ณผ ๋ฌธ์ œ๋“ค์„ ๋ฏธ๋ฆฌ ์ •์˜ํ•ด๋‘๊ณ  ๋™๋ฃŒ์˜ ๋ถ„์„์„ ๋œฏ์–ด๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋ถ„์„๊ณผ์ •์—์„œ ์ฟผ๋ฆฌ๋ฅผ ๋‹ค์‹œ ์งฐ์„ ๋•Œ ๋ฐœ์ƒํ•˜๋Š” null๊ฐ’์ด ์ƒ๊ธฐ๋Š” ์˜ˆ์™ธ ์ผ€์ด์Šค, ์ปฌ๋Ÿผ์— ํ•œ๊ฐ€์ง€ ๊ฐ’ ๋ฐ–์— ์—†์Œ์—๋„ ๋ช…์‹œํ•ด์ฃผ๋Š” ์ด์œ , ์‹ ๊ทœ ์œ ์ €์˜ ๊ธฐ์ค€์— ๋Œ€ํ•ด ์˜๋ฌธ์„ ๊ฐ€์ง€๊ณ , ํ•ด๋‹ต์„ ์ด๋Œ์–ด๋‚ด์—ˆ์Šต๋‹ˆ๋‹ค. ์ตœ์ข…์ ์œผ๋กœ ์•ž์œผ๋กœ ์‹ ๊ทœ ์œ ์ €๋Œ€์ƒ์œผ๋กœ๋งŒ A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•ด๋ณด๋Š” ๊ฒƒ๊ณผ ๊ธฐ๊ธฐ๋ณ„ ์‚ฌ์šฉ๋Ÿ‰์„ ์ฒดํฌํ•ด๋ณด๋Š” ๊ฒƒ์„ ์ œ์•ˆํ•˜๋ฉด์„œ ๋งˆ๋ฌด๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. 

team no.5

๐Ÿ‘€ team no.5์˜ ๋ฐœํ‘œ์ž๋ฃŒ

A/B ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•˜๋Š”๋ฐ์— ๋„์›€์ด ๋˜๋Š” ํ†ต๊ณ„์˜ ๊ฐ€์„ค๊ฒ€์ •, z-test, t-test, p-value๋ฅผ ์•Œ๊ธฐ ์‰ฝ๊ฒŒ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์— ๋Œ€ํ•ด์„œ ์•ผ๋จธ ๋™๋ฃŒ๋Š” ๊ฐœ์„ ํ•œ ๋ฒ„์ „์ด ์„ฑ๊ณผ๊ฐ€ ๋†’๋‹ค๊ณ  ํ–ˆ์ง€๋งŒ, ๊ตญ๊ฐ€, ๊ธฐ๊ธฐ ๋“ฑ์„ ๊ณ ๋ คํ•˜์—ฌ ๊ท ๋“ฑํ•˜๊ฒŒ ์ง‘๋‹จ์„ ๋‚˜๋ˆ„์—ˆ๋Š”์ง€์— ๋Œ€ํ•ด ์˜๋ฌธ์„ ์ œ๊ธฐํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ์‹คํ—˜๊ตฐ์—๊ฒŒ ๋™์ผํ•œ ํ…Œ์ŠคํŠธ ๊ธฐ๊ฐ„์ด ์ ์šฉ๋˜๋Š” ๋ฐฉ์•ˆ์„ ๊ณ ๋ คํ•  ๊ฒƒ์„ ์ œ์•ˆํ–ˆ์Šต๋‹ˆ๋‹ค.


์ด ํ”„๋กœ์ ํŠธ์—์„œ๋Š”...

A/B ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•˜๋Š”๋ฐ์— ๋„์›€์ด ๋˜๋Š” ํ†ต๊ณ„์˜ ๊ฐ€์„ค๊ฒ€์ •, z-test, t-test, p-value๋ฅผ ์•Œ๊ธฐ ์‰ฝ๊ฒŒ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์— ๋Œ€ํ•ด์„œ ์•ผ๋จธ ๋™๋ฃŒ๋Š” ๊ฐœ์„ ํ•œ ๋ฒ„์ „์ด ์„ฑ๊ณผ๊ฐ€ ๋†’๋‹ค๊ณ  ํ–ˆ์ง€๋งŒ, ๊ตญ๊ฐ€, ๊ธฐ๊ธฐ ๋“ฑ์„ ๊ณ ๋ คํ•˜์—ฌ ๊ท ๋“ฑํ•˜๊ฒŒ ์ง‘๋‹จ์„ ๋‚˜๋ˆ„์—ˆ๋Š”์ง€์— ๋Œ€ํ•ด ์˜๋ฌธ์„ ์ œ๊ธฐํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ์‹คํ—˜๊ตฐ์—๊ฒŒ ๋™์ผํ•œ ํ…Œ์ŠคํŠธ ๊ธฐ๊ฐ„์ด ์ ์šฉ๋˜๋Š” ๋ฐฉ์•ˆ์„ ๊ณ ๋ คํ•  ๊ฒƒ์„ ์ œ์•ˆํ–ˆ์Šต๋‹ˆ๋‹ค.๐Ÿ™‚

 

๊ด€๋ จ๊ธ€ ๋”๋ณด๊ธฐ

๋Œ“๊ธ€ ์˜์—ญ

ํŽ˜์ด์ง•