1인 셀러를 위한 데이터 서비스

바쁜 사람들은 1인 셀러들이 사업의 규모와 관계없이 데이터에 기반한 의사결정을 내릴 수 있는 환경을 제공하기 위해 제작되었습니다.

Mar 09, 2023

Contents

0. 프로젝트 Overview 1. 프로젝트 개요 2. 프로젝트 수행 절차 및 방법 3. 프로젝트 결과

0. 프로젝트 Overview 1. 프로젝트 개요 1-1. 주제 선정의 배경 1-2. 주제 2. 프로젝트 수행 절차 및 방법 2-1. 데이터 상세 설명 2-2. 구현 절차 2-3. 협업 프로세스 3. 프로젝트 결과 3-1. 바쁜 사람들 3-2. 현업자 피드백과 회고 3-3. 개선 과제

0. 프로젝트 Overview

👔

안녕하세요 바쁜사람들입니다

바쁜 사람들은 1인 셀러들이 사업의 규모와 관계없이 데이터에 기반한 의사결정을 내릴 수 있는 환경을 제공하기 위해 제작되었습니다.

비즈니스 성장을 위해서는 다양한 비즈니스 데이터를 통해 문제점을 파악하고 알맞은 액션 플랜을 설계하는 것이 중요합니다.

바쁜 사람들은 유통 채널별 리뷰 데이터는 물론 경쟁사 리뷰 데이터에 대한 분석, 외부 데이터를 통한 트렌드 및 키워드 분석 결과를 분석가 없이도 손쉽게 볼 수 있는 대시보드를 제공합니다.

멋쟁이 사자처럼 AI SCHOOL Final Project로 약 3주간 진행한 프로젝트입니다. 문제 정의부터 텍스트 마이닝 스터디, 서비스 구현까지 모두 처음해보는 것들이었지만, 뛰어난 팀원들과 함께 재미있게 진행했습니다. 저는 해당 프로젝트의 팀리딩을 맡아, 일정 및 리소스 관리, 데이터 수집 및 전처리, 트렌드 분석 기능 구현 및 대시보드를 제작하는데 기여했습니다.

1. 프로젝트 개요

1-1. 주제 선정의 배경

목표 : 1인 셀러를 위한 데이터 모니터링 시스템 구축

📚 우리가 배운 것 : 수업에서 배웠던 비즈니스 분석, 텍스트 분석을 실무에 적용해보자. 이제, 직접 데이터를 통한 비즈니스 임팩트를 만들어보자.

🔥 1인 셀러 5만 시대 : 초보 셀러들일 수록, 직관과 감에 의존하여 잘못된 의사결정을 하게 됩니다.

🤹🏻‍♂️ 모든 것을 해내야 한다! : 1인 셀러는 제품개발, 판매, 마케팅, 재고 관리, 고객 관리등 다양한 영역의 비즈니스 문제를 혼자 해결해야 합니다.

😀 그래서 우리는 : 1인 셀러들을 위한 데이터 가이드를 제공해주고 싶습니다. 모든 셀러들이 사업의 규모와 관계없이 데이터에 기반한 의사결정을 내릴 수 있는 환경을 제공하고, 누구나 성장 기회를 갖게 만들어주고 싶거든요!

Why So? : 1인 셀러가 겪는 문제들

분산된 유통채널

보통 평균 3개 이상의 유통채널을 갖고 있습니다.

데이터가 각각 쌓이고, 플랫폼에 따라 고객 정보를 제공하지 않아 고객관리가 어렵습니다.

트렌드 분석

외부에서 브랜드에 대한 언급, 잠재 고객들이 무엇에 관심을 갖고 있는지 확인하기 어렵습니다.

외부에 어떤 시장기회가 있는지? 데이터에 기반해서 찾아보고자 합니다.

So What? : 모든 셀러를 위한 데이터 서비스

월 xxxx만원 정도의 매출이 발생하는 식물영양제 브랜드의 그로스 컨설턴트가 되보자!

브랜드 정보

B2C 커머스 제조업
주고객 : 식물을 키우는 30-60대 여성
시장 특징 : 커뮤니티 집약적임(평판 중요)/WoM 이 매우 중요/대형 인플루언서가 별로 없음
유통 채널 : 쿠팡>네이버>자사몰>이외
제품 : 식물영양제, 뿌리영양제, 흙(외부소싱)
마케팅 채널 : 네이버 밴드(식물병원)

모든 셀러들에게도 확대 적용할 수 있는 데이터 서비스를 만드는 것이 목표!

1-2. 주제

<텍스트 데이터를 바탕으로 식물 영양제 시장 트렌드 및 고객 니즈 분석>

🗣

리뷰 분석

자사 리뷰 | 만족(selling point)/불만족(개선점) 하는 포인트

자사&경쟁사 리뷰 | 잠재 고객들의 니즈를 파악하여 자사 제품의 개선점

✂️

트렌드 분석

커뮤니티 | 많이 언급된, 새롭게 생성된 키워드

커뮤니티 | 영향도가 높은 커뮤니티/인플루언서

2. 프로젝트 수행 절차 및 방법

2-1. 데이터 상세 설명

유통 채널의 데이터는 bs4, 셀레니움등을 사용해서 직접 스크래핑 및 크롤링을 진행했습니다.

대부분의 데이터셋은 정확한 고객 식별이 불가능하며 시계열, 텍스트 데이터를 포함하고 있습니다.

2-2. 구현 절차

1️⃣ 데이터 수집

자사 리뷰 데이터(네이버, 쿠팡)

경쟁사 리뷰 데이터(네이버, 쿠팡)

식물병원 데이터(자사 고객들이 사용하는 네이버 BAND)

2️⃣ 데이터 전처리

분석에 용이한 형태로 가공하기 위해 특수문자, 이모지 제거, 대소문자 통일, 불용어(큰 도움이 되지 않는 단어,조사) 제거했습니다.

참고자료들

02-04 불용어(Stopword)

갖고 있는 데이터에서 유의미한 단어 토큰만을 선별하기 위해서는 큰 의미가 없는 단어 토큰을 제거하는 작업이 필요합니다. 여기서 큰 의미가 없다라는 것은 자주 등장하지만 분석을 하…

https://wikidocs.net/22530

NLP - 3. 불용어(Stop word) 제거

텍스트 전처리 두 번째 주제는 불용어(Stop word) 제거입니다. 불용어(Stop word)는 분석에 큰 의미가 없는 단어를 지칭합니다. 예를 들어 the, a, an, is, I, my 등과 같이 문장을 구성하는 필수 요소지만 문맥적으로 큰 의미가 없는 단어가 이에 속합니다. 이런 불용어는 텍스트에 빈번하게 나타나기 때문에 중요한 단어로 인지될 수 있습니다. 하지만 실질적으로는 중요한 단어가 아니므로 사전에 제거해줘야 합니다. 이전과 마찬가지로 파이썬 머신러닝 완벽 가이드 (권철민 저), 딥 러닝을 이용한 자연어 처리 입문 (유원주 저)을 요약정리했습니다. 불용어 확인하기 import nltk nltk.download('stopwords') print('영어 불용어 갯수:',len(nltk.corp..

https://bkshin.tistory.com/entry/NLP-3-불용어Stop-word-제거

3️⃣ 텍스트 마이닝

토큰화, 어간 추출, 품사 태깅 등의 과정을 거쳐 텍스트 데이터를 정형화된 데이터로 변환했습니다.

이 과정에서 여러 형태소분석기를 검토했고, 최종적으로 Khaiii를 활용했습니다.

은어/사용자사전을 제작하고 맞춤범 검사기 API를 사용하는 등 성능을 높이기 위한 노력들을 추가적으로 진행했습니다.

4️⃣ 감성분석

자사리뷰, 경쟁사 리뷰 각각 감성 분석 실행

각 리뷰의 긍정, 부정, 중립 여부를 판별하여 감성 지수 계산

참고자료들

[NLP] 텍스트 분류와 감성(Sentiment)분석 구현하기

이번 포스팅에서는 sklearn의 내장된 데이터와 Kaggle 데이터를 활용해 뉴스 기사 데이터들의 카테고리를 분석하는 텍스트 분류, 그리고 Review의 감성(긍정, 부정)을 분류해보는 실습내용에 대해 소개하려고 한다. 텍스트 데이터 분석, 모델링 과정 프로세스에 대해서는 여기를 참고하자. 목차는 다음과 같다. 1. 뉴스 카테고리 분류하기 2. 리뷰 감성 분류하기 1. 뉴스 카테고리 분류하기 네이버, 다음, 그리고 여러 종류의 언론사 각각의 홈페이지를 방문해 보면 다양한 카테고리의 뉴스가 존재하는 것을 알 수 있다. 그리고 각 뉴스 기사의 카테고리를 지정하는 기준은 해당 뉴스의 내용이 기반이 된다. 그렇다면 뉴스 내용의 텍스트를 기반으로 해당 뉴스의 카테고리를 예측할 수 있지 않을까? 이러한 예시 이외..

https://techblog-history-younghunjo1.tistory.com/111

[데이문🌜_3편] 📑 텍스트 마이닝 사용 설명서 (2) - 감성 분석

데이크루 3기 🚀

https://dacon.io/competitions/official/235946/codeshare/6006

5️⃣ 토픽모델링

위에서 감성분석으로 긍정리뷰, 부정 리뷰를 구분한 데이터셋을 한 뒤에 각각 토픽 모델링을 진행했다.

고객들이 자주 언급하는 제품의 기능, 디자인, 가격, 서비스 등의 요소를 파악하여 고객들의 우선순위를 파악할 수 있었다.

💡

예시

자사 긍정리뷰들에서 토픽모델링

고객들이 가장 중요하게 생각하는 제품의 특징을 강조하여 마케팅을 진행

자사 부정리뷰들에서 토픽모델링

제품, 서비스의 문제점이나 불편한 점(기능 or 디자인 등)이 자주 언급되면 이를 개선할 필요 있음

경쟁사 긍정리뷰들에서 토픽 모델링

경쟁사 제품이 자사 제품보다 우수한 점을 파악하여 제품 개선에 활용

6️⃣ 네트워크 분석

키워드 별 관계를 파악해 어떤 단어의 조합이 소비자에게 임팩트를 주는지 확인.

토픽모델링, 속성기반 감성 분석을 통해 핵심 키워드를 도출하고, 핵심키워드를 중심으로 네트워크 파악

네트워크 다이어그램 생성

7️⃣ 키워드 시각화

2-3. 협업 프로세스

MVP Scope을 정하여, 먼저 기능 구현을 진행한 후 개선하는 형태로 프로젝트를 진행했습니다.

주요 데이터셋, 집중할 분석 공부에 따라 팀을 세분화하여 Cross-Functional한 협업을 진행했습니다.

3. 프로젝트 결과

3-1. 바쁜 사람들

3-2. 현업자 피드백과 회고

[중간]

목표 수립 (+) 만들고자 하는 서비스의 타겟이 명확하여 실용성있는 프로젝트가 될 것 같음 (+) 텍스트를 내부 VoC, 외부트랜드, 경쟁사로 나눠서 사용한다는 점에서 텍스트에 대한 이해와 목표가 잘 씽크되어있음

: 1인 셀러를 위한 데이터 모니터링 시스템 구축이 본 주제로 이해했습니다. 이 주제 선정을 위해'왜' 이 시스템이 필요로 한지 논리적으로 잘 소구되었어요. 특히 현재 무엇이 문제인지 b2b 시장의 문제들을 일목요연하게 준비했다는 점에서 인상적이었어요. 뒤이어 그래서 무엇으로 해결할 것인지, 그 해결을 위한 구현된 예시와 상황은 어떤 것인지도 이해가 쉽게 설명되어 목표가 무엇이고, 결과물을 어떻게 설계할 것인지 이 논리적 연결고리에 대해 집중하기 편했습니다.

방법 설계 (+) 텍스트와 관련한 모든 알고리즘을 녹여낼 수 있는 프로젝트 (+) 데이터의 수집부터 시각화까지 모두 직접 수집한 데이터를 기반으로 하기 때문에 서비스화 할 수 있는 프로젝트

: 본 프로젝트의 과정은 다음과 같이 구성된 걸로 이해했어요. 설계적인 측면에서 충분히 짜임새를 갖추셨고, 일정과 역할 또한 적절하게 잘 배분되었습니다. 다만 적용될 방법론이 크게 텍스트 마이닝과 네트워크 분석 그리고 대시보드 구현이라는 3가지 기술적 방법으로 구성되어있는데, 제한된 시간내에 하기엔 어쩌면 무리일 수도 있습니다. 그러므로 본 프로젝트의 목표의 범위가 완벽한 형태의 서비스 목적이 아닌 서비스의 테스트베드 구현이라면 mvp형태로 구현하시고자 하되, 성능 및 정확도를 차후 개선이라는 과제로 남겨두시고 프레임워크를 목표로 하는것도 방법이 될 것 같습니다. 중요한 점은 두마리 토끼를 잡다가 이도저도 안될 수 있으니 팀원들간의 목표의 '범위'에 대해 충분히 일치 후 맞추어 진행하는걸 제안드립니다. 1. 데이터 수집 : 스크래핑 (자사/트랜드/경쟁사를 구분하여, 플랫폼별 수집) 2. 자연어 처리 : 수집된 데이터로 전처리 후 토픽 모델링 구성 3. 시스템 구현 : 구성된 모델과 요약된 주요 지표를 모니터링 할 수 있는 대시보드 구현

일정 관리 (+) 일정에 대한 부분이 명시되어있고 중간 점검시간을 따로 갖는 것에 가산점 (+) 팀원들이 수집/전처리는 같이 진행하나 그 이후 과정에 대해서는 서로 다른 역할을 가지고 있는 점 -> 리소스를 효율적으로 관리

: 프로젝트 일정 관리의 경우, WBS로 잘 염두해서 구성했다는 점에서 정말 잘하셨습니다. 프로젝트에서 가장 중요한 것 한가지만 말하자면, 바로 일정입니다. 가시화된 일정이 없다면, 아무리 좋은 아이디어, 주제, 방법론, 결과물이 있더라도 소구되기 어려워요. 데이터 분석이 중요한건 문제 해결의 수단이라는 측면에서 전문성의 깊이이지만, 프로젝트 매니저의 중요성은 우리가 해결해야할 주제들이 데이터 분석만으로는 해결하기 어려울 때, 이러한 PM 방법론을 통해 여러 배경과 전문성을 갖고 있는 구성원들을 위한 통합된 관리와 폭넓은 이해도로도 해결할 수 있기 때문이에요. 이러한 점에서 프로젝트 일정을 고려했다는 점에서 큰 칭찬을 드리고 싶어요. 관련해서 WBS에 대해 간단한 안내 및 링크 공유드리오니 참고 해주세요. https://www.workbreakdownstructure.com/

자료 준비 (+) 타겟 소비자와 실제 사이드가 첨부 되어있어서 현실성 있는 서비스로 어필된 점 (+) 프로젝트 팀 구성/역할에 구성원의 역할과 자기소개 각오 한마디, 데이터 수집을 하나의 표로 정리하여 깔끔한 문서를 만듦

: 프로젝트 수행 절차를 서비스로 구현될 도메인에 맞추어 데이터 수집부터 잘 분리하여 구성하셨어요. 더불어 이 진행을 위해 각 팀원별로 역할과 책임에 대해 자세하게 구성했다는 점에서도 굉장히 좋았고, 각 역할/관심사별로 스터디를 나누어 진행하되 교집합에 대해 함께 구성하는 부분도 훌륭했어요. 계획서 내 어떠한 모습으로 대시보드가 구현될지도 적용해놓아 좋았습니다. 한가지 아쉬운 점에 대한 피드백을 드리면, 모니터링 대시보드 구축이 TM (텍스트 마이닝), NA(네트워크 분석)의 총체적 결과물일텐데요. 서비스를 이용하는 고객을 대상으로 할 때, 이러한 최종 결과물에 대한 사용법 (매뉴얼)이 프로토타입으로 좀 더 자세하게 구성되어야 해요. 이 점 꼭 참고 부탁드립니다.

전달력 (+) 발표시 언급해야하는 내용과 자료로만 넘어가야하는 내용을 구분하여 매끄럽게 발표함

: 훈영님께서 발표하실 때 전달되는 톤과 속도의 안정감 있어서 무엇보다 좋았어요. 더불어 내용을 개진함에 있어, 준비한 자료를 읊지 않고 적절한 요약과 상세화를 자유롭게 전달하시는 역량도 뛰어나 보여서 좋았습니다. 또한 불필요한 사족 없이 계획서 내 집중한 피칭을 해주셔서, 계획서 없이 발표자의 구두 내용만으로도 어떻게 진행할지 충분히 그려집니다. 우수한 발표 해주셔서 감사드리며, 준비하시느라 고생하셨습니다. 발표해주신 훈영님도 훌륭했지만 함께 준비한 구성원들의 노력도 잘 느껴졌던 만큼 구성원분들도 수고 많으셨습니다. 본 전달에 대한 수준과 개선점은 더할나위 없으므로 피드백은 없습니다.

[최종]

피드백 개선 여부 (+) 추가 피드백으로 담았던 리뷰 모니터링 대시보드라는 단어를 녹여냈음

: 계획서 피드백 시 특별히 부족한 부분이 없었고, 계획서 피드백 드린 사항에 대해 충분히 잘 고려하여 진행하신 점이 좋았어요.

프로젝트 타당성 (+) 텍스트의 경우 전처라가 프로젝트 성과의 절반이라는 말이 있습니다. 그런 의미에서 은어/사용자 사전을 따로 구축했고 문장/어간 추출등의 방식을 고민하고 적용했다는 점

: 분류 형태가 비즈니스 운영자가 파악하기 좋은 형태라 인상적이었어요. 비즈니스 시나리오로 예시를 들고, 상황과 목표에 대해 소개하며 접근해서 좋았어요. 특히 비즈니스 시나리오를 객체화 시켜서 상황과 목표를 잡고 진행한 점 너무 좋았다. 도메인에 대한 이해도가 높아보였다는 점은 이 팀이 사업적으로 가장 전문성을 갖고 있다는 느낌을 받을 수 있었어요.네트워크 분석 시각화 결과 해석하는 방법에 대해 좀 더 친절하고 자세한 설명이 있었으면 좋겠어요. 니치한 마켓에도 적용되긴 어려워보여요. swot 분석과 토픽 모델 결과가 잘 매칭 되지 않는데 여러분들의 관점이 아닌 제 3자의 관점에서 리뷰를 받았다면 더욱 좋았을 것 같아요. 한편, 이 프로젝트가 소화할 수 있는 범위가 어디부터 어디까지인가를 설정해주는게 중요한데, 그 점이 뚜렷하지 않았다는 점이 아쉬웠어요. 비즈니스 서비스는 투명하고, 정확한 타겟을 갖고 있을 때 진실성있어 보여요.

프로젝트 전달력 (+) 대시보드 시나리오가 따로 있어서 이 프로젝트가 어떻게 활용될지 상상할 수 있는 점 (-) 노션 시연에서 키워드를 보여줬는데, 한 두개 정도는 예시로 설명해줘도 좋았을 것 같음

: 쉽고 간결하게 설명하는 모습이 좋아요. 발표에서 목적에 맞게 전처리 고생을 다 얘기하지 않고 간결하게 전달하시려는 모습이 좋았어요.다만 워드클라우드는 화려하게 보여주는 입장이라면 이해는 되지만, 정보를 받아드리고 해석해야 하는 소비자 입장에서는 좋지 않아요. 별로 의미없어보여요.

기타

: 본 프로젝트는 비즈니스 서비스에 잘 집중한 프로젝트라는 점에서 좋았어요. 이 준비를 위해 도메인 지식을 원래 익혔건, 익혀야 했건 준비된 모습이 참 인상적이었습니다. 특히 기술적 프로젝트에는 성능이 중요시 되지만, 사업적 프로젝트에는 설명이 중요시 되는 만큼 그 진행을 위한 튜토리얼에 대해 염두하고 진행했다는 점에서 정말 훌륭했어요. 한편, 프로젝트의 과정에서 여러분들이 얻어가야 할 점은 새로운 기술과 서비스를 만드는데도 중요하지만, 그 결과를 위해 함께 고민했던 구성원들 간의 팀웍을 익히는게 가장 중요해요. 더불어 이 팀웍안에서 각 역할과 기여지점, 그리고 부족한 지점에 대해 얼마나 이해하고 있는가, 마지막으로 나의 성격적, 기여적 모습이 무엇인지를 이해하고 있는가가 가장 중요한 지점일 것 같아요. 프로젝트 외 '협업'과 '소통'이라는 측면에 대해 추가적인 제언 함께 드립니다.기획부터 구현까지 모두 고생 많으셨습니다!

개선과제 아이디어

: [이 프로젝트를 취업에서 어떻게 사용하면 좋을까? 라는 관점으로 피드백 드립니다.]실무에서는 분석 리포트가 나오면 현업에서 어떠했는지 직접 피드백을 들을 수 있습니다. 그러나 이 프로젝트에서는 1인 셀러에게 직접 보여주고 피드백을 듣는 것이 한계가 있을 것 같네요. 그렇다면 프로젝트의 구성원들끼리 1인 셀러의 관점으로 피드백을 해보는 건 어떨까요? 예를들면, 발표자께서 인사이트가 "너무 뻔한 것 같다" 라는 코멘트를 했는데, 그게 1인 셀러의 관점에서 어떤 부분은 만족스러운 요소이고 어떤 부분은 아쉬운 요소일지를 정리하는 것입니다. 인사이트를 평가하기 위한 지표로 (1), (2), (3)을 만들고 해당 대시보르르 평가했을 때 (xxx) 요소에 장점이 있고 이런이런 (xxx) 요소에 단점이 있었다 라고 평가하고 포트폴리오를 구성해볼 것 같습니다. 노션 "개선점"에 Chatgpt AI 구현이라고 나와있는 부분이 있는데, prompt engineering이라는 측면에서 좋은 강의가 있어서 링크 남깁니다. https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

팀원 회고