서비스에 chatGPT를 붙여보았다

3월 22일, 한국신용데이터 슬랙 #all-ideas에 아이디어가 올라왔습니다.
(#all-ideas는 사내에서 자유롭게 아이디어를 올리는 채널입니다.)

요새 chat gpt가 난리라서 그냥 상상해봤는데 가능할까요? by대표님

유저에게 도움이 될 만한 기능을 빠르게 개발하여 제공하고 유저의 반응 및 데이터를 보는 것을 좋아하는 제가 멘션되었습니다 👀

“chatGPT라는 기술을 어떻게 우리 서비스에 붙여 볼 수 있을까?”

서비스 내에서 챗봇 형태로 chatGPT를 제공하는 레퍼런스는 여러 서비스에서 보았기에, “챗봇이 아닌” 형태로 서비스 내 기능과 결합하여 자연스럽게 유저에게 도움을 줄 수 있을까 고민하던 차였습니다 🤔

“캐시노트 커뮤니티"내 chatGPT를 활용하여 마치 1명의 사람처럼 질문에 답을 하며 활동하게 하는 아이디어는 이리 생각하고, 저리 고민해도 굉장히 흥미로웠습니다.

1. 챗봇 형태가 아니라, 커뮤니티라는 공간에서 마치 사람처럼 활동을 한다.
2. “궁금해요” 카테고리에 올라오는 질문에 chatGPT가 답변을 해줌으로써 유저에게 재미요소 + 정보(도움)을 제공한다.
3. 채팅 형태가 아니기에 답변의 양을 조절할 수 있고, (실시간성 답변이 아니기에) Token 사용량을 제어할 수 있다.
4. 민감한 데이터를 학습시키거나 검색엔진 등을 구성하지 않아도 된다.

개발 시작!

OpenAI사의 API를 활용하여, 먼저 내부 테스트를 진행했습니다. 유저들이 작성한 “궁금해요" 카테고리 글에 1시간마다 chatGPT의 답변을 슬랙으로 출력하 해당 기능을 제공해도 될지 확인해보았습니다.
(참고로 gpt-4 모델을 사용했습니다)

“토크AI”라는 가상의 유저를 생성하고,답변 테스트를 진행하며, 테스트 이후 빠른 런칭를 위해 법률 및 보안 검토를 동시에 진행했습니다.

유저의 질문성 글에 chatGPT의 답변은 상상 이상이였습니다 😮

테스트를 하는 동안 chatGPT의 ‘환각(hallucinating)’ 현상이 일어나는 케이스들이 있었습니다. chatGPT에서 환각현상을 줄이기 위해선 질문의 퀄리티가 중요합니다. 하지만 커뮤니티 글의 특성 상 유저들의 질문은 컨트롤 할 수 없는 변수이기에, 아래와 같이 환각현상을 줄이기 위해 튜닝을 진행했습니다.

1. 유저가 작성한 글의 제목과 타이틀 앞단에 아래와 같은 프롬프트를 추가했습니다.
   “커뮤니티에 올라온 질문글에 대해 답변을 해주세요. 질문글은 다음 문단부터 시작됩니다. #{title} #{body}”
   “발랄하고 밝은 성격의 캐릭터로 답변해줘” 등 사전 프롬프트를 통해 답변을 하는 chatGPT의 성격도 규정 할 수 있습니다. (지나친 이모지 남발과 과도한 명랑함을 보여 이와 같은 프롬프트는 추가하지 않았습니다)
2. chatGPT가 답변하기 어렵고 잘못된 정보를 제공할 수 있는 단어(ex: 캐시노트, 정부, 정책 등)가 포함 된 경우 답변을 하지 않도록 처리했습니다.
3. 너무 짧은 글 (22자 이하)의 경우 제외되도록 처리했습니다.
4. 전화번호나 웹사이트 주소가 포함 된 답변의 경우 제외되도록 처리했습니다. (너무 오래 된 정보라 대다수 실제 존재하지 않는 경우가 많았습니다)

테스트와 튜닝, 법률 및 보안 검토를 거친 뒤,
약 3주만에 유저에게 기능이 제공되었습니다.
토크AI가 잘못 된 정보를 제공 할 수 있기에 운영이 가능한 출근 시간대에만 점진적으로 답변이 달리도록 구현을 진행했습니다.

그렇다면 유저의 반응은 어땠을까요!?

4월부터 현재까지 토크AI는 715건의 댓글을 작성했으며, 현재도 토크 내에서 다양한 질문들에 답을 하며 유저들과 어울리고 있습니다.

캐시노트를 사용하는 사장님들의 경우 비교적 연령대가 높고, 최신 기술을 따로 시간을 내어 사용할 시간이 부족한 경우가 많습니다.
때문에 chatGPT를 서비스의 기능과 결합하여 유저분들에게 도움을 드리고 반응을 보며 굉장히 보람찼던 프로젝트였습니다.

이에 그치지 않고 chatGPT와 AI를 통해 보안에 문제가 되지 않는 범위 내에서 유저분들에게 도움을 드릴 수 있도록 “AI특공대” TF팀을 꾸려 다양한 직군의 분들과 함께 고민하고 있습니다. (데이터 전문가, 프론트/백엔드 엔지니어, 그로스 엔지니어 등)

다음번에 새로운 시도와 재밌는 주제를 들고 찾아뵙겠습니다 😄