AI프로젝트를 하던 중 Re:Invent 2024를 다녀오며

안녕하세요. 한국신용데이터 데이터플랫폼팀 Ray(정창환)입니다.

이번 AWS re:Invent 2024를 다녀오며 개인적으로 느낀 점들을 정리했습니다.

테크 컨퍼런스답게 새로운 기술들이 나올때마다 환호하는 분위기는 참 부럽고신나는 경험이였습니다.

AWS의 세션들은 굉장히 수가 많고 여러 호텔에서 나누어 진행 합니다. 그래서 듣고 싶은 세션들을 여럿 예약을 하다보니, 거리와 일정상 듣지 못하는 경우도 있었습니다. 2일째부터는 호텔을 정하고 하루종일 해당 호텔안에서의 세션을 들었습니다.

사내 AI관련 프로젝트들을 진행하고 있던 상태라, AI와 관련한 세션들을 대부분 신청하여 들었습니다.

https://www.youtube.com/shorts/x2RzAch2Pio

최근 핫한 주제인만큼, 키노트 세션에서도 AI와 관련 된 발표들이 많았습니다.

프로젝트를 진행하며, “이런 기능이 있었다면 좋을텐데” 하던 기존에 아쉬웠던 부분들을 해소해줄 신규 기능 발표들이 많았기에 더더욱 흥미로웠던 것 같습니다.

기억에 남는 세션들의 내용을 요약해보자면,

AWS CTO 세션

5가지 원칙

• Controllable 제어가능함
  Monolithic to Micro Service 아키텍처로 흐름이 바뀌고 있다.
• Resilient 회복성
  불필요한 복잡성을 없애나가야 함
  의도하지 않은 복잡성은 개발속도에 방해
• Evolvability 진화성
  시스템은 계속 커짐 → 진화
• Cell-based architecture
  장애나 변화요소가 셀단위로 영향을 끼치도록
• Automating Complexity
  휴먼 에러 최소화

Best practices for generative AI observability

작년은 AI의 증명의 해
인풋이 조금만 달라져도 아웃풋이 매우 달라짐.

캐나다 변호사가 AI를 통해 잘못된 판결을 내렸거나, 항공사에서 챗봇을 통해 잘못된 정보를 제공했다거나 등등

• 결론은 할루시네이션 이슈

퍼포먼스를 위한 매트릭스 및 genAI를 위한 ops의 중요성 증대
generative AI Goals: 퀄리티, 퍼포먼스, 비용

Cloudwatch를 활용한 Metrics / Logs / Traces

• Logs — 들어온 질문과 나간 아웃풋
• Metrics — 레이턴시가 35% 증가했다 등
• Traces — RAG 검색에 몇초가 걸렸다 등

SageMaker 나 Bedrock → cloudwatch 연결

• inputTokenCount나 등등 메트릭 따로 설정 가능함
• 개발자에게 친숙한 CloudWatch를 통해 genAI의 주요 메트릭들을 볼 수 있다는 점들은 꽤 흥미로웠습니다.
  
  

Making Great products with genAI

AWS 내 다양한 프로덕팀과 협업을 한 jeffrey Hammond 와 Suraj Krishnan의 발표

다양한 나라에서 다양한 고객들을 대상으로 genAI로 프로덕을 만들고 있음

크게 2가지 방향이 있음 → 옵티마이제이션 (운영강화) / 혁신 (프로덕에 임베딩)

분류 및 레퍼런스

optimazation → Lower risk, medium return?

Customer self-service, Revenue ops, Marketing content creation, Lead development, Software product delivery

Amazon One : 손바닥으로 결제
Q Developer : like copilot

embedding in products → High return, higher risk?

Create market differentiation, Generate additional growth, Streamline user experience, Improve automation, Summarize opertional data

Appian : orchestration 편집도구
Alida : summarized customer data
Snaplogic : integration and automation
Greenhouse : improve hiring outcomes (지원자와의 대화나 이력서에서 의도 분석)

New GenAI unlock 15–40% incremental economic impoact above tranditional AI and ML (맥킨지)

How can ISVs best harness generative AI?

What skills

• Design thinking
• Prompt Engineering
• Critical thinking
• Data literacy
• Change management

Canva 케이스

• 생성형 AI를 매우 잘 사용한 케이스

strong data foundation is critical to generative AI

• data collection
• data cleansing
• data annotation/ontology
• data versioning and documentation
• data lineage
• data strategy and operations for generative AI

Proof of concept — Hundreds of thousands of customers experiment and explore

• Gartner predicts AI 프로젝트들 중 30% 가 2025년도에 버려질 것이다.

성공의 키

1. Models

• LLM 파운데이션 모델은 끊임없이 발전하고 있음 → No one model to rule them all
• sageMaker AI 가 굉장히 도움이 되었다 (AWS partner 는 AI SageMaker 안에 있는 app 사용가능함)
• Bedrock — 가장 쉽고 확장 가능했다.
• Bedrock 안에 다양한 모델 존재
• 엔터프라이즈에서 모델을 3개정도 쓰는 곳이 41% / 2개 34% / 4개 22%
• 마켓플레이스에서 1000개가 넘는 모델을 골라 쓸 수 있다.
• LLM as a judge feature — Preview
• Model distillation — Preview

2. Cost

• SageMaker HyperPod : 파운데이션 모델 학습에 드는 시간을 줄여준다.
• perplexity : hyperPod을 사용했다.
• Bedrock support prompt caching : Preview — 키노트때도 발표했던 기능인데 이 기능이 잘되면 토큰수를 많이 낮출 수 있을 듯 함.
• batch inference 추론 in amazon bedrock : Preview — 온디맨드보다 50% 저렴

Nova

그 외에도,

• Amazon Q (like Copilot)
• SageMaker에 대한 설명이 많았음 (ML, LLM 학습을 넘어서 이후엔 데이터 분석까지 기능 확장)
• S3 Express One Zone
• Kuiper 프로젝트 — 위성 프로젝트
• AWS Clean rooms — Athena & snowflake

개인적으로는 1주일 간 실무에서 잠시 벗어나, 빅테크에서 AI를 다루는 방향성을 느끼며 많이 리프레시를 하고 왔습니다. 전세계적으로 AI에 대한 관심이 뜨겁다는 것을 다시 한 번 느꼈습니다. AI 생태계 내 Microsoft와 OpenAI, Google, Amazon 등 다양한 회사들이 경쟁을 하고 있는 상태입니다. AWS의 다양한 서비스를 사용하고 있고, re:Invent 행사를 보고 난 뒤에 드는 생각은 AI 생태계에서도 AWS가 가까운 미래에 꽤 큰 비중을 가져갈 것 같다는 생각이 들었습니다.

bedrock이나 knowledge system 등 신규 기능의 발표나 세션 분포도를 보았을 때, 현재 진행중인 프로젝트에 사용되는 기술이나 아키텍쳐가 큰 방향에서 잘 진행되고 있다는 부분들도 느꼈습니다. 만들며 가려운 부분들을 긁어주는 신기능 발표가 많았기 때문입니다.
세션 외에도 Expo를 돌아다니며 정말 다양한 SaaS 서비스 회사들을 둘러보고 설명을 듣는 것도 꽤 흥미로웠습니다.

한편, Nova의 경우 기존에 잡힌 세션이 없다가 행사 도중 세션들이 잡히기 시작했는데, sLM 부터 LLM 까지 pricing model만으로 나누어 서비스하는 점이나 sLM의 경우 가격이 타 서비스대비 50% 가까이 저렴하다는 점도 흥미로웠습니다.

발표와 상관없는 개인적인 소감으로는 인터넷 속도가 빠른 것이 이렇게 감사한 일인줄 새삼 깨달았습니다.

좋은 기회를 제공해 준 회사와 자리를 비운동안 고생한 동료분들께 감사 인사를 드리며 글을 마칩니다.