CEO인 Adam Selipsky는 AWS가 2025년까지 100% 재생에너지를 사용할 것을 목표로 고객들에게 고효율성, 확장성, 빠른 혁신을 제공해줄 것을 다짐하면서 이를 위한 new feature를 소개하였습니다.
대용량 ETL처리를 위한 AWS Service들 간의 호환기능 소개
Quicksight Q라는 기능을 통해 자연어로 데이터접근 쿼리를 지원
AWS managed security 관련 서비스 및 3rd party solution에서 수집, 분석되는 위험 요소를 통합 관제, 처리하여 일원화하는 서비스
복잡하고 어려웠던 Supply Chain관리
유전자 데이터를 저장, 쿼리, 분석 및 인사이트 처리지원
Keynote — by Dr. Werner Vogels
Werner Vogels 은 빠르게 변화하는 IT산업 트렌드와 그로 인한 서비스들의 복잡성에 대응하기 위해 Event-driven 아키텍처를 활용한 AWS의 전략들을 소개하기 위해 본인이 직접 출연한 매트릭스 패러디 영상을 만들었는데요, Synchronous 환경 속에서는 단순 버거 주문 조차도 얼마나 어려울 수 있는지를 너무나도 잘 표현하여 많은 사람들로 하여금 웃음을 유발하기도 하였습니다.
현실은 모두 Asynchronous로 이루어져있음을 새삼 느꼈습니다.
많은 시간을 비동기처리와 이를 위한 AWS의 준비에 대해 이야기 하면서, Step Functions Distributed Map 과 EventBridge pipes에 소개할때는 얼마나 AWS가 Asynchronous처리지원을 위해 공을 들이고 있는지 느낄 수 있었습니다.
Event발생에 따른 filter처리와 정확한 endpoint에 대한 pipe구성을 통해 손쉽게 severless 이벤트처리를 지원한다.(아직은 source가 되는 서비스가 SQS, Kinesis, DynamoDB, Kafka정도 인듯하다)
하지만, 이런 Event driven서비스들은 여러 Resource를 사용해야 하기 때문에 인프라 구성이 무엇보다도 중요한데요 , 이를 보다 쉽게 구성할 수 있도록 하기 위한 AWS Application Composer를 최초로 그 자리에서 소개하기도 하였습니다. 쉽게 표현하자면 UI가 제공되는 IaC(Infrastructures as Code)라고 보면 되는데요, 어느 정도 안정화가 된다면, KCD에서 사용하고 있는 Terraform도 충분히 대체해볼만 하지 않을까 하는 생각이 들기도 하였습니다. IaC기반의 높은 learning curve를 보다 쉽고 빠르게 낮춰줄 수 있을 테니깐요! (Application Composer는 아래의 session소개 때 다시 이야기 하겠습니다.)
Drag&Drop으로 손쉽게 인프라를 구성하는 날이 머지 않았네요.
AWS에서 IDE연계, ticket 생성, 코드수정, CI/CD 처리 등 DevOps를 위한 통합툴을 출시했습니다.
KCD에서는 현재 Application 배포시, Jenkins job을 통해 ECR에 docker image upload 및 terraform을 통한 provisioning 하도록 되어있습니다. 하지만 전사적인 관점에서 효과적인 CI/CD처리와 IaC에 대한 검토 및 관리를 위해 전문적인 DevOps조직을 확대/구성할 예정이며, 이를 위해 AWS 현지 DevOps팀과도 Communication을 하면서 공식 발표전에 CodeCalyst에 대한 내용을 들을 수 있었습니다. 마침 KCD의 DevOps 엔지니어가 CodeCalyst 에 대한 자세히 설명한 글이 있으니 해당 내용을 참고하시면 좋을 것 같습니다.
EBC(Executive Briefing Center) meeting with AWS engineers
AWS EBC meeting은 AWS의 Business 또는 IT Engineer가 고객의 특정 요구사항이나 자문요청에 대해 AWS 관련 Service를 제안하거나 demo시연을 해줌으로써 문제를 해결해나가는 방안을 제시해 줍니다. 전 세계 수 많은 기업이 AWS re:Invent에 참석하는 만큼, 해당 meeting은 왠만한 AWS 고객이 아니고서는 예약하기도 쉽지 않은 meeting입니다.
Get 에단박씨’s stories in your inbox
Join Medium for free to get updates from this writer.
KCD는 소상공인들의 카드매출데이터를 바탕으로 매출분석, 핀테크, 커뮤니티, 광고, e-commerce 등 많은 분야의 서비스를 제공하고 있기 때문에 해외에서도 많은 관심을 받고 있습니다. 그 덕분에 라스베가스 현지에서 KCD만의 DevOps 구성을 위한 AWS 본사 Engineer들과 EBC미팅을 할 수 있었고, 그 자리에서 KCD의 소상공인 매출데이터에 대한 처리와 유니콘이 된 KCD의 비전을 이야기 하면서 DevOps의 필요성에 대한 여러 이야기를 나눌 수 있었습니다. 그 과정에서 당시는 공개 되지 않았던 익명의 DevOps tool (향후 공개된 서비스명이 CodeCalyst)에 대한 간략한 내용을 들을 수 있었는데요, KCD구성원들이 매우 호기심을 갖고 여러가지를 물어보니 KCD만을 위한 Demo시연까지 제안해주었지만, 짧은 일정 탓에 라스베가스에서 직접 확인하지 못하게 된 점은 뭇내 아쉽기만 합니다.
처음해보는 EBC였는데 생각보다 엄청 재미있었네요~
Session
AWS re:Invent 기간동안에는 정말 많은 session들이 동시다발적으로 열리는데요, Amazon Event앱이나 AWS re:Invent 웹페이지에서 원하는 세션을 찾아 사전에 예약을 하면 되지만, 대부분 빠른 시간내에 전부 예약완료가 되기 때문에 거의 모든 세션이 ‘Walk-up Seats Avaliable’ 상태가 됩니다. 그렇기 때문에 어쩔수 없이 일찍 가서 줄을 서며 기다려야 합니다.
보통, 같은 시간에도 여러session들이 Venetian, Madalay bay, MGM, Winn, Encore, Caesars의 호텔에서 동시에 열리는데, 동선이 맞지 않아 조금이라도 늦게 가면 늘 줄만 서다가 들어가지도 못하고 떠나야하는 사태가 벌어지기도 합니다. 😭
호텔간 거리가 꽤 멀기때문에 진짜 하루종일 기다리다가 끝나는 불상사가 일어나기도…
이런 세션들은 여러 타입으로 구분이 되는데, 실제 labtop을 들고 가서 직접 실습을 할 수 있는 builder세션, 분필로 칠판에 써가면서 토론하는 chalk세션, 인기있는 주제를 스트리밍해주는 theater세션 등 본인이 마음에 드는 세션의 타입을 골라 지정하면 됩니다만, 보통 builder세션은 인기가 많아 바로 만석이 되긴 합니다.
운이 좋아 참석하게 된 builder session! 제공해준 Terraform을 Cloud9에 업로드 후 가이드대로 따라 하면서 ECS를 구성하고 AWS opensearch나 guardDuty를 구성할 수 있었다.
Session — How AWS Application Composer helps your team build great apps(SVS211)
AWS CTO인 Werner Vogels이 이야기 했던 Application Composer에 대한 설명을 하는 session이 있었는데요, Serverless를 구성하기 위해 필수적으로 요구되는 사항을 아래와 같이 이야기 했습니다.
위에서도 이야기 했다시피 KCD에서는 provisioning을 위해 Terraform을 IaC로 사용하고 있습니다. Terraform script를 작성하는 것은 그리 어려운 것은 아니지만, 문제는 인프라 구성을 한눈으로 확인하기 어렵고 어떤 구성이 있는지 확인하려면 일일이 코드는 확인해야 알 수 있다는 단점이 있습니다.
Application Composer는 이런 문제점을 해소하고자 MindMap기반의 UI와 Resource간에 Drag&Drop Link를 지원하여 아래와 같이 손쉽게 인프라 아키텍처와 서비스 flow를 그릴 수 있고 Lambda Function도 쉽게 적용할 수 있었습니다.
또한 기존 IaC처럼 Script view로도 확인이 가능하기 때문에 여러모로 쉽게 Resource에 대한 구성 및 확인이 가능하고, 검색이나 script 복사를 통한 생성도 가능할 것으로 보입니다.
KCD의 경우에는 Terraform script가 실제 배포되는 코플링(Kotlin+Springboot) 프로젝트 안에 함께 들어가 있기 때문에 Terraform 스크립트에 대한 DevOps 인력의 사전 검토가 어렵고 script를 수정할 때마다 배포 처리를 해야하는 등 어려움이 있어, github이 아닌 별도의 Tool로 Terraform script를 한 곳에서 관리하면서 적용될 수 있는 방안을 검토 중이었습니다. 이런 고민때문에 HashiCorp의 Sentinel+Vault을 같이 검토하고 있었는데, 제가 필요로 하고 생각했던 기능이 이렇게 출시되어 은근히 기뻤고, Seoul region에 Application Composer가 오픈된다면 pilot을 한번 해보고 싶다는 생각이 들었습니다.
하지만, 늘 그렇듯이 AWS의 New feature는 시간을 두고 지켜본 다음에 사용해야한다는 점~~😅
마치며
2016년 JavaOne이후 6년만에 방문했던 미국의 일정은 너무나도 짧고 촉박했지만, 오랜만에 느낄 수 있었던 전 세계 개발자들의 열정과 관심들은 다시금 저로 하여금 개발자로서 달릴 수 있게 하는 에너지원이 된 것 같아, 정말 보람차고 즐거웠던 컨퍼런스였던 것 같습니다. 다행히 KCD는 앞으로도 더 많은 엔지니어들을 AWS re:Invent와 같은 컨퍼런스로 보내, 많은 경험을 쌓을 수 있도록 할 것이기 때문에 여러 분들이 KCD에서 저와 함께 하면서 제가 느꼈던 열정을 느낄 수 있었으면 좋겠습니다. 😍
개발자는 내가 개발한 작품들이 많은 사람들에게 도움을 주고 그로 인해 열광하는 모습을 볼때 가장 큰 보람을 느낀다고 생각합니다. KCD에 와서 여러 동료들과 함께 소상공인들이 보다 편하고 쉽게 일에 집중하실 수 있도록 개발하고 그로 인해 기분좋은 피드백을 받을 때면, 저의 선택이 틀리지 않았구나 하는 보람을 항상 느끼고 있습니다. 그런 보람을 저와 함께 느껴 보시지 않겠어요?
여러분을 항상 기다리고 있겠습니다. 😃
지금까지 AWS re:Invent 2022에 다녀온 에단박씨였습니다 :)
KCD AWS re:Invent #1 at Grand Canyon
22년 11월28일 부터 12월 02일까지 라스베가스에서 AWS re:Invent 행사가 열렸습니다. With COVID-9 선언한 이후에 열린 행사인 만큼 그 어느 때보다 많은 엔지니어들이 방문했고 한국신용데이터(이후 KCD)에서도 저를 포함한 8명의 엔지니어가 참석하여 그 열기를 직접 현장에서 느낄 수 있었습니다.
컨퍼런스에 참석하게 되면 항상 함께 간 동료들에게 Keynote는 들어보라고 이야기를 합니다. 그만큼 Keynote는 그 행사 전반에 스토리와 방향성을 담고 있기 때문에 사전에 주요 키워드를 미리 알 수 있는 좋은 기회입니다.
이번 AWS re:Invent 네 번의 키노트 중에 둘째날과 넷째날에 진행된 Keynote를 현장에서 직접 들을 수 있었는데요, 바로 AWS CEO Adam Selipsky가 이야기한 AWS의 방향성 및 new features 에 대한 내용과 AWS CTO인 Dr. Werner Vogels의 event-driven 아키텍처를 활용하여 대응하는 AWS의 전략들에 대한 내용이었습니다.
CEO인 Adam Selipsky는 AWS가 2025년까지 100% 재생에너지를 사용할 것을 목표로 고객들에게 고효율성, 확장성, 빠른 혁신을 제공해줄 것을 다짐하면서 이를 위한 new feature를 소개하였습니다.
Werner Vogels 은 빠르게 변화하는 IT산업 트렌드와 그로 인한 서비스들의 복잡성에 대응하기 위해 Event-driven 아키텍처를 활용한 AWS의 전략들을 소개하기 위해 본인이 직접 출연한 매트릭스 패러디 영상을 만들었는데요, Synchronous 환경 속에서는 단순 버거 주문 조차도 얼마나 어려울 수 있는지를 너무나도 잘 표현하여 많은 사람들로 하여금 웃음을 유발하기도 하였습니다.
많은 시간을 비동기처리와 이를 위한 AWS의 준비에 대해 이야기 하면서, Step Functions Distributed Map 과 EventBridge pipes에 소개할때는 얼마나 AWS가 Asynchronous처리지원을 위해 공을 들이고 있는지 느낄 수 있었습니다.
하지만, 이런 Event driven서비스들은 여러 Resource를 사용해야 하기 때문에 인프라 구성이 무엇보다도 중요한데요 , 이를 보다 쉽게 구성할 수 있도록 하기 위한 AWS Application Composer를 최초로 그 자리에서 소개하기도 하였습니다. 쉽게 표현하자면 UI가 제공되는 IaC(Infrastructures as Code)라고 보면 되는데요, 어느 정도 안정화가 된다면, KCD에서 사용하고 있는 Terraform도 충분히 대체해볼만 하지 않을까 하는 생각이 들기도 하였습니다. IaC기반의 높은 learning curve를 보다 쉽고 빠르게 낮춰줄 수 있을 테니깐요! (Application Composer는 아래의 session소개 때 다시 이야기 하겠습니다.)
KCD에서는 현재 Application 배포시, Jenkins job을 통해 ECR에 docker image upload 및 terraform을 통한 provisioning 하도록 되어있습니다. 하지만 전사적인 관점에서 효과적인 CI/CD처리와 IaC에 대한 검토 및 관리를 위해 전문적인 DevOps조직을 확대/구성할 예정이며, 이를 위해 AWS 현지 DevOps팀과도 Communication을 하면서 공식 발표전에 CodeCalyst에 대한 내용을 들을 수 있었습니다. 마침 KCD의 DevOps 엔지니어가 CodeCalyst 에 대한 자세히 설명한 글이 있으니 해당 내용을 참고하시면 좋을 것 같습니다.
EBC(Executive Briefing Center) meeting with AWS engineers
AWS EBC meeting은 AWS의 Business 또는 IT Engineer가 고객의 특정 요구사항이나 자문요청에 대해 AWS 관련 Service를 제안하거나 demo시연을 해줌으로써 문제를 해결해나가는 방안을 제시해 줍니다. 전 세계 수 많은 기업이 AWS re:Invent에 참석하는 만큼, 해당 meeting은 왠만한 AWS 고객이 아니고서는 예약하기도 쉽지 않은 meeting입니다.
Get 에단박씨’s stories in your inbox
Join Medium for free to get updates from this writer.
KCD는 소상공인들의 카드매출데이터를 바탕으로 매출분석, 핀테크, 커뮤니티, 광고, e-commerce 등 많은 분야의 서비스를 제공하고 있기 때문에 해외에서도 많은 관심을 받고 있습니다. 그 덕분에 라스베가스 현지에서 KCD만의 DevOps 구성을 위한 AWS 본사 Engineer들과 EBC미팅을 할 수 있었고, 그 자리에서 KCD의 소상공인 매출데이터에 대한 처리와 유니콘이 된 KCD의 비전을 이야기 하면서 DevOps의 필요성에 대한 여러 이야기를 나눌 수 있었습니다. 그 과정에서 당시는 공개 되지 않았던 익명의 DevOps tool (향후 공개된 서비스명이 CodeCalyst)에 대한 간략한 내용을 들을 수 있었는데요, KCD구성원들이 매우 호기심을 갖고 여러가지를 물어보니 KCD만을 위한 Demo시연까지 제안해주었지만, 짧은 일정 탓에 라스베가스에서 직접 확인하지 못하게 된 점은 뭇내 아쉽기만 합니다.
AWS re:Invent 기간동안에는 정말 많은 session들이 동시다발적으로 열리는데요, Amazon Event앱이나 AWS re:Invent 웹페이지에서 원하는 세션을 찾아 사전에 예약을 하면 되지만, 대부분 빠른 시간내에 전부 예약완료가 되기 때문에 거의 모든 세션이 ‘Walk-up Seats Avaliable’ 상태가 됩니다. 그렇기 때문에 어쩔수 없이 일찍 가서 줄을 서며 기다려야 합니다.
보통, 같은 시간에도 여러session들이 Venetian, Madalay bay, MGM, Winn, Encore, Caesars의 호텔에서 동시에 열리는데, 동선이 맞지 않아 조금이라도 늦게 가면 늘 줄만 서다가 들어가지도 못하고 떠나야하는 사태가 벌어지기도 합니다. 😭
이런 세션들은 여러 타입으로 구분이 되는데, 실제 labtop을 들고 가서 직접 실습을 할 수 있는 builder세션, 분필로 칠판에 써가면서 토론하는 chalk세션, 인기있는 주제를 스트리밍해주는 theater세션 등 본인이 마음에 드는 세션의 타입을 골라 지정하면 됩니다만, 보통 builder세션은 인기가 많아 바로 만석이 되긴 합니다.
AWS CTO인 Werner Vogels이 이야기 했던 Application Composer에 대한 설명을 하는 session이 있었는데요, Serverless를 구성하기 위해 필수적으로 요구되는 사항을 아래와 같이 이야기 했습니다.
위에서도 이야기 했다시피 KCD에서는 provisioning을 위해 Terraform을 IaC로 사용하고 있습니다. Terraform script를 작성하는 것은 그리 어려운 것은 아니지만, 문제는 인프라 구성을 한눈으로 확인하기 어렵고 어떤 구성이 있는지 확인하려면 일일이 코드는 확인해야 알 수 있다는 단점이 있습니다.
Application Composer는 이런 문제점을 해소하고자 MindMap기반의 UI와 Resource간에 Drag&Drop Link를 지원하여 아래와 같이 손쉽게 인프라 아키텍처와 서비스 flow를 그릴 수 있고 Lambda Function도 쉽게 적용할 수 있었습니다.
또한 기존 IaC처럼 Script view로도 확인이 가능하기 때문에 여러모로 쉽게 Resource에 대한 구성 및 확인이 가능하고, 검색이나 script 복사를 통한 생성도 가능할 것으로 보입니다.
KCD의 경우에는 Terraform script가 실제 배포되는 코플링(Kotlin+Springboot) 프로젝트 안에 함께 들어가 있기 때문에 Terraform 스크립트에 대한 DevOps 인력의 사전 검토가 어렵고 script를 수정할 때마다 배포 처리를 해야하는 등 어려움이 있어, github이 아닌 별도의 Tool로 Terraform script를 한 곳에서 관리하면서 적용될 수 있는 방안을 검토 중이었습니다. 이런 고민때문에 HashiCorp의 Sentinel+Vault을 같이 검토하고 있었는데, 제가 필요로 하고 생각했던 기능이 이렇게 출시되어 은근히 기뻤고, Seoul region에 Application Composer가 오픈된다면 pilot을 한번 해보고 싶다는 생각이 들었습니다.
하지만, 늘 그렇듯이 AWS의 New feature는 시간을 두고 지켜본 다음에 사용해야한다는 점~~😅
2016년 JavaOne이후 6년만에 방문했던 미국의 일정은 너무나도 짧고 촉박했지만, 오랜만에 느낄 수 있었던 전 세계 개발자들의 열정과 관심들은 다시금 저로 하여금 개발자로서 달릴 수 있게 하는 에너지원이 된 것 같아, 정말 보람차고 즐거웠던 컨퍼런스였던 것 같습니다. 다행히 KCD는 앞으로도 더 많은 엔지니어들을 AWS re:Invent와 같은 컨퍼런스로 보내, 많은 경험을 쌓을 수 있도록 할 것이기 때문에 여러 분들이 KCD에서 저와 함께 하면서 제가 느꼈던 열정을 느낄 수 있었으면 좋겠습니다. 😍
개발자는 내가 개발한 작품들이 많은 사람들에게 도움을 주고 그로 인해 열광하는 모습을 볼때 가장 큰 보람을 느낀다고 생각합니다. KCD에 와서 여러 동료들과 함께 소상공인들이 보다 편하고 쉽게 일에 집중하실 수 있도록 개발하고 그로 인해 기분좋은 피드백을 받을 때면, 저의 선택이 틀리지 않았구나 하는 보람을 항상 느끼고 있습니다. 그런 보람을 저와 함께 느껴 보시지 않겠어요?
지금까지 AWS re:Invent 2022에 다녀온 에단박씨였습니다 :)