
지난 글에서는 데이터브릭스가 에이전트에게 우리 비즈니스를 이해시키는 이야기(Genie Ontology, Genie One)와 데이터베이스의 경계를 허무는 이야기(Lakehouse//RT, Lakebase)를 다뤘습니다. 이어서 운영, 보안, 그리고 앱 배포까지 에이전트에게 맡기는 이야기를 정리합니다.
(글 보러가기 : 샌프란시스코에서 본 DAIS 2026 (1) : 이해하는 에이전트, 사라지는 데이터베이스 경계)
3. 조용히 망가지는 파이프라인을 잡아내는 Genie ZeroOps
데이터 파이프라인은 달리 아무 에러도 뱉어내지 않고 조용히 망가질 때가 있습니다. 가변 스키마에서 데이터가 누락된 채 들어오거나, 이상한 값이 들어왔는데도 파이프라인은 별 에러 없이 처리해 버리는 경우입니다. 겪어본 분들은 이 "조용한 실패"가 얼마나 무서운지 아실 겁니다.
Genie ZeroOps는 이 과정을 에이전트가 모니터링하고 자동화합니다. 문제가 생기면 인박스(inbox) 화면에 자동으로 뜨고, 클릭하면 컬럼별 유사도 등으로 원인을 한눈에 풀어 보여줍니다. 연결된 노트북과 그 테이블을 쓰는 다운스트림까지 함께 파악해 영향 범위를 알려주고, 해결책까지 제안합니다. 우측의 Fix 버튼으로 바로 고치거나 PR 버튼으로 PR까지 만들어 주는 모습은 "운영 자동화"라는 말이 실감 나는 장면이었습니다.

4. LakeWatch로 만드는 에이전틱 SIEM
보안 영역에서는 LakeWatch가 나왔습니다. 일종의 에이전틱 SIEM입니다. 기존 SIEM의 가장 큰 골칫거리는 저장 로그 용량에 비례해 기하급수적으로 늘어나는 비용입니다. 그러다 보니 로그가 쌓이면 비용을 줄이려고 주기적으로 지워야 하고, 너무 많이 지우면 탐지 성능이 떨어지는 딜레마에 빠집니다.
데이터브릭스는 이런 로그를 용량 부담 없이 쌓을 수 있다는 점을 핵심으로 내세웠습니다. 대신 이 기능을 쓰려면 흩어진 보안 데이터를 데이터브릭스 기반으로 하나로 통합해야 합니다. 통합만 되면 내장 에이전트로 위협 탐지와 모니터링을 수행하고, 탐지 룰 작성·튜닝 같은 탐지 엔지니어링도 에이전트 기반으로 하며, 로그 검색·분석도 자연어로 손쉽게 할 수 있습니다. 이커머스·결제 데이터를 다루는 우리 입장에서도, 로그를 마음껏 쌓아두고 사고가 났을 때 과거까지 거슬러 조사할 수 있다는 건 매력적인 이야기입니다.
5. 누구나 앱을 배포하게 해주는 Genie App Builder
마지막은 Genie App Builder입니다. Genie 기반으로 앱을 만들고 배포하는 기능입니다. 사실 KCD 데이터전략실은 이전부터 데이터브릭스 Apps를 유용하게 써 왔습니다. 누구나 손쉽게 앱을 배포할 수 있는 환경을 제공한다는 게 핵심 가치였죠.
App Spaces 기능으로 여러 앱을 앱 그룹 기반으로 묶어 관리할 수도 있습니다. 무엇보다 반가운 건 비용입니다. 기존 데이터브릭스 Apps는 서버리스나 scale-to-zero가 없어, 정말 간단한 앱 하나를 띄워도 24시간 서버 비용이 나가 부담스러웠습니다. 이번에 그 문제가 상당 부분 해결된 것으로 보입니다.

돌아와서: 우리는 무엇을 준비해야 할까
4일간 현장에서 세션은 대부분 만석이었고(이렇게 큰 데이터 행사는 저도 처음이었습니다), 두꺼운 외투가 필요할 만큼 쌀쌀한 샌프란시스코 날씨 속에서 확인한 흐름은 분명했습니다. 데이터와 AI를 어떻게 다뤄야 하는지, 그 방향성을 많이 배운 시간이었습니다.
정리하면 데이터브릭스의 메시지는 이렇습니다. 에이전트가 우리 비즈니스를 이해하게 만들고(Genie Ontology·Genie One), 데이터베이스의 경계를 허물어 실시간으로 서빙하고(Lakehouse//RT·Lakebase), 운영과 보안, 앱 배포까지 에이전트에게 맡기라는 것(ZeroOps·LakeWatch). 우리 팀 관점에서 당장 검토해볼 만한 것은 리버스 ETL을 걷어낼 수 있는 실시간 서빙 구조와, OLTP·OLAP 통합 저장을 활용한 아키텍처 단순화입니다.
KCD 데이터엔지니어링팀은 이런 최신 기술을 "우리 사장님들에게 어떤 가치로 돌려줄 수 있을까"라는 질문으로 바꿔서 계속 실험하고 있습니다. 비슷한 고민을 즐기는 분이라면, 함께 이야기 나눌 기회가 있으면 좋겠습니다.
지난 글에서는 데이터브릭스가 에이전트에게 우리 비즈니스를 이해시키는 이야기(Genie Ontology, Genie One)와 데이터베이스의 경계를 허무는 이야기(Lakehouse//RT, Lakebase)를 다뤘습니다. 이어서 운영, 보안, 그리고 앱 배포까지 에이전트에게 맡기는 이야기를 정리합니다.
(글 보러가기 : 샌프란시스코에서 본 DAIS 2026 (1) : 이해하는 에이전트, 사라지는 데이터베이스 경계)
3. 조용히 망가지는 파이프라인을 잡아내는 Genie ZeroOps
데이터 파이프라인은 달리 아무 에러도 뱉어내지 않고 조용히 망가질 때가 있습니다. 가변 스키마에서 데이터가 누락된 채 들어오거나, 이상한 값이 들어왔는데도 파이프라인은 별 에러 없이 처리해 버리는 경우입니다. 겪어본 분들은 이 "조용한 실패"가 얼마나 무서운지 아실 겁니다.
Genie ZeroOps는 이 과정을 에이전트가 모니터링하고 자동화합니다. 문제가 생기면 인박스(inbox) 화면에 자동으로 뜨고, 클릭하면 컬럼별 유사도 등으로 원인을 한눈에 풀어 보여줍니다. 연결된 노트북과 그 테이블을 쓰는 다운스트림까지 함께 파악해 영향 범위를 알려주고, 해결책까지 제안합니다. 우측의 Fix 버튼으로 바로 고치거나 PR 버튼으로 PR까지 만들어 주는 모습은 "운영 자동화"라는 말이 실감 나는 장면이었습니다.
4. LakeWatch로 만드는 에이전틱 SIEM
보안 영역에서는 LakeWatch가 나왔습니다. 일종의 에이전틱 SIEM입니다. 기존 SIEM의 가장 큰 골칫거리는 저장 로그 용량에 비례해 기하급수적으로 늘어나는 비용입니다. 그러다 보니 로그가 쌓이면 비용을 줄이려고 주기적으로 지워야 하고, 너무 많이 지우면 탐지 성능이 떨어지는 딜레마에 빠집니다.
데이터브릭스는 이런 로그를 용량 부담 없이 쌓을 수 있다는 점을 핵심으로 내세웠습니다. 대신 이 기능을 쓰려면 흩어진 보안 데이터를 데이터브릭스 기반으로 하나로 통합해야 합니다. 통합만 되면 내장 에이전트로 위협 탐지와 모니터링을 수행하고, 탐지 룰 작성·튜닝 같은 탐지 엔지니어링도 에이전트 기반으로 하며, 로그 검색·분석도 자연어로 손쉽게 할 수 있습니다. 이커머스·결제 데이터를 다루는 우리 입장에서도, 로그를 마음껏 쌓아두고 사고가 났을 때 과거까지 거슬러 조사할 수 있다는 건 매력적인 이야기입니다.
5. 누구나 앱을 배포하게 해주는 Genie App Builder
마지막은 Genie App Builder입니다. Genie 기반으로 앱을 만들고 배포하는 기능입니다. 사실 KCD 데이터전략실은 이전부터 데이터브릭스 Apps를 유용하게 써 왔습니다. 누구나 손쉽게 앱을 배포할 수 있는 환경을 제공한다는 게 핵심 가치였죠.
App Spaces 기능으로 여러 앱을 앱 그룹 기반으로 묶어 관리할 수도 있습니다. 무엇보다 반가운 건 비용입니다. 기존 데이터브릭스 Apps는 서버리스나 scale-to-zero가 없어, 정말 간단한 앱 하나를 띄워도 24시간 서버 비용이 나가 부담스러웠습니다. 이번에 그 문제가 상당 부분 해결된 것으로 보입니다.
돌아와서: 우리는 무엇을 준비해야 할까
4일간 현장에서 세션은 대부분 만석이었고(이렇게 큰 데이터 행사는 저도 처음이었습니다), 두꺼운 외투가 필요할 만큼 쌀쌀한 샌프란시스코 날씨 속에서 확인한 흐름은 분명했습니다. 데이터와 AI를 어떻게 다뤄야 하는지, 그 방향성을 많이 배운 시간이었습니다.
정리하면 데이터브릭스의 메시지는 이렇습니다. 에이전트가 우리 비즈니스를 이해하게 만들고(Genie Ontology·Genie One), 데이터베이스의 경계를 허물어 실시간으로 서빙하고(Lakehouse//RT·Lakebase), 운영과 보안, 앱 배포까지 에이전트에게 맡기라는 것(ZeroOps·LakeWatch). 우리 팀 관점에서 당장 검토해볼 만한 것은 리버스 ETL을 걷어낼 수 있는 실시간 서빙 구조와, OLTP·OLAP 통합 저장을 활용한 아키텍처 단순화입니다.
KCD 데이터엔지니어링팀은 이런 최신 기술을 "우리 사장님들에게 어떤 가치로 돌려줄 수 있을까"라는 질문으로 바꿔서 계속 실험하고 있습니다. 비슷한 고민을 즐기는 분이라면, 함께 이야기 나눌 기회가 있으면 좋겠습니다.