"누구나 데이터 전문가"…데이터브릭스, '레이크플로우 디자이너' 공개

데이터브릭스가 비전문가도 운영 환경 수준의 데이터 처리를 할 수 있는 도구를 내놨다.

데이터브릭스는 '레이크플로우'에 노코드 시각화 도구 '레이크플로우 디자이너'를 도입한다고 13일 밝혔다. 해당 기능은 추후 프라이빗 프리뷰 버전으로 제공될 예정이다.

레이크플로우 디자이너는 드래그 앤 드롭 인터페이스와 자연어 기반 생성형 인공지능(AI) 도우미를 결합해 기술적 배경이 없는 사용자도 손쉽게 데이터 파이프라인을 구축할 수 있도록 설계됐다. 데이터 엔지니어 수준의 확장성, 거버넌스, 유지관리성을 갖추면서도 코드 작성 없이 파이프라인을 완성할 수 있다는 점이 특징이다.

데이터브릭스가 비전문가도 운영 환경 수준의 데이터 처리를 할 수 있는 도구를 내놨다. (사진=데이터브릭스)

데이터브릭스는 데이터 파이프라인 구축의 이중 구조 문제를 해소하기 위해 이같은 도구를 출시했다고 밝혔다. 그동안 기업은 노코드 도구의 한계 또는 엔지니어 인력 부족이라는 이분법에 갇혀 있었고, 결국 복잡하고 관리 어려운 데이터 환경을 감수해왔다. 레이크플로우 디자이너는 코드 없는 확장성과 운영 수준 성능을 모두 충족하는 대안을 제시한다.

레이크플로우 디자이너는 데이터브릭스 어시스턴트, 유니티 카탈로그 기능도 제공한다. 이를 통해 기술 부서의 거버넌스 부담 없이도 현업 분석가가 주도적으로 문제를 해결할 수 있는 환경을 제공한다.

데이터브릭스는 레이크플로우도 정식 출시했다. 이 솔루션은 선언형 파이프라인을 기반으로 SQL 또는 파이썬만으로 데이터 수집부터 변환, 오케스트레이션까지 아우르는 엔드-투-엔드 데이터 처리를 지원한다.

레이크플로우에 데이터 엔지니어를 위한 새로운 통합 개발 환경도 추가됐다. AI 기반 코드 생성, 디버깅, 유효성 검사 기능을 제공해 데이터 파이프라인 구축 속도를 높인다. 해당 IDE는 현재 퍼블릭 프리뷰로 제공된다.

데이터 수집 커넥터도 확장됐다. 구글애널리틱스, 서비스나우, SQL 서버, 셰어포인트, 포스트그레SQL, SFTP 등 포인트 앤 클릭 방식의 신규 커넥터가 추가돼 다양한 데이터 소스 연동이 가능해졌다.