Cloud 변경 로그 - 2024

2024년 12월 20일

Marketplace subscription을 조직에 연결

이제 새 marketplace subscription을 기존 ClickHouse Cloud 조직에 연결할 수 있습니다. 마켓플레이스 구독을 완료하고 ClickHouse Cloud로 리디렉션되면, 이전에 생성한 기존 조직을 새 marketplace subscription에 연결할 수 있습니다. 이후부터 해당 조직의 리소스는 마켓플레이스를 통해 청구됩니다.

OpenAPI 키 만료 필수화

이제 API 키의 만료 옵션을 제한하여 만료되지 않는 OpenAPI 키를 생성할 수 없도록 설정할 수 있습니다. 조직에 이러한 제한을 적용하려면 ClickHouse Cloud Support 팀에 문의하십시오.

알림용 사용자 지정 이메일

이제 조직 관리자는 특정 알림에 대해 추가 수신자로 이메일 주소를 더 추가할 수 있습니다. 이는 알림을 alias로 보내거나, ClickHouse Cloud 사용자가 아닐 수도 있는 조직 내 다른 사용자에게 보내려는 경우에 유용합니다. 이를 설정하려면 Cloud Console의 알림 설정으로 이동한 다음, 이메일 알림을 받을 이메일 주소를 편집하십시오.

2024년 12월 6일

BYOC (베타)

AWS용 Bring Your Own Cloud를 이제 베타로 이용할 수 있습니다. 이 배포 모델을 사용하면 자체 AWS 계정에서 ClickHouse Cloud를 배포하고 실행할 수 있습니다. 현재 11개 이상의 AWS 리전에서 배포를 지원하며, 지원 리전은 곧 더 추가될 예정입니다. 이용하려면 지원팀에 문의하십시오. 이 배포는 대규모 배포에만 제공됩니다.

ClickPipes의 Postgres 변경 데이터 캡처(CDC) 커넥터

이 바로 사용할 수 있는 통합 기능을 사용하면 몇 번만 클릭하여 Postgres 데이터베이스를 ClickHouse Cloud로 복제하고, ClickHouse를 활용해 초고속 분석을 수행할 수 있습니다. 이 커넥터는 Postgres의 지속적인 복제와 일회성 마이그레이션 모두에 사용할 수 있습니다.

대시보드 (베타)

이번 주, ClickHouse Cloud에서 대시보드 베타 출시를 발표합니다. 대시보드를 사용하면 저장된 쿼리를 시각화로 만들고, 시각화를 대시보드에 배치하며, 쿼리 매개변수를 사용해 대시보드와 상호작용할 수 있습니다. 시작하려면 대시보드 문서를 참조하십시오.

Query API 엔드포인트(일반 제공)

ClickHouse Cloud에서 Query API 엔드포인트의 일반 제공 출시를 발표하게 되어 기쁩니다. Query API 엔드포인트를 사용하면 몇 번의 클릭만으로 저장된 쿼리를 위한 RESTful API 엔드포인트를 생성하고, 언어별 클라이언트나 인증의 복잡성을 처리하지 않고도 애플리케이션에서 바로 데이터를 사용할 수 있습니다. 최초 출시 이후 다음과 같은 여러 개선 사항이 추가되었습니다.

• 특히 콜드 스타트 시 엔드포인트 지연 시간 감소
• 엔드포인트 RBAC 제어 강화
• CORS 허용 도메인 구성 가능
• 결과 스트리밍
• 모든 ClickHouse 호환 출력 형식 지원

이러한 개선 사항과 더불어, 기존 프레임워크를 활용해 ClickHouse Cloud 서비스에서 임의의 SQL 쿼리를 실행할 수 있는 범용 쿼리 API 엔드포인트도 발표합니다. 범용 엔드포인트는 서비스 설정 페이지에서 활성화하고 구성할 수 있습니다.

시작하려면 Query API 엔드포인트 문서를 참조하십시오.

네이티브 JSON 지원(베타)

ClickHouse Cloud에서 네이티브 JSON 지원 베타를 출시합니다. 시작하려면 지원팀에 문의하여 Cloud 서비스를 활성화하세요.

벡터 유사성 인덱스를 사용한 벡터 검색(얼리 액세스)

근사 벡터 검색을 위한 벡터 유사성 인덱스를 얼리 액세스로 발표합니다.

ClickHouse는 이미 다양한 [거리 함수]https://clickhouse.com/blog/reinvent-2024-product-announcements#vector-search-using-vector-similarity-indexes-early-access)와 선형 스캔 수행 기능을 통해 벡터 기반 활용 사례를 폭넓게 지원합니다. 또한 최근에는 usearch 라이브러리와 Hierarchical Navigable Small Worlds(HNSW) 근사 최근접 이웃 검색 알고리즘을 기반으로 하는 실험적근사 벡터 검색 방식도 추가했습니다.

시작하려면 얼리 액세스 대기 목록에 등록하십시오.

ClickHouse-connect (Python) 및 ClickHouse Kafka Connect 사용자

클라이언트에서 MEMORY_LIMIT_EXCEEDED 예외가 발생할 수 있는 문제를 겪은 고객에게는 알림 이메일이 발송되었습니다.

다음 버전 이상으로 업그레이드하십시오:

• Kafka-Connect: > 1.2.5
• ClickHouse-Connect (Java): > 0.8.6

ClickPipes, 이제 AWS에서 교차 VPC 리소스 액세스를 지원합니다

이제 AWS MSK와 같은 특정 데이터 소스에 단방향 액세스 권한을 부여할 수 있습니다. AWS PrivateLink 및 VPC Lattice를 사용하는 교차 VPC 리소스 액세스를 통해 공용 네트워크를 경유하더라도 프라이버시와 보안을 유지하면서 VPC 및 계정 경계를 넘어 개별 리소스를 공유하거나, 온프레미스 네트워크에서 리소스를 공유할 수도 있습니다. 리소스 공유 설정을 시작하려면 공지 글을 참조하십시오.

ClickPipes에서 이제 AWS MSK용 IAM을 지원합니다

이제 AWS MSK ClickPipes에서 IAM 인증을 사용해 MSK 브로커에 연결할 수 있습니다. 시작하려면 문서를 확인하십시오.

AWS의 신규 서비스에 허용되는 최대 레플리카 크기

이제부터 AWS에서 생성되는 모든 신규 서비스의 사용 가능한 최대 레플리카 크기는 236 GiB입니다.

2024년 11월 22일

ClickHouse Cloud용 기본 제공 고급 관측성 대시보드

이전에는 ClickHouse 서버 메트릭과 하드웨어 리소스 사용률을 모니터링할 수 있는 고급 관측성 대시보드를 오픈소스 ClickHouse에서만 사용할 수 있었습니다. 이제 이 기능을 ClickHouse Cloud 콘솔에서도 사용할 수 있습니다.

이 대시보드에서는 system.dashboards 테이블을 기반으로 하는 쿼리를 통합 UI에서 확인할 수 있습니다. 지금 바로 고급 관측성 대시보드를 사용하려면 Monitoring > Service Health 페이지로 이동하십시오.

AI 기반 SQL 자동 완성

새로운 AI Copilot으로 쿼리를 작성하는 동안 인라인 SQL 자동 완성 제안을 받을 수 있도록 자동 완성 기능을 크게 개선했습니다. 이 기능은 모든 ClickHouse Cloud 서비스에서 "Enable Inline Code Completion" 설정을 켜서 활성화할 수 있습니다.

새로운 "billing" 역할

이제 조직 내 사용자에게 새로운 Billing 역할을 할당할 수 있습니다. 이 역할을 사용하면 서비스를 구성하거나 관리할 권한은 부여하지 않은 채 청구 정보를 보고 관리할 수 있습니다. 새 사용자를 초대하거나 기존 사용자의 역할을 편집하여 Billing 역할을 할당하십시오.

2024년 11월 8일

ClickHouse Cloud의 고객 알림

이제 ClickHouse Cloud는 여러 청구 및 스케일링 관련 이벤트에 대해 Console 내 알림과 이메일 알림을 제공합니다. 사용자는 Cloud Console의 알림 센터에서 이러한 알림을 UI에만 표시하거나, 이메일로 받거나, 둘 다 받도록 설정할 수 있습니다. 서비스 수준에서 수신할 알림의 범주와 심각도를 설정할 수 있습니다.

향후에는 다른 이벤트에 대한 알림과 함께, 알림을 수신하는 추가 방법도 제공할 예정입니다.

서비스의 알림을 활성화하는 방법에 대해 자세히 알아보려면 ClickHouse 문서를 참조하십시오.

2024년 10월 4일

ClickHouse Cloud, 이제 GCP에서 HIPAA 지원 서비스를 베타로 제공합니다

보호 건강 정보(PHI)에 대해 한층 강화된 보안이 필요한 고객은 이제 Google Cloud Platform (GCP)에서 ClickHouse Cloud를 도입할 수 있습니다. ClickHouse는 HIPAA Security Rule에서 규정하는 관리적, 물리적, 기술적 보호 조치를 구현했으며, 특정 사용 사례와 워크로드에 따라 적용할 수 있는 구성 가능한 보안 설정도 제공합니다. 사용 가능한 보안 설정에 대한 자세한 내용은 보안 기능 페이지를 참조하십시오.

이 서비스는 GCP us-central-1에서 Dedicated 서비스 유형을 사용하는 고객에게 제공되며, Business Associate Agreement(BAA)가 필요합니다. 이 기능에 대한 액세스를 요청하거나 추가 GCP, AWS, Azure 지역의 대기자 명단에 등록하려면 sales 또는 support에 문의하십시오.

GCP 및 Azure에서 컴퓨트-컴퓨트 분리가 이제 비공개 프리뷰로 제공됩니다

최근 AWS용 컴퓨트-컴퓨트 분리 비공개 프리뷰를 발표했으며, 이제 GCP 및 Azure에서도 사용할 수 있게 되었습니다.

컴퓨트-컴퓨트 분리를 사용하면 특정 서비스를 읽기-쓰기 서비스 또는 읽기 전용 서비스로 지정할 수 있으므로, 비용과 성능을 최적화할 수 있도록 애플리케이션에 가장 적합한 컴퓨트 구성을 설계할 수 있습니다. 자세한 내용은 문서를 참조하십시오.

셀프 서비스 MFA 복구 코드

다단계 인증을 사용하는 고객은 휴대전화를 분실했거나 토큰을 실수로 삭제한 경우에 사용할 수 있는 복구 코드를 이제 발급받을 수 있습니다. 처음으로 MFA를 등록하는 고객에게는 설정 시 코드가 제공됩니다. 기존 MFA를 사용하는 고객은 현재 MFA 토큰을 제거한 후 새 토큰을 추가하여 복구 코드를 발급받을 수 있습니다.

ClickPipes 업데이트: 사용자 지정 인증서, 지연 시간 인사이트 등

ClickHouse 서비스로 데이터를 수집하는 가장 쉬운 방법인 ClickPipes의 최신 업데이트를 소개하게 되어 기쁩니다. 이번 신규 기능은 데이터 수집에 대한 제어를 강화하고 성능 지표를 더욱 잘 파악할 수 있도록 설계되었습니다.

Kafka용 사용자 지정 인증서

이제 Kafka용 ClickPipes는 SASL 및 공개 SSL/TLS를 사용하는 Kafka 브로커용 사용자 지정 인증서를 지원합니다. ClickPipe 설정 중 SSL Certificate 섹션에서 자체 인증서를 손쉽게 업로드할 수 있으므로 Kafka에 더욱 안전하게 연결할 수 있습니다.

Kafka 및 Kinesis용 지연 시간 지표 소개

성능 가시성은 매우 중요합니다. 이제 ClickPipes는 지연 시간 그래프를 제공하여 메시지가 생성된 시점(Kafka Topic 또는 Kinesis Stream)부터 ClickHouse Cloud에 수집되기까지 걸리는 시간을 파악할 수 있습니다. 이 새로운 지표를 통해 데이터 파이프라인의 성능을 더욱 면밀히 모니터링하고 그에 맞게 최적화할 수 있습니다.

Kafka 및 Kinesis용 스케일링 제어(비공개 베타)

높은 처리량은 데이터 볼륨과 지연 시간 요구 사항을 충족하기 위해 추가 리소스를 필요로 할 수 있습니다. ClickPipes를 위한 수평 스케일링을 도입하며, Cloud Console에서 직접 사용할 수 있습니다. 이 기능은 현재 비공개 베타로 제공되며, 요구 사항에 따라 리소스를 더욱 효과적으로 스케일링할 수 있습니다. 베타에 참여하려면 support로 문의하십시오.

Kafka 및 Kinesis용 원시 메시지 수집

이제 Kafka 또는 Kinesis 메시지 전체를 파싱하지 않고 그대로 수집할 수 있습니다. ClickPipes는 이제 _raw_message 가상 컬럼을 지원하므로 전체 메시지를 단일 String 컬럼에 매핑할 수 있습니다. 이를 통해 필요에 따라 원시 데이터로 유연하게 작업할 수 있습니다.

2024년 8월 29일

새로운 Terraform 프로바이더 버전 - v1.0.0

Terraform을 사용하면 ClickHouse Cloud 서비스를 프로그래밍 방식으로 제어하고, 설정을 코드로 저장할 수 있습니다. ClickHouse의 Terraform 프로바이더는 다운로드 수가 거의 20만 회에 이르며, 이제 공식적으로 v1.0.0이 되었습니다. 이 새 버전에는 개선된 재시도 로직과 ClickHouse Cloud 서비스에 프라이빗 엔드포인트를 연결할 수 있는 새로운 리소스 등 여러 개선 사항이 포함되어 있습니다. 여기에서 Terraform 프로바이더를 다운로드하고 여기에서 전체 변경 이력을 확인할 수 있습니다.

2024년 SOC 2 Type II 보고서 및 업데이트된 ISO 27001 인증서

최근 Azure에서 출시한 서비스를 비롯해 AWS 및 GCP 서비스에 대한 지속적인 적용 범위를 포함하는 2024년 SOC 2 Type II 보고서와 업데이트된 ISO 27001 인증서를 제공하게 되었음을 알려드립니다.

당사의 SOC 2 Type II는 ClickHouse 사용자에게 제공하는 서비스의 보안, 가용성, 처리 무결성 및 기밀성을 보장하기 위한 지속적인 노력을 보여줍니다. 자세한 내용은 미국 공인회계사 협회(AICPA)에서 발행한 SOC 2 - SOC for Service Organizations: Trust Services Criteria 및 국제표준화기구(ISO)의 What is ISO/IEC 27001을 확인하십시오.

보안 및 규정 준수 문서와 보고서는 Trust Center에서도 확인하실 수 있습니다.

2024년 8월 15일

AWS에서 컴퓨트-컴퓨트 분리가 이제 비공개 프리뷰로 제공됩니다

기존 ClickHouse Cloud 서비스에서는 레플리카가 읽기와 쓰기를 모두 처리하며, 특정 레플리카가 한 가지 작업만 처리하도록 구성할 수 없습니다. 곧 출시될 새로운 기능인 컴퓨트-컴퓨트 분리를 사용하면 특정 서비스를 읽기-쓰기 서비스 또는 읽기 전용 서비스로 지정할 수 있으므로, 비용과 성능을 최적화할 수 있는 애플리케이션별 최적의 컴퓨트 구성을 설계할 수 있습니다.

새로운 컴퓨트-컴퓨트 분리 기능을 사용하면 각각 자체 엔드포인트를 가지면서 동일한 객체 스토리지 폴더를 사용하는 여러 컴퓨트 노드 그룹을 생성할 수 있습니다. 따라서 동일한 테이블, 뷰 등을 함께 사용할 수 있습니다. 자세한 내용은 Compute-compute separation 문서를 참조하십시오. 이 기능의 비공개 프리뷰 사용을 원하시면 support에 문의하십시오.

S3 및 GCS용 ClickPipes, 이제 일반 제공, 연속 모드 지원

ClickPipes는 ClickHouse Cloud로 데이터를 수집하는 가장 쉬운 방법입니다. S3 및 GCS용 ClickPipes가 이제 일반 제공된다는 소식을 알려드립니다. ClickPipes는 일회성 배치 수집과 "연속 모드"를 모두 지원합니다. 수집 작업은 특정 원격 버킷에서 패턴과 일치하는 모든 파일을 ClickHouse 대상 테이블로 적재합니다. "연속 모드"에서는 ClickPipes 작업이 계속 실행되면서 원격 객체 스토리지 버킷에 새로 추가되는 일치 파일을 도착하는 즉시 수집합니다. 이를 통해 어떤 객체 스토리지 버킷이든 ClickHouse Cloud로 데이터를 수집하기 위한 완전한 스테이징 영역으로 활용할 수 있습니다. ClickPipes에 관한 자세한 내용은 문서에서 확인하십시오.

2024년 7월 18일

메트릭용 Prometheus 엔드포인트가 이제 일반 제공됩니다

지난 Cloud 변경 로그에서는 ClickHouse Cloud에서 Prometheus 메트릭을 내보내기 위한 비공개 프리뷰를 발표했습니다. 이 기능을 사용하면 ClickHouse Cloud API를 통해 메트릭을 가져와 Grafana 및 Datadog 같은 도구에서 시각화할 수 있습니다. 이 기능이 이제 일반 제공됨을 알려드립니다. 자세한 내용은 문서를 참조하십시오.

Cloud Console의 테이블 검사기

ClickHouse에는 schema를 확인하기 위해 테이블을 검사할 수 있는 DESCRIBE와 같은 명령어가 있습니다. 이러한 명령어는 콘솔에 출력되지만, 테이블과 컬럼에 대한 관련 정보를 모두 확인하려면 여러 쿼리를 조합해야 하는 경우가 많아 불편합니다.

최근 Cloud Console에 Table Inspector를 출시했습니다. 이를 사용하면 SQL을 작성하지 않고도 UI에서 중요한 테이블 및 컬럼 정보를 확인할 수 있습니다. Cloud Console에서 서비스의 Table Inspector를 사용해 보십시오. schema, 스토리지, 압축 등 다양한 정보를 하나의 통합된 인터페이스에서 제공합니다.

새로운 Java Client API

Java Client는 ClickHouse에 연결할 때 가장 널리 사용되는 클라이언트 중 하나입니다. 더 쉽고 직관적으로 사용할 수 있도록 API를 다시 설계하고 다양한 성능 최적화도 적용했습니다. 이러한 변경으로 Java 애플리케이션에서 ClickHouse에 훨씬 더 쉽게 연결할 수 있습니다. 업데이트된 Java Client 사용 방법에 대한 자세한 내용은 이 블로그 게시물에서 확인하실 수 있습니다.

새 analyzer가 기본적으로 활성화됨

지난 몇 년간 ClickHouse는 쿼리 분석 및 최적화를 위한 새로운 analyzer를 개발해 왔습니다. 이 analyzer는 쿼리 성능을 향상시키며, 더 빠르고 효율적인 JOIN을 비롯한 추가 최적화를 가능하게 합니다. 이전에는 신규 사용자가 allow_experimental_analyzer 설정을 사용해 이 기능을 활성화해야 했습니다. 이제 이 개선된 analyzer는 새로운 ClickHouse Cloud 서비스에서 기본적으로 사용할 수 있습니다.

앞으로도 analyzer에 더 많은 최적화가 적용될 예정이니, 계속 지켜봐 주십시오.

2024년 6월 28일

Microsoft Azure용 ClickHouse Cloud가 이제 일반 제공됩니다

지난 5월 블로그 게시물에서 Microsoft Azure 지원의 베타 출시를 처음 발표했습니다. 이번 릴리스에서 Azure 지원이 베타에서 일반 제공으로 전환되었음을 알려드리게 되어 기쁩니다. 이제 ClickHouse Cloud는 AWS, Google Cloud Platform, Microsoft Azure의 3대 주요 클라우드 플랫폼 모두에서 사용할 수 있습니다.

이번 릴리스에는 Microsoft Azure Marketplace를 통한 구독 지원도 포함되어 있습니다. 이 서비스는 초기에는 다음 지역에서 지원됩니다:

• 미국: West US 3 (Arizona)
• 미국: East US 2 (Virginia)
• 유럽: Germany West Central (Frankfurt)

특정 지역 지원이 필요하시면 문의해 주십시오.

쿼리 로그 인사이트

Cloud Console의 새로운 Query Insights UI를 사용하면 ClickHouse에 내장된 쿼리 로그를 훨씬 더 쉽게 활용할 수 있습니다. ClickHouse의 system.query_log 테이블은 쿼리 최적화(query optimization), 디버깅, 그리고 클러스터 전반의 상태와 성능을 모니터링하는 데 필요한 핵심 정보원입니다. 다만 한 가지 유의할 점이 있습니다. 필드가 70개 이상이고 쿼리마다 여러 레코드가 생성되기 때문에, 쿼리 로그를 해석하려면 적지 않은 학습이 필요합니다. 이번 Query Insights 초기 버전은 앞으로 쿼리 디버깅과 최적화 방식을 더 단순하게 만들기 위한 청사진을 제시합니다. 이 기능을 계속 개선해 나가는 과정에서 피드백을 기다리고 있으니, 의견이 있다면 알려주십시오. 보내주시는 의견은 큰 도움이 됩니다.

메트릭용 Prometheus 엔드포인트(비공개 프리뷰)

아마 가장 많은 요청을 받은 기능 중 하나일 것입니다. 이제 ClickHouse Cloud의 Prometheus 메트릭을 Grafana 및 Datadog으로 내보내 시각화할 수 있습니다. Prometheus는 ClickHouse를 모니터링하고 사용자 지정 알림을 설정할 수 있는 오픈 소스 솔루션입니다. ClickHouse Cloud 서비스의 Prometheus 메트릭은 ClickHouse Cloud API를 통해 사용할 수 있습니다. 이 기능은 현재 비공개 프리뷰 상태입니다. 조직에서 이 기능을 활성화하려면 지원 팀에 문의하십시오.

기타 기능

• 빈도, 보존 기간, 일정 등 사용자 지정 백업 정책을 설정할 수 있는 구성 가능한 백업 기능이 이제 일반 제공됩니다.

2024년 6월 13일

Kafka ClickPipes Connector의 설정 가능한 오프셋(베타)

최근까지 새 ClickPipes용 Kafka Connector를 설정하면 항상 Kafka 토픽의 시작 지점부터 데이터를 읽어 왔습니다. 이 방식은 과거 데이터를 다시 처리하거나, 새로 유입되는 데이터를 모니터링하거나, 정확한 지점부터 처리를 재개해야 하는 상황에는 충분히 유연하지 않을 수 있습니다.

Kafka용 ClickPipes에 Kafka 토픽의 데이터 읽기 방식에 대한 유연성과 제어 수준을 높여 주는 새 기능이 추가되었습니다. 이제 데이터를 읽어 올 시작 오프셋을 설정할 수 있습니다.

사용할 수 있는 옵션은 다음과 같습니다:

• 처음부터: Kafka 토픽의 맨 처음부터 데이터 읽기를 시작합니다. 이 옵션은 모든 과거 데이터를 다시 처리해야 하는 경우에 적합합니다.
• 최신부터: 가장 최근 오프셋부터 데이터 읽기를 시작합니다. 새 메시지에만 관심이 있는 경우에 유용합니다.
• 타임스탬프부터: 특정 타임스탬프 시점 또는 그 이후에 생성된 메시지부터 데이터 읽기를 시작합니다. 이 기능을 사용하면 더 정밀하게 제어할 수 있으며, 정확한 시점부터 처리를 재개할 수 있습니다.

서비스를 빠른 릴리스 채널에 등록하기

빠른 릴리스 채널을 사용하면 서비스가 릴리스 일정에 앞서 업데이트를 받을 수 있습니다. 이전에는 이 기능을 활성화하려면 지원 팀의 도움이 필요했습니다. 이제 ClickHouse Cloud 콘솔에서 서비스에 이 기능을 직접 활성화할 수 있습니다. 설정으로 이동한 다음 빠른 릴리스에 등록을 클릭하십시오. 이제 서비스는 업데이트가 제공되는 즉시 수신합니다.

Terraform을 통한 수평 스케일링 지원

ClickHouse Cloud는 수평 스케일링을 지원합니다. 즉, 서비스에 동일한 크기의 레플리카를 추가할 수 있습니다. 수평 스케일링은 동시 쿼리를 처리할 수 있도록 성능과 병렬성을 향상시킵니다. 이전에는 레플리카를 추가하려면 ClickHouse Cloud 콘솔 또는 API를 사용해야 했습니다. 이제 Terraform을 사용하여 서비스의 레플리카를 추가하거나 제거할 수 있으므로, 필요에 따라 ClickHouse 서비스를 프로그래밍 방식으로 스케일링할 수 있습니다.

추가 정보는 ClickHouse Terraform 프로바이더를 참조하십시오.

2024년 5월 30일

팀원과 쿼리 공유하기

SQL 쿼리를 작성하다 보면 팀의 다른 구성원에게도 해당 쿼리가 유용한 경우가 많습니다. 이전에는 Slack이나 이메일로 쿼리를 보내야 했고, 나중에 쿼리를 수정해도 팀원이 그 변경 사항을 자동으로 받아볼 방법이 없었습니다.

이제 ClickHouse Cloud 콘솔을 통해 쿼리를 손쉽게 공유할 수 있습니다. 쿼리 편집기에서 전체 팀 또는 특정 팀원과 쿼리를 직접 공유할 수 있습니다. 또한 Read 전용 권한 또는 쓰기 권한을 지정할 수도 있습니다. 새로운 공유 쿼리 기능을 사용해 보려면 쿼리 편집기에서 Share 버튼을 클릭하십시오.

Microsoft Azure용 ClickHouse Cloud가 이제 베타로 제공됩니다

드디어 Microsoft Azure에서 ClickHouse Cloud 서비스를 생성할 수 있게 되었습니다. 이미 많은 고객이 비공개 프리뷰 프로그램의 일환으로 Azure에서 ClickHouse Cloud를 프로덕션 환경에 사용하고 있습니다. 이제 누구나 Azure에서 직접 서비스를 생성할 수 있습니다. AWS와 GCP에서 지원되는 ClickHouse 기능은 Azure에서도 동일하게 사용할 수 있습니다.

앞으로 몇 주 내에 Azure용 ClickHouse Cloud가 일반 제공(General Availability) 단계에 들어갈 것으로 예상합니다. 자세한 내용은 이 블로그 게시물을 참조하거나, ClickHouse Cloud 콘솔에서 Azure를 선택해 새 서비스를 생성하십시오.

주의: 현재 Azure의 개발용 서비스는 지원되지 않습니다.

ClickHouse Cloud Console을 통해 Private Link 설정하기

Private Link 기능을 사용하면 트래픽을 공용 인터넷으로 보내지 않고도 ClickHouse Cloud 서비스와 클라우드 제공자 계정의 내부 서비스를 연결할 수 있으므로 비용을 절감하고 보안을 강화할 수 있습니다. 이전에는 이를 설정하기가 까다로웠고 ClickHouse Cloud API를 사용해야 했습니다.

이제 ClickHouse Cloud Console에서 몇 번만 클릭하면 private endpoint를 직접 구성할 수 있습니다. 서비스의 설정으로 이동한 다음 보안 섹션에서 Set up private endpoint를 클릭하십시오.

2024년 5월 17일

ClickPipes를 사용하여 Amazon Kinesis에서 데이터 수집(베타)

ClickPipes는 코드 작성 없이 데이터를 수집할 수 있도록 ClickHouse Cloud에서만 제공하는 전용 서비스입니다. Amazon Kinesis는 처리를 위해 데이터 스트림을 수집하고 저장하는 AWS의 완전 관리형 스트리밍 서비스입니다. 요청이 가장 많았던 통합 기능 중 하나인 Amazon Kinesis용 ClickPipes 베타를 출시하게 되어 매우 기쁩니다. ClickPipes에 더 많은 통합 기능을 추가할 예정이므로, 지원이 필요한 데이터 소스가 있다면 알려주시기 바랍니다. 이 기능에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

Cloud Console에서 ClickPipes의 새로운 Amazon Kinesis 통합을 사용해 볼 수 있습니다:

설정 가능한 백업(비공개 프리뷰)

백업은 모든 데이터베이스에 중요합니다(아무리 신뢰성이 높더라도). ClickHouse Cloud는 서비스 출시 초기부터 백업을 매우 중요하게 다뤄 왔습니다. 이번 주에는 설정 가능한 백업을 출시하여 서비스 백업을 훨씬 더 유연하게 관리할 수 있게 되었습니다. 이제 시작 시간, 보존 기간, 빈도를 제어할 수 있습니다. 이 기능은 프로덕션 및 전용 서비스에서 사용할 수 있으며, 개발 서비스에서는 사용할 수 없습니다. 현재 이 기능은 비공개 프리뷰로 제공되므로, 서비스에서 이 기능을 활성화하려면 support@clickhouse.com으로 문의하십시오. 설정 가능한 백업에 대한 자세한 내용은 여기에서 확인하십시오.

SQL 쿼리로 API 생성하기 (베타)

ClickHouse용 SQL 쿼리를 작성하더라도, 애플리케이션에서 해당 쿼리를 사용하려면 여전히 드라이버를 통해 ClickHouse에 연결해야 합니다. 이제 새로운 Query Endpoints 기능을 사용하면 별도의 설정 없이 API에서 SQL 쿼리를 직접 실행할 수 있습니다. Query Endpoints의 반환 형식을 JSON, CSV 또는 TSV로 지정할 수 있습니다. Cloud Console에서 "Share" 버튼을 클릭하여 작성한 쿼리로 이 새 기능을 사용해 보십시오. Query Endpoints에 대한 자세한 내용은 여기에서 확인하십시오.

공식 ClickHouse Certification이 이제 제공됩니다

ClickHouse Develop 교육 과정에는 12개의 무료 교육 모듈이 있습니다. 이번 주 전까지는 ClickHouse에 대한 숙련도를 공식적으로 입증할 방법이 없었습니다. 최근 ClickHouse Certified Developer가 되기 위한 공식 시험을 출시했습니다. 이 시험을 완료하면 데이터 수집, 모델링, 분석, 성능 최적화 등과 같은 주제에 대한 ClickHouse 숙련도를 현재 또는 잠재적 고용주에게 입증할 수 있습니다. 시험은 여기에서 응시할 수 있으며, ClickHouse Certification에 대한 자세한 내용은 이 블로그 게시물에서 확인할 수 있습니다.

2024년 4월 25일

ClickPipes를 사용하여 S3 및 GCS에서 데이터 로드

새롭게 출시된 Cloud Console에 "Data sources"라는 새 섹션이 추가된 것을 보셨을 수 있습니다. "Data sources" 페이지는 ClickPipes로 구동되며, 다양한 소스의 데이터를 ClickHouse Cloud로 쉽게 삽입할 수 있게 해주는 ClickHouse Cloud의 기본 제공 기능입니다.

최근 ClickPipes 업데이트에는 Amazon S3와 Google Cloud Storage에서 데이터를 직접 업로드할 수 있는 기능이 추가되었습니다. 기본 제공 테이블 함수를 계속 사용할 수도 있지만, ClickPipes는 UI를 통해 제공되는 완전관리형 서비스로, 몇 번의 클릭만으로 S3와 GCS에서 데이터를 수집할 수 있습니다. 이 기능은 아직 비공개 프리뷰 단계이지만, 지금 바로 Cloud Console에서 사용해 볼 수 있습니다.

Fivetran을 사용해 500개 이상의 소스에서 ClickHouse Cloud로 데이터 로드

ClickHouse는 대규모 데이터 세트를 빠르게 쿼리할 수 있지만, 그 전에 먼저 데이터를 ClickHouse에 삽입해야 합니다. Fivetran은 폭넓은 커넥터를 제공하므로 이제 500개가 넘는 소스에서 데이터를 빠르게 로드할 수 있습니다. Zendesk, Slack 또는 자주 사용하는 애플리케이션 등 어떤 소스에서 데이터를 로드하든, Fivetran의 새로운 ClickHouse 대상을 통해 애플리케이션 데이터의 대상 데이터베이스로 ClickHouse를 사용할 수 있습니다.

이 통합은 Integrations 팀이 수개월에 걸쳐 공들여 개발한 오픈소스 통합입니다. 자세한 내용은 릴리스 블로그 게시물과 GitHub 저장소에서 확인할 수 있습니다.

기타 변경 사항

Console 변경 사항

• SQL 콘솔에서 출력 형식 지원

Integrations 변경 사항

• ClickPipes Kafka Connector에서 다중 브로커 구성을 지원
• PowerBI Connector에서 ODBC 드라이버 구성 옵션 제공을 지원

2024년 4월 18일

이제 ClickHouse Cloud에서 AWS 도쿄 리전을 사용할 수 있습니다

이번 릴리스에서는 ClickHouse Cloud에 새로운 AWS 도쿄 리전(ap-northeast-1)이 추가되었습니다. ClickHouse를 가장 빠른 데이터베이스로 제공하기 위해, 각 클라우드에서 더 많은 리전을 지속적으로 추가하여 지연 시간을 최대한 줄이고 있습니다. 업데이트된 Cloud Console에서 도쿄에 새 서비스를 생성할 수 있습니다.

기타 변경 사항:

Console 변경 사항

• Kafka용 ClickPipes의 Avro 포맷 지원이 이제 일반 제공됩니다
• Terraform 프로바이더에서 리소스(서비스 및 private endpoint) 가져오기를 완전히 지원합니다

Integrations 변경 사항

• NodeJS 클라이언트 주요 안정 버전 릴리스: 쿼리 + ResultSet 및 URL 설정에 대한 향상된 TypeScript 지원
• Kafka Connector: DLQ에 쓸 때 예외를 무시하던 버그를 수정하고, Avro Enum 타입 지원을 추가했으며, MSK 및 Confluent Cloud에서 커넥터를 사용하는 가이드를 게시했습니다
• Grafana: UI에서 널 허용(Nullable) 타입 지원 문제를 수정하고, 동적 OTel 트레이싱 테이블 이름 지원 문제를 수정했습니다
• DBT: 사용자 지정 materialization에 대한 모델 설정을 수정했습니다.
• Java 클라이언트: 잘못된 오류 코드 파싱 버그를 수정했습니다
• Python 클라이언트: 숫자 타입에 대한 매개변수 바인딩을 수정하고, 쿼리 바인딩의 숫자 목록 관련 버그를 수정했으며, SQLAlchemy Point 지원을 추가했습니다.

2024년 4월 4일

새로운 ClickHouse Cloud Console 소개

이번 릴리스에서는 새로운 Cloud Console의 비공개 프리뷰를 선보입니다.

ClickHouse는 개발자 경험을 어떻게 개선할 수 있을지 끊임없이 고민하고 있습니다. 가장 빠른 실시간 데이터 웨어하우스를 제공하는 것만으로는 충분하지 않으며, 쉽고 편리하게 사용하고 관리할 수 있어야 한다고 보고 있습니다.

매월 수천 명의 ClickHouse Cloud 사용자가 SQL 콘솔에서 수십억 건의 쿼리를 실행하고 있습니다. 이에 따라 ClickHouse Cloud 서비스를 그 어느 때보다 더 쉽게 이용할 수 있도록 세계적 수준의 콘솔에 더 많은 투자를 하기로 했습니다. 새로운 Cloud Console 환경은 독립 실행형 SQL 에디터와 관리 콘솔을 하나의 직관적인 UI로 통합합니다.

일부 고객에게는 새로운 Cloud Console 환경의 프리뷰가 제공됩니다. 이는 ClickHouse에서 데이터를 탐색하고 관리할 수 있는 통합적이고 몰입감 있는 새로운 방식입니다. 우선 액세스를 원하시면 support@clickhouse.com으로 문의해 주십시오.

2024년 3월 28일

이번 릴리스에서는 Microsoft Azure 지원, API를 통한 수평 스케일링, 그리고 비공개 프리뷰 상태의 릴리스 채널을 도입합니다.

일반 업데이트

• Microsoft Azure 지원이 비공개 프리뷰로 제공되기 시작했습니다. 액세스 권한이 필요하면 계정 관리팀 또는 지원팀에 문의하거나 대기자 명단에 등록하십시오.
• 릴리스 채널이 도입되었습니다. 환경 유형에 따라 업그레이드 시점을 지정할 수 있는 기능입니다. 이번 릴리스에서는 "fast" 릴리스 채널이 추가되어 비프로덕션 환경을 프로덕션 환경보다 먼저 업그레이드할 수 있습니다(활성화하려면 지원팀에 문의하십시오).

관리 변경 사항

• API를 통한 수평 스케일링 설정 지원이 추가되었습니다(비공개 프리뷰이며, 활성화하려면 지원팀에 문의하십시오).
• 시작 시 메모리 부족 오류가 발생하는 서비스가 스케일 업되도록 자동 스케일링이 개선되었습니다.
• Terraform 프로바이더를 통한 AWS용 CMEK 지원이 추가되었습니다.

Console 변경 사항

• Microsoft 소셜 로그인 지원 추가
• SQL 콘솔에서 매개변수화된 쿼리 공유 기능 추가
• 쿼리 편집기 성능 대폭 개선(EU 일부 지역에서 지연 시간이 5초에서 1.5초로 단축)

Integrations 변경 사항

• ClickHouse OpenTelemetry exporter: ClickHouse 복제 테이블 엔진에 대한 지원 추가 및 통합 테스트 추가
• ClickHouse DBT adapter: 딕셔너리용 materialization 매크로 지원 추가, TTL 표현식 지원 테스트 추가
• ClickHouse Kafka Connect Sink: Kafka 플러그인 검색과의 호환성 추가 (커뮤니티 기여)
• ClickHouse Java Client: 새 client API용 새 패키지 도입 및 Cloud 테스트용 테스트 커버리지 추가
• ClickHouse NodeJS Client: 새로운 HTTP keep-alive 동작에 대한 테스트와 문서 확장. v0.3.0 릴리스부터 사용 가능
• ClickHouse Golang Client: 맵의 키로 사용되는 Enum 관련 버그 수정, 오류가 발생한 연결이 연결 풀에 남아 있을 때의 버그 수정 (커뮤니티 기여)
• ClickHouse Python Client: PyArrow를 통한 쿼리 스트리밍 지원 추가 (커뮤니티 기여)

보안 업데이트

• ClickHouse Cloud를 업데이트하여 "쿼리 캐싱이 활성화되면 역할 기반 접근 제어가 우회됨" 문제를 방지했습니다 (CVE-2024-22412)

2024년 3월 14일

이번 릴리스에서는 새로운 Cloud Console 환경을 얼리 액세스로 제공하며, S3 및 GCS의 대량 적재를 위한 ClickPipes와 Kafka용 ClickPipes의 Avro 포맷을 지원합니다. 또한 ClickHouse 데이터베이스 버전을 24.1로 업그레이드하여 새로운 함수 지원과 함께 성능 및 리소스 사용을 최적화했습니다.

Console 변경 사항

• 새로운 Cloud Console 환경이 얼리 액세스로 제공됩니다(참여에 관심이 있으면 지원팀에 문의하십시오).
• S3 및 GCS에서 대량 적재를 위한 ClickPipes가 얼리 액세스로 제공됩니다(참여에 관심이 있으면 지원팀에 문의하십시오).
• Kafka용 ClickPipes에서 Avro 포맷 지원이 얼리 액세스로 제공됩니다(참여에 관심이 있으면 지원팀에 문의하십시오).

ClickHouse 버전 업그레이드

• FINAL 최적화, 벡터화 개선, 더 빠른 집계 성능이 포함되었습니다. 자세한 내용은 23.12 릴리스 블로그를 참조하십시오.
• punycode 처리, 문자열 유사도, 이상값 탐지를 위한 새로운 함수와 병합 및 Keeper에 대한 메모리 최적화가 추가되었습니다. 자세한 내용은 24.1 릴리스 블로그 및 발표 자료를 참조하십시오.
• 이 ClickHouse Cloud 버전은 24.1을 기반으로 하며, 수십 개의 새로운 기능, 성능 개선, 버그 수정 사항을 확인할 수 있습니다. 자세한 내용은 핵심 데이터베이스 변경 로그를 참조하십시오.

Integrations 변경 사항

• Grafana: v4용 대시보드 마이그레이션 및 애드혹 필터링 로직 수정
• Tableau Connector: DATENAME 함수와 "real" 인수의 반올림 처리 수정
• Kafka Connector: 연결 초기화 중 발생하는 NPE 수정, JDBC 드라이버 옵션 지정 기능 추가
• Golang client: 응답 처리 시 메모리 사용량 감소, Date32 극단값 수정, 압축 활성화 시 오류 리포팅 수정
• Python client: datetime 매개변수의 시간대 지원 개선, Pandas DataFrame 성능 개선

2024년 2월 29일

이번 릴리스에서는 SQL 콘솔 애플리케이션의 로딩 시간을 단축하고, ClickPipes에서 SCRAM-SHA-256 인증을 지원하며, Kafka Connect까지 중첩 구조 지원을 확대했습니다.

Console 변경 사항

• SQL 콘솔 애플리케이션의 초기 로드 시간을 최적화했습니다
• SQL 콘솔에서 경쟁 상태로 인해 '인증 실패' 오류가 발생하던 문제를 수정했습니다
• 모니터링 페이지에서 가장 최근의 메모리 할당 값이 간헐적으로 올바르지 않게 표시되던 문제를 수정했습니다
• SQL 콘솔이 간헐적으로 중복된 KILL QUERY 명령어를 실행하던 문제를 수정했습니다
• ClickPipes에서 Kafka 기반 데이터 소스에 대한 SCRAM-SHA-256 인증 방식 지원을 추가했습니다

Integrations 변경 사항

• Kafka Connector: 복잡한 중첩 구조(Array, Map) 지원 확장, FixedString 타입 지원 추가, 여러 데이터베이스로의 수집 지원 추가
• Metabase: 23.8 미만 버전의 ClickHouse와의 비호환성 수정
• DBT: 모델 생성 시 설정을 전달하는 기능 추가
• Node.js client: 장시간 실행 쿼리(>1hr) 지원 추가 및 빈 값 처리 개선

2024년 02월 15일

이번 릴리스에서는 핵심 데이터베이스 버전을 업그레이드하고, Terraform를 통해 Private Link를 설정할 수 있는 기능을 추가했으며, Kafka Connect를 통한 非同期 INSERT에 대해 exactly-once 시맨틱을 지원합니다.

ClickHouse 버전 업그레이드

• S3에서 데이터를 지속적이고 예약된 방식으로 로드하는 S3Queue 테이블 엔진이 프로덕션 준비를 마쳤습니다 - 자세한 내용은 23.11 릴리스 블로그를 참조하십시오.
• FINAL의 성능이 크게 향상되고 SIMD 명령어 벡터화가 개선되어 쿼리가 더 빨라졌습니다 - 자세한 내용은 23.12 릴리스 블로그를 참조하십시오.
• 이 ClickHouse Cloud 버전은 23.12를 기반으로 하며, 수십 가지의 새로운 기능, 성능 개선, 버그 수정이 포함되어 있습니다. 자세한 내용은 핵심 데이터베이스 변경 로그를 참조하십시오.

Console 변경 사항

• Terraform 프로바이더를 통해 AWS Private Link 및 GCP Private Service Connect를 설정할 수 있는 기능 추가
• 원격 파일 데이터 가져오기 안정성 향상
• 모든 데이터 가져오기에 가져오기 상태 세부 정보 플라이아웃 추가
• S3 데이터 가져오기에 key/secret key 자격 증명 지원 추가

Integrations 변경 사항

• Kafka Connect
  • exactly once를 위해 async_insert 지원 추가(기본적으로 비활성화됨)
• Golang client
  • DateTime 바인딩 수정
  • 배치 삽입 성능 개선
• Java client
  • 요청 압축 문제 수정

설정 변경 사항

• use_mysql_types_in_show_columns 설정은 더 이상 필요하지 않습니다. MySQL 인터페이스로 연결하면 자동으로 활성화됩니다.
• async_insert_max_data_size의 기본값은 이제 10 MiB입니다.

2024년 2월 2일

이번 릴리스에서는 Azure Event Hub용 ClickPipes를 사용할 수 있게 되었으며, v4 ClickHouse Grafana 커넥터를 사용한 로그 및 트레이스 탐색 워크플로가 크게 개선되었고, Flyway 및 Atlas 데이터베이스 schema 관리 도구 지원도 새롭게 추가되었습니다.

Console 변경 사항

• Azure Event Hub용 ClickPipes 지원 추가
• 새 서비스의 기본 유휴 시간이 15분으로 설정됨

Integrations 변경 사항

• Grafana 용 ClickHouse 데이터 소스 v4 릴리스
  • Table, Logs, Time Series, Traces용 전용 편집기를 제공하도록 쿼리 빌더를 전면 재구축했습니다
  • 더 복잡하고 동적인 쿼리를 지원하도록 SQL 생성기를 전면 재구축했습니다
  • Log 및 Trace 뷰에서 OpenTelemetry를 기본적으로 지원하도록 추가했습니다
  • Logs 및 Traces의 기본 테이블과 컬럼을 지정할 수 있도록 설정을 확장했습니다
  • 사용자 지정 HTTP 헤더를 지정하는 기능을 추가했습니다
  • 이 외에도 많은 개선이 포함되었습니다. 전체 changelog를 확인하십시오
• 데이터베이스 schema 관리 도구
  • Flyway에서 ClickHouse 지원을 추가했습니다
  • Ariga Atlas에서 ClickHouse 지원을 추가했습니다
• Kafka Connector Sink
  • 기본값이 있는 테이블로의 수집을 최적화했습니다
  • DateTime64에서 문자열 기반 날짜를 지원하도록 추가했습니다
• Metabase
  • 여러 데이터베이스에 대한 연결을 지원하도록 추가했습니다

2024년 1월 18일

이번 릴리스에서는 AWS 런던 리전(eu-west-2)이 새로 추가되었고, Redpanda, Upstash, Warpstream에 대한 ClickPipes 지원이 추가되었으며, is_deleted 핵심 데이터베이스 기능의 안정성이 개선되었습니다.

일반 변경 사항

• 신규 AWS 리전: 런던 (eu-west-2)

Console 변경 사항

• Redpanda, Upstash 및 Warpstream에 대한 ClickPipes 지원이 추가되었습니다
• UI에서 ClickPipes 인증 방식을 설정할 수 있도록 했습니다

Integrations 변경 사항

• Java client:
  • 주요 변경 사항: 호출 시 임의의 URL 핸들을 지정하는 기능을 제거했습니다. 이 기능은 ClickHouse에서도 제거되었습니다
  • 지원 중단 예정: Java CLI client 및 GRPC 패키지
  • RowBinaryWithDefaults 포맷 지원을 추가하여 배치 크기와 ClickHouse 인스턴스의 작업 부하를 줄였습니다 (Exabeam의 요청)
  • Date32 및 DateTime64의 범위 경계를 ClickHouse와 호환되도록 조정했으며, Spark Array 문자열 타입과의 호환성 및 노드 선택 메커니즘을 개선했습니다
• Kafka Connector: Grafana용 JMX 모니터링 대시보드를 추가했습니다
• PowerBI: UI에서 ODBC 드라이버 설정을 구성할 수 있도록 했습니다
• JavaScript client: 쿼리 요약 정보를 노출하고, 삽입 시 특정 컬럼의 일부만 지정할 수 있도록 했으며, 웹 client에서 keep_alive를 설정할 수 있도록 했습니다
• Python client: SQLAlchemy에 Nothing 타입 지원을 추가했습니다

안정성 변경

• 사용자에게 영향을 미치는 하위 호환성 없는 변경 사항: 이전에는 특정 조건에서 두 기능(is_deleted 및 OPTIMIZE CLEANUP)이 ClickHouse 데이터 손상으로 이어질 수 있었습니다. 기능의 핵심은 유지하면서 사용자 데이터의 무결성을 보호하기 위해 이 기능의 동작 방식을 조정했습니다. 구체적으로, MergeTree 설정 clean_deleted_rows는 이제 더 이상 사용되지 않으며 아무런 효과도 없습니다. 기본적으로 CLEANUP 키워드는 허용되지 않습니다(사용하려면 allow_experimental_replacing_merge_with_cleanup를 활성화해야 합니다). CLEANUP를 사용하기로 했다면 항상 FINAL과 함께 사용해야 하며, OPTIMIZE FINAL CLEANUP를 실행한 후에는 더 오래된 버전의 행이 삽입되지 않도록 반드시 보장해야 합니다.