Tệp nhật ký giống như mạng lưới vạn vật kết nối Internet (IoT) dành cho CNTT. Dữ liệu nhật ký rất quan trọng đối với tất cả các tổ chức CNTT – nó cho chúng tôi biết mọi thứ đã xảy ra trong môi trường của chúng tôi và là nguồn thông tin có giá trị để khắc phục sự cố, chẳng hạn như trong sao lưu.
Thông thường, nó bị bỏ qua cho đến khi cần thiết, nhưng đối với một số tổ chức, dữ liệu nhật ký là huyết mạch của trí tuệ nhân tạo (AI) và phân tích là cốt lõi trong hoạt động kinh doanh của họ.
Chính những chuyên gia dữ liệu tệp nhật ký này là mục tiêu của Quickwit, công ty cung cấp phần mềm tìm kiếm và lập chỉ mục cho các bộ dữ liệu nhật ký quy mô petabyte. Nó tuyên bố giải pháp điểm của mình tiết kiệm chi phí hơn 10 lần so với chức năng tương tự trong các sản phẩm hiện có như Elaticsearch, Splunk, Datadog và Google Chronicle.
Quickwit nhắm đến khách hàng nơi dữ liệu quan trọng nhất thường là dữ liệu nhật ký. Đối với họ, bộ dữ liệu chính không phải là khách hàng, sản phẩm hay giao dịch mà là hoạt động được ghi vào hệ thống CNTT.
Những khách hàng như vậy – tập trung vào bảo mật và khả năng quan sát – chạy AI và phân tích trên các tệp nhật ký khổng lồ cho các trường hợp sử dụng có thể từ khối lượng công việc bảo mật đến việc cung cấp các công cụ tìm kiếm chuyên dụng cho nội dung mạng tối. Cũng nhắm mục tiêu là các kịch bản dịch vụ tài chính, trong đó các giao dịch diễn ra thường xuyên đến mức các tệp nhật ký tạo thành khối lượng lớn dữ liệu.
Đây là lợi thế chính của Quickwit dành cho khách hàng, đồng sáng lập Francois Massot cho biết tại sự kiện IT Press Tour gần đây ở Rome. Cụ thể, Quickwit nhắm đến khối lượng công việc trong đó các giải pháp hiện có đắt tiền và phức tạp, đồng thời việc lập chỉ mục có thể rất chậm.
Ông chỉ ra rằng việc triển khai Quickwit đã làm giảm thời gian tìm kiếm và lập chỉ mục cho khách hàng. Điều đó cho phép giữ lại các bộ dữ liệu lớn hơn nhiều, cho phép thực hiện các phân tích toàn diện hơn và phát triển các sản phẩm mới.
Quickwit được xây dựng bằng ngôn ngữ lập trình Rust và sử dụng công cụ tìm kiếm Tantivy, mà Massot cho biết là thư viện công cụ tìm kiếm nguồn mở nhanh nhất hiện có.
Ông cho biết Quickwit có thể tạo ấn tượng trên thị trường, chủ yếu là do lợi thế về giải pháp điểm của nó so với quy mô và tính chất lâu đời của đối thủ cạnh tranh.
Massot cho biết: “Các công ty đều khá lớn nên họ khó đổi mới hơn. “Sản phẩm của họ đã được phát triển và có nhiều tính năng nên họ khó theo kịp sự đổi mới.”
Massot cho biết Quickwit được triển khai như một lĩnh vực mới hoặc trong trường hợp nó thay thế các giải pháp tìm kiếm và lập chỉ mục hiện có.
Ông nói: “Khách hàng có thể có Loki hoặc ElasticSearch, nhưng họ đang đổi mới và không có cửa hàng tổ chức sự kiện và muốn thêm sản phẩm mới”.
Quickwit thường bán cho những khách hàng muốn lưu trữ dữ liệu trên phần cứng của riêng họ vì lo ngại về bảo mật.
Massot trích dẫn một số khách hàng và những lợi ích họ đã đạt được. Một người đã chuyển từ OpenSearch sang Quickwit và cắt giảm số lượng CPU cần thiết xuống còn 5, giảm một nửa dung lượng lưu trữ và có thể giữ lại lượng dữ liệu gấp 10 lần.
Một nhà cung cấp đám mây khác có trụ sở tại Hoa Kỳ Fly.io đã có thể giảm 20 lần số lượng nút điện toán cần thiết để xử lý các tệp nhật ký nhiều người thuê, quy mô lớn và tăng khả năng lưu giữ dữ liệu từ ba ngày xuống còn 30. Một khách hàng khác, OwlyScan, sử dụng Quickwit để cung cấp sản phẩm công cụ tìm kiếm trên mạng tối.
Quickwit được cung cấp thông qua hoạt động bán hàng trực tiếp và hợp tác với các nhà cung cấp đám mây, cũng như có sẵn dưới dạng phiên bản cộng đồng thông qua phân phối nguồn mở. Nó tuyên bố có hơn 200 khách hàng.
Các mục lộ trình cho năm 2024 trở đi bao gồm việc cho phép di chuyển liền mạch từ OpenSearch (Q2), truy vấn dựa trên đường ống giống Splunk SPL (Q3) và công cụ lưu trữ mới cho dữ liệu chuỗi thời gian (Q4 và 2025).