Công ty tư vấn trí tuệ nhân tạo (AI) có trụ sở tại Toronto, Crater đã tiết kiệm được khoảng 1,5 triệu đô la Canada (885.000 bảng Anh) trong thời gian nghiên cứu sau khi thay thế bộ lưu trữ gắn trực tiếp khó định cấu hình bằng dung lượng chia sẻ trong mảng FlashBlade từ Pure Storage.
Động thái này giúp các nhà nghiên cứu gần như loại bỏ nhu cầu dành thời gian định cấu hình cơ sở hạ tầng lưu trữ để đào tạo AI cho các dự án của khách hàng.
Crater cung cấp bằng chứng về khái niệm và công việc nghiên cứu về AI cho khách hàng của mình. Điều này tập trung vào giai đoạn đào tạo AI, sau khi hoàn thành dự án sẽ được bàn giao lại cho khách hàng.
Các thử nghiệm mà công ty đã thực hiện cho khách hàng bao gồm phát triển AI để: phát hiện các khiếm khuyết trong quy trình sản xuất; phân tích dữ liệu của SEC trong ba ngày thay vì 10 ngày; tính toán lộ trình giao hàng cho hàng nghìn xe tải với thời gian ít hơn 2/3; và phát hiện các điểm bất thường trong thanh toán với độ chính xác lên tới 93% cho các công ty viễn thông và tiện ích.
Eidoo cho biết: “Khách hàng có thể xử lý AI/ML nhưng không thể thực hiện nghiên cứu nội bộ để phát triển thứ gì đó không có sẵn trên kệ”. “Khách hàng mời chúng tôi đến để phát triển các mẫu mới dựa trên mẫu mới nhất của giới học thuật.”
Trước đây, Crater hoạt động trên đám mây hoặc trên đĩa quay và đĩa quay được gắn trực tiếp nội bộ trong các máy chủ.
Eidoo cho biết, việc chạy AI trên đám mây tỏ ra tốn kém đối với công ty. Ông nói: “Các dự án của chúng tôi thường là các tập dữ liệu có dung lượng nhiều terabyte và việc đào tạo trên đám mây không phải là điều thực tế nhất”. “Các bộ dữ liệu rất đa dạng vì chúng tôi có nhiều dự án đang chạy đồng thời cho khách hàng, điều này có thể có nghĩa là có nhiều loại và kích thước tệp, đồng thời điều đó gây ra những hạn chế về cách chúng tôi có thể tương tác với các dịch vụ từ nhà cung cấp đám mây.”
Trong nội bộ, các giới hạn đã xuất hiện khi cố gắng cung cấp nhiều mô hình song song với phương tiện lưu trữ không đồng nhất được phân chia trên nhiều máy chủ.
Eidoo cho biết: “Có thể có 12 dự án cùng một lúc và các nhà nghiên cứu của chúng tôi cần định cấu hình bộ lưu trữ cho chúng”. “Các loại dữ liệu có thể bao gồm từ hình ảnh rất lớn đến cơ sở dữ liệu, tất cả đều có chữ ký I/O (đầu vào/đầu ra) rất khác nhau.
Ông nói: “Bởi vì mỗi máy chủ có bộ lưu trữ riêng nên có rất nhiều dữ liệu bị xáo trộn đến đúng nơi, nhưng chúng tôi vẫn thường không thể bão hòa GPU (đơn vị xử lý đồ họa). “Chúng tôi không muốn phải đối mặt với tất cả những điều đó. Các nhà nghiên cứu của chúng tôi phải mất ba hoặc bốn ngày để định cấu hình bộ nhớ cho mỗi thử nghiệm.”
Do đó, Crater đã chuyển sang Pure Storage FlashBlade, nhắm mục tiêu dữ liệu phi cấu trúc trong tệp và chặn khối lượng công việc lưu trữ, đồng thời đi kèm với ổ đĩa flash TLC hoặc QLC (dung lượng cao hơn).
Crater chạy khoảng 127TB dung lượng FlashBlade, cung cấp dung lượng lưu trữ qua Ethernet cho các cụm máy chủ AI dựa trên Linux chạy “vài chục” GPU Nvidia. Khối lượng công việc AI được xử lý thông qua các thùng chứa, có thể dễ dàng cung cấp dung lượng lưu trữ.
Điểm mấu chốt trong số các lợi ích là các nhà nghiên cứu giờ đây không phải mất thời gian thiết lập bộ lưu trữ cho mỗi lần đào tạo AI. Eidoo cho biết: “Các nhà nghiên cứu phải mất khoảng 10% thời gian dành cho mỗi dự án để thực hiện các nhiệm vụ liên quan đến cơ sở hạ tầng”. “Điều đó gần như đã bị loại bỏ. Chúng tôi không đắn đo về vị trí dữ liệu.”
Ông nói điều đó có nghĩa là thời gian đào tạo người mẫu đã giảm từ 25% đến 40%. Eidoo nói: “Điều đó có nghĩa là nhóm sẽ không ngồi chờ đợi trong hai hoặc ba tuần nữa. “Nhân số đó với 12 thí nghiệm và từ 4 đến 6 nhà nghiên cứu, đó sẽ là một hiệu ứng cấp số nhân khá lớn. Chúng tôi đang tiết kiệm gần CAN$1,5 triệu mà không phải tốn thời gian thiết lập cơ sở hạ tầng.”