LLM giải thích: Hướng dẫn bắt đầu dành cho nhà phát triển


Do các mô hình ngôn ngữ lớn (LLM) và Generative AI (GenAI) ngày càng được nhúng vào phần mềm doanh nghiệp nên các rào cản gia nhập – về cách nhà phát triển có thể bắt đầu – gần như đã bị xóa bỏ.

Có rất nhiều sản phẩm sẵn có, chẳng hạn như các sản phẩm Microsoft Copilot khác nhau, hướng tới năng suất của người dùng doanh nghiệp. Đối với các nhà phát triển phần mềm, Microsoft còn có Github Copilot, được thiết kế để tăng tốc độ mã hóa, bằng cách tự động hoàn thành và đưa ra lời nhắc để giúp các nhà phát triển viết mã nhanh hơn.

Quyền truy cập thông qua giao diện lập trình ứng dụng (API) vào các dịch vụ dựa trên đám mây công cộng như ChatGPT cho phép các nhà phát triển kết hợp các chatbot AI mạnh mẽ vào các ứng dụng của riêng họ. Những nhà phát triển có tổ chức là khách hàng của phần mềm doanh nghiệp hiện đại, chẳng hạn như sản phẩm của Salesforce, Workday, Oracle hoặc SAP, cùng nhiều hãng khác, cũng sẽ có quyền truy cập vào các khả năng AI dành cho doanh nghiệp do LLM cung cấp.

Lưu ý duy nhất là quyền riêng tư dữ liệu và bảo vệ sở hữu trí tuệ. Mặc dù nhà phát triển có thể dễ dàng bắt đầu dùng thử các công cụ có sẵn trên đám mây công cộng, nhưng việc đào tạo hiệu quả đòi hỏi dữ liệu theo miền cụ thể, chất lượng cao.

Có rất nhiều bộ dữ liệu như vậy trong kho dữ liệu của công ty, tuy nhiên, để ngăn chặn rò rỉ dữ liệu, không được chuyển dữ liệu của công ty sang LLM công khai trừ khi nhà phát triển được phép công khai dữ liệu đó.

Các nhà phát triển cũng nên cảnh giác khi sử dụng thông tin nhận dạng cá nhân với LLM vì việc chuyển dữ liệu đó sang LLM để đào tạo có thể vi phạm các quy định về quyền riêng tư dữ liệu. Lời khuyên tốt nhất là đảm bảo dữ liệu cần thiết cho đào tạo và kiểm tra tuân thủ chính sách dữ liệu của công ty.

Đó là lý do tại sao có rất nhiều sự quan tâm đến việc các tổ chức xây dựng LLM riêng của họ. Trong thực tế, các hệ thống như vậy hoạt động tốt nhất nếu chúng có thể kết hợp lượng thông tin khổng lồ có thể thu thập được từ LLM công cộng với trợ giúp dữ liệu độc quyền và nhạy cảm về mặt thương mại trong hệ thống CNTT của doanh nghiệp.

Cách bắt đầu với LLM

Có một số LLM có API dễ truy cập mà các nhà phát triển có thể khai thác để bắt đầu xây dựng các ứng dụng sử dụng AI. Các nhà phát triển cần quyết định nên sử dụng LLM mở hay LLM độc quyền.

Các mô hình có thể truy cập API độc quyền thường được cấp phép dựa trên mức sử dụng và nhà phát triển chỉ cần đăng ký đăng ký dựa trên yêu cầu sử dụng của họ. Việc sử dụng được đo lường và định giá theo cái mà ngành gọi là “mã thông báo”, dựa trên khối lượng văn bản mà LLM gửi hoặc nhận. Điều này có nghĩa là chi phí có thể tăng nhanh nếu chúng được sử dụng rộng rãi, nhưng theo Ilkka Turunen, giám đốc công nghệ hiện trường (CTO) tại Sonatype, việc tính toán cho những yêu cầu này không phải lúc nào cũng đơn giản và cần có sự hiểu biết sâu sắc về tải trọng.

Các mô hình mở thường rẻ hơn nhiều về lâu dài so với LLM độc quyền vì không có phí cấp phép. Nhưng các nhà phát triển xem xét các mô hình nguồn mở cũng cần tính đến chi phí liên quan đến việc đào tạo và chạy chúng trên các đám mây công cộng hoặc sử dụng các máy chủ trung tâm dữ liệu tại chỗ được tối ưu hóa cho khối lượng công việc AI.

Các mô hình mở bao gồm LLaMA2 từ Meta, Bert từ Google và Falcon-40B từ Viện Đổi mới Công nghệ ở Abu Dhabi. Có sẵn một số lượng lớn các mô hình mở và để giúp các nhà phát triển hiểu thêm một chút về lợi ích và hạn chế của chúng, Hugging Spaces đã tạo ra một bảng xếp hạng các LLM nguồn mở sử dụng khung thống nhất Khai thác đánh giá mô hình ngôn ngữ Eleuther AI để kiểm tra các mô hình ngôn ngữ tổng quát .

Phần cứng nào cần thiết cho đào tạo LLM

LLM yêu cầu tài nguyên tính toán đáng kể. Ví dụ: vào năm 2023, Sharada Yeluri, nhà công nghệ và giám đốc kỹ thuật cấp cao tại Juniper Networks, đã đăng một bài báo trên LinkedIn cho thấy rằng với 2048 bộ xử lý đồ họa (GPU) Nvidia A100, việc đào tạo LLaMA2 với vốn từ vựng 32.000 từ sẽ mất 21 ngày .

Các công ty máy chủ PC hàng đầu đều cung cấp máy chủ được tối ưu hóa cho khối lượng công việc AI. Các máy chủ này được cấu hình sẵn dưới dạng cụm có kết nối nhanh giúp liên kết các GPU một cách hiệu quả để mang lại hiệu suất có thể mở rộng.

Rõ ràng có một số LLM sẽ có khả năng sử dụng phần cứng tốt hơn, xét về mặt hiệu quả, so với các LLM khác. Bảng xếp hạng Hugging Spaces là một trong những nơi mà các nhà phát triển có thể đến khi nghiên cứu các yêu cầu về nguồn lực CNTT của các LLM khác nhau. Có những thứ khác bao gồm sự hợp tác mở trên Github.

Cũng hoàn toàn khả thi khi chạy các mô hình nhỏ hơn được huấn luyện trên ít dữ liệu hơn và do đó yêu cầu sức mạnh tính toán ít hơn nhiều. Một số trong số này có thể được tạo ra để chạy trên máy tính xách tay hoặc máy tính để bàn có hiệu suất cao hợp lý, được cấu hình bằng chip AI.

Những cạm bẫy thường gặp cần tránh

Các hệ thống AI có xu hướng không mang tính xác định, điều này ảnh hưởng đến cách thiết kế và thử nghiệm các hệ thống AI ra quyết định. Nếu dữ liệu được sử dụng trong đào tạo không đầy đủ, điều này sẽ dẫn đến những sai lệch và giả định sai lầm khi hệ thống AI được trình bày với dữ liệu trong thế giới thực. Các nhà phát triển cần tinh chỉnh các mô hình dữ liệu và điều chỉnh chúng bằng các kỹ thuật như điều chỉnh siêu tham số và sắc thái để đạt được kết quả tối ưu.

LLM dựa vào dữ liệu đào tạo chất lượng cao. Nếu dữ liệu không đầy đủ, không nhất quán hoặc thiếu một số thông tin nhân khẩu học nhất định, nó có thể tạo ra sai sót hoặc sai lệch trong câu trả lời mà họ đưa ra.

LLM đôi khi có thể bị nhầm lẫn. Hiện tượng này được gọi là ảo giác.

Sử dụng LLMS với kinh doanh thông minh

Mặc dù LLM công cộng được đào tạo về một lượng lớn dữ liệu công cộng nhưng họ không có quyền truy cập vào hoạt động nội bộ của một doanh nghiệp. Công cụ suy luận dựa trên dữ liệu công khai có thể bỏ sót các sắc thái của một miền cụ thể trong giới hạn của một tổ chức và các luồng thông tin hỗ trợ các quy trình kinh doanh của tổ chức đó.

Khi được sử dụng trong các hệ thống ra quyết định, nhà phát triển cũng cần xem xét câu hỏi về khả năng giải thích, vì LLM độc quyền khá giống hộp đen, điều này khiến cho việc giải mã cách công cụ suy luận đưa ra câu trả lời cho câu hỏi đầu vào trở nên khó khăn.

Để tránh rò rỉ dữ liệu, nhiều nhà lãnh đạo CNTT cấm hoặc hạn chế sử dụng LLM công cộng. Dữ liệu công khai có thể được sử dụng trong các ứng dụng suy luận, nhưng kết quả đầu ra từ LLM cần được kết hợp với thông tin cụ thể của công ty nằm trong hệ thống CNTT của doanh nghiệp.

Chiến lược quản lý thông tin hợp lý là chìa khóa, với các biện pháp bảo vệ để đảm bảo tính nhất quán và toàn vẹn của dữ liệu cũng như tránh rò rỉ dữ liệu. Một nơi để bắt đầu là dữ liệu được lưu trữ trong các ứng dụng doanh nghiệp thương mại sẵn có. Nhiều gói phần mềm này kết hợp LLM.

Ví dụ: Oracle đang cung cấp một cách để khách hàng của mình sử dụng dữ liệu riêng tư của riêng họ để “tinh chỉnh” các LLM công cộng, mang lại kết quả dành riêng cho tổ chức đó. Công ty gần đây đã tiết lộ các đại lý GenAI cho Cơ sở hạ tầng đám mây của Oracle. Vinod Mamtani, Phó chủ tịch kiêm tổng giám đốc dịch vụ GenAI của Oracle, cho biết: “Chúng tôi không yêu cầu khách hàng di chuyển dữ liệu của họ ra ngoài kho dữ liệu để truy cập các dịch vụ AI. Thay vào đó, chúng tôi mang công nghệ AI đến nơi chứa dữ liệu của khách hàng.”

Đối thủ SAP cũng đang liên kết LLM với các nguồn dữ liệu doanh nghiệp. Cơ sở dữ liệu đa phương thức SAP Hana Cloud bao gồm một công cụ cơ sở dữ liệu vector, cho phép các tổ chức kết hợp khả năng của LLM với dữ liệu doanh nghiệp để trả lời các truy vấn.

Juergen Mueller, CTO của SAP, cho biết: “Các mô hình ngôn ngữ lớn mang lại tia sáng trí tuệ, nhưng chúng cũng có những hạn chế nghiêm trọng. Họ không biết chuyện gì đã xảy ra trong một hoặc hai năm qua và họ không có quyền truy cập vào bất kỳ dữ liệu kinh doanh nào, vì vậy rất khó để triển khai chúng trong sản xuất.”

Tạo trường hợp kinh doanh để phát triển với LLM

Theo nhà phân tích Forrester, một cơ hội để sử dụng LLM là nâng cao hiệu quả hoạt động, chẳng hạn như trong lĩnh vực tài chính và kế toán để giảm phí kiểm toán bên ngoài. Mọi giám đốc tài chính đều muốn giảm số giờ phải trả cho kiểm toán viên bên ngoài. LLM có thể trả lời các câu hỏi của kiểm toán viên và giảm số giờ cũng như nhân viên nội bộ cần thiết để thu thập thông tin.

Kiểm toán viên cũng thấy cách sử dụng LLM để giúp họ làm việc hiệu quả hơn. Ví dụ: PwC đã phát triển một công cụ hỗ trợ AI về thuế, có tính năng tham khảo chéo và đã được đào tạo về án lệ, pháp luật và các nguồn cơ bản khác, cùng với IP của chính họ có trụ sở tại Vương quốc Anh.

Theo PwC, dữ liệu đang được làm mới thường xuyên để phản ánh những thay đổi và cập nhật về các quy định về thuế. Nó tuyên bố rằng mô hình này tạo ra chất lượng và độ chính xác cao hơn đáng kể trong lĩnh vực thuế khi so sánh với LLM có sẵn công khai và cung cấp các tham chiếu đến dữ liệu cơ bản, cho phép các chuyên gia thuế xác thực minh bạch và chính xác.

Leave a Comment

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Scroll to Top