Facebook đạt xấp xỉ 2,4 tỷ active user và có 350 triệu lượt upload ảnh lên mỗi ngày, cộng với hơn 500.000 bình luận được đăng mỗi phút. Làm thế nào họ theo dõi, giám sát và thu được giá trị từ lượng thông báo này?
Chirag Dekate, giám đốc nghiên cứu về trí óc nhân tạo (AI), Machine Learning và Deep Learning tại Gartner cho biết: “Có hàng tỷ người dùng và không có cách nào để bàn tay con người có thể mở mang quy mô để thực hành phân tách .
cho nên, Facebook sử dụng hệ thống học tập và AI để quét các bài đăng. Dekate nói: “Không viên chức nào có thể phân tích mọi video hoặc hình ảnh để tìm những câu nói bị cấm hoặc tài liệu khích động, hoặc các tag có dụng tâm bán hàng sai mục đích”.
Các trang mạng xã hội chỉ là một ví dụ về số lượng ứng dụng ngày càng tăng của AI, đã chuyển từ nghiên cứu ở giai đoạn học thuật sang các lĩnh vực đa dạng như y học, thực thi pháp luật , bảo hiểm và bán sỉ.
Sự tăng trưởng của nó có ý nghĩa sâu rộng đối với các hệ thống CNTT tổ chức, bao gồm cả lưu trữ dữ liệu.
AI là một thuật ngữ rộng bao gồm nhiều trường hợp sử dụng và vận dụng, cũng như các cách xử lý dữ liệu khác nhau. Machine Learning, Deep Learning và mạng nơ-ron đều có các đề nghị phần cứng và phần mềm riêng và sử dụng dữ liệu theo những cách khác nhau.
Mike Leone, nhà phân tách cấp cao của ESG cho biết: “Machine Learning là một tập con của AI và Deep Learning là một tập con của Machine Learning”.
Machine Learning đơn giản hơn và dựa vào các thuật toán do con người viết và huấn luyện với dữ liệu đã biết để phát triển khả năng đưa ra dự đoán. Nếu kết quả không chuẩn xác, các nhà khoa học dữ liệu sẽ thay đổi các thuật toán và tập huấn lại mô hình.
Một áp dụng Machine Learning có thể lấy dữ liệu từ hàng nghìn điểm dữ liệu. Một tập dữ liệu vận dụng Deep Learning sẽ là một yêu cầu lớn hơn, dễ dàng đến với hàng triệu điểm dữ liệu.
Leone cho biết: “Deep Learning hoạt động rưa rứa như não đứa ở chỗ nó bao gồm nhiều lớp kết liên với nhau rưa rứa như các tế bào thần kinh trong não. Dựa trên độ chuẩn xác hoặc không chuẩn xác của các dự đoán, nó có thể tự động học lại hoặc tự điều chỉnh cách học từ dữ liệu .”
>>> Xem thêm: r450 dell
Lưu trữ cho AI có thể khác nhau
yêu cầu lưu trữ dữ liệu cho AI rất khác nhau tùy theo áp dụng và tài liệu nguồn. Dekate nói: “Tùy thuộc vào từng trường hợp sử dụng, tập dữ liệu thay đổi khá nhiều. Trong lĩnh vực hình ảnh, nó phát triển gần như theo cấp số nhân khi các file có thiên hướng rất lớn”.
“Bất cứ khi nào bạn thực hiện nhận hình trạng ảnh hoặc nhận dạng video hoặc hệ thống tâm thần, bạn sẽ cần kiến trúc mới và khả năng mới. Nhưng trong một trường hợp sử dụng như phát hiện ăn gian, bạn có thể sử dụng “infrastructure stack” mà không cần phần cứng mới để có kết quả đáng kỳ diệu”.
Dữ liệu y tế, khoa học và địa chất, cũng như các tập dữ liệu hình ảnh được sử dụng trong lĩnh vực tình báo và quốc phòng, thường kết hợp khối lượng lưu trữ quy mô petabyte với kích thước file riêng lẻ trong phạm vi gigabyte.
trái lại, dữ liệu được sử dụng trong các lĩnh vực như phân tách chuỗi cung ứng hoặc bảo trì, sửa chữa và đại tu trong hàng không – hai lĩnh vực đang phát triển của AI – thì nhỏ hơn nhiều.
Theo Dekate của Gartner, một tập dữ liệu point-of-sale, được sử dụng để dự đoán phân loại bán buôn, thường đạt tới 100MB đến 200MB, trong khi một phi cơ hiện đại, được trang bị cảm biến sẽ tạo ra 50GB đến 100GB dữ liệu vận hành và bảo trì trên mỗi chuyến bay.
CPU, GPU và I/O
Vấn đề đối với các hệ thống AI là chúng cần xử lý dữ liệu nhanh như thế nào. Trong lĩnh vực hàng không, dữ liệu bảo trì dự đoán phải được phân tích khi máy bay đang ở trên mặt đất, với thời gian quay vòng từ vài giờ đối với chuyến bay đường dài đến chỉ vài phút đối với hãng hàng không giá rẻ.
Trong khi đó, một hệ thống nhận dạng khuôn mặt hoặc biển số thì nhu cầu cần một câu trả lời trong tích tắc và một hệ thống bồi thường bảo hiểm tự động thì trong vài phút.
Điều này đã tác động các nhà phát triển AI xây dựng các cụm tích hợp GPU, đây là cách hiệu quả nhất để xử lý dữ liệu và chạy các thuật toán phức tạp với tốc độ nhanh. Nhưng các cụm GPU này – thường dựa trên phần cứng điện toán GPU NVidia DGX – đắt tiền và chỉ có sẵn với số lượng nhỏ.
Như Alastair McAulay, một chuyên gia CNTT tại PA Consulting, chỉ ra rằng, các hệ thống máy tính hiệu suất cao (HPC) trong học tập và công nghiệp thường chạy với tỷ lệ sử dụng rất cao vì sự khan hi hữu và tổn phí của chúng.
Các viện nghiên cứu tuyển dụng các chuyên gia để giảm hiệu suất chung cục từ phần cứng. Trong đơn vị, việc tích hợp với các hệ thống dữ liệu hiện có có thể quan yếu hơn.
NVMe là công cụ được chọn lựa
McAulay cho biết: “Chúng tôi thấy việc áp dụng hợp lý loại lưu trữ thể rắn mang lại lợi ích to lớn. Nhưng nó thiên về việc sử dụng file system nào, cách tối ưu hóa hệ thống đó và liệu có cần bất kỳ bộ tăng tốc nào để phá hoang tối đa phần cứng lưu trữ [có sẵn] hay không. Họ đang nỗ lực nhiều nhất vào file system và quản lý dữ liệu ”.
Lưu trữ flash hiện đã phổ quát, trong khi flash NVMe đang nổi lên như một dụng cụ được lựa chọn cho các vận dụng đề xuất truy vấn cập nhanh nhất cho dữ liệu được lưu trữ gần GPU. Ổ cứng quay cơ học vẫn còn đó, nhưng đang ngày càng bị xếp vào vùng lưu trữ dung lượng lớn ở các cấp thấp hơn.
Josh Goldenhar, phó chủ tịch của nhà cung cấp lưu trữ tập trung NVMe Excelero, cho biết PCIe bus của hệ thống và dung lượng lưu trữ hạn chế trong các máy chủ có GPU dày đặc có thể là một hạn chế lớn hơn so với vấn đề tốc độ lưu trữ.
ngoại giả, một quan niệm sai lầm phổ quát là các hệ thống AI cần lưu trữ với hiệu suất IOPS cao, trong khi trên thực tiễn, khả năng xử lý các I/O tình cờ mới là điều quan yếu.
Dekate của Gartner nói: “Nếu bạn phân tích deep learning, nó sẽ được đọc ngẫu nhiên nhiều hơn trong khi kết quả đầu ra không đáng kể – nó có thể chỉ ở vài kilobyte. Không nhất định phải cần đến IOPS cao, mà là kiến trúc được tối ưu hóa đọc tình cờ.”
>>> Xem thêm: dell r550
Chirag Dekate, giám đốc nghiên cứu về trí óc nhân tạo (AI), Machine Learning và Deep Learning tại Gartner cho biết: “Có hàng tỷ người dùng và không có cách nào để bàn tay con người có thể mở mang quy mô để thực hành phân tách .
cho nên, Facebook sử dụng hệ thống học tập và AI để quét các bài đăng. Dekate nói: “Không viên chức nào có thể phân tích mọi video hoặc hình ảnh để tìm những câu nói bị cấm hoặc tài liệu khích động, hoặc các tag có dụng tâm bán hàng sai mục đích”.
Các trang mạng xã hội chỉ là một ví dụ về số lượng ứng dụng ngày càng tăng của AI, đã chuyển từ nghiên cứu ở giai đoạn học thuật sang các lĩnh vực đa dạng như y học, thực thi pháp luật , bảo hiểm và bán sỉ.
Sự tăng trưởng của nó có ý nghĩa sâu rộng đối với các hệ thống CNTT tổ chức, bao gồm cả lưu trữ dữ liệu.
AI là một thuật ngữ rộng bao gồm nhiều trường hợp sử dụng và vận dụng, cũng như các cách xử lý dữ liệu khác nhau. Machine Learning, Deep Learning và mạng nơ-ron đều có các đề nghị phần cứng và phần mềm riêng và sử dụng dữ liệu theo những cách khác nhau.
Mike Leone, nhà phân tách cấp cao của ESG cho biết: “Machine Learning là một tập con của AI và Deep Learning là một tập con của Machine Learning”.
Machine Learning đơn giản hơn và dựa vào các thuật toán do con người viết và huấn luyện với dữ liệu đã biết để phát triển khả năng đưa ra dự đoán. Nếu kết quả không chuẩn xác, các nhà khoa học dữ liệu sẽ thay đổi các thuật toán và tập huấn lại mô hình.
Một áp dụng Machine Learning có thể lấy dữ liệu từ hàng nghìn điểm dữ liệu. Một tập dữ liệu vận dụng Deep Learning sẽ là một yêu cầu lớn hơn, dễ dàng đến với hàng triệu điểm dữ liệu.
Leone cho biết: “Deep Learning hoạt động rưa rứa như não đứa ở chỗ nó bao gồm nhiều lớp kết liên với nhau rưa rứa như các tế bào thần kinh trong não. Dựa trên độ chuẩn xác hoặc không chuẩn xác của các dự đoán, nó có thể tự động học lại hoặc tự điều chỉnh cách học từ dữ liệu .”
>>> Xem thêm: r450 dell
Lưu trữ cho AI có thể khác nhau
yêu cầu lưu trữ dữ liệu cho AI rất khác nhau tùy theo áp dụng và tài liệu nguồn. Dekate nói: “Tùy thuộc vào từng trường hợp sử dụng, tập dữ liệu thay đổi khá nhiều. Trong lĩnh vực hình ảnh, nó phát triển gần như theo cấp số nhân khi các file có thiên hướng rất lớn”.
“Bất cứ khi nào bạn thực hiện nhận hình trạng ảnh hoặc nhận dạng video hoặc hệ thống tâm thần, bạn sẽ cần kiến trúc mới và khả năng mới. Nhưng trong một trường hợp sử dụng như phát hiện ăn gian, bạn có thể sử dụng “infrastructure stack” mà không cần phần cứng mới để có kết quả đáng kỳ diệu”.
Dữ liệu y tế, khoa học và địa chất, cũng như các tập dữ liệu hình ảnh được sử dụng trong lĩnh vực tình báo và quốc phòng, thường kết hợp khối lượng lưu trữ quy mô petabyte với kích thước file riêng lẻ trong phạm vi gigabyte.
trái lại, dữ liệu được sử dụng trong các lĩnh vực như phân tách chuỗi cung ứng hoặc bảo trì, sửa chữa và đại tu trong hàng không – hai lĩnh vực đang phát triển của AI – thì nhỏ hơn nhiều.
Theo Dekate của Gartner, một tập dữ liệu point-of-sale, được sử dụng để dự đoán phân loại bán buôn, thường đạt tới 100MB đến 200MB, trong khi một phi cơ hiện đại, được trang bị cảm biến sẽ tạo ra 50GB đến 100GB dữ liệu vận hành và bảo trì trên mỗi chuyến bay.
CPU, GPU và I/O
Vấn đề đối với các hệ thống AI là chúng cần xử lý dữ liệu nhanh như thế nào. Trong lĩnh vực hàng không, dữ liệu bảo trì dự đoán phải được phân tích khi máy bay đang ở trên mặt đất, với thời gian quay vòng từ vài giờ đối với chuyến bay đường dài đến chỉ vài phút đối với hãng hàng không giá rẻ.
Trong khi đó, một hệ thống nhận dạng khuôn mặt hoặc biển số thì nhu cầu cần một câu trả lời trong tích tắc và một hệ thống bồi thường bảo hiểm tự động thì trong vài phút.
Điều này đã tác động các nhà phát triển AI xây dựng các cụm tích hợp GPU, đây là cách hiệu quả nhất để xử lý dữ liệu và chạy các thuật toán phức tạp với tốc độ nhanh. Nhưng các cụm GPU này – thường dựa trên phần cứng điện toán GPU NVidia DGX – đắt tiền và chỉ có sẵn với số lượng nhỏ.
Như Alastair McAulay, một chuyên gia CNTT tại PA Consulting, chỉ ra rằng, các hệ thống máy tính hiệu suất cao (HPC) trong học tập và công nghiệp thường chạy với tỷ lệ sử dụng rất cao vì sự khan hi hữu và tổn phí của chúng.
Các viện nghiên cứu tuyển dụng các chuyên gia để giảm hiệu suất chung cục từ phần cứng. Trong đơn vị, việc tích hợp với các hệ thống dữ liệu hiện có có thể quan yếu hơn.
NVMe là công cụ được chọn lựa
McAulay cho biết: “Chúng tôi thấy việc áp dụng hợp lý loại lưu trữ thể rắn mang lại lợi ích to lớn. Nhưng nó thiên về việc sử dụng file system nào, cách tối ưu hóa hệ thống đó và liệu có cần bất kỳ bộ tăng tốc nào để phá hoang tối đa phần cứng lưu trữ [có sẵn] hay không. Họ đang nỗ lực nhiều nhất vào file system và quản lý dữ liệu ”.
Lưu trữ flash hiện đã phổ quát, trong khi flash NVMe đang nổi lên như một dụng cụ được lựa chọn cho các vận dụng đề xuất truy vấn cập nhanh nhất cho dữ liệu được lưu trữ gần GPU. Ổ cứng quay cơ học vẫn còn đó, nhưng đang ngày càng bị xếp vào vùng lưu trữ dung lượng lớn ở các cấp thấp hơn.
Josh Goldenhar, phó chủ tịch của nhà cung cấp lưu trữ tập trung NVMe Excelero, cho biết PCIe bus của hệ thống và dung lượng lưu trữ hạn chế trong các máy chủ có GPU dày đặc có thể là một hạn chế lớn hơn so với vấn đề tốc độ lưu trữ.
ngoại giả, một quan niệm sai lầm phổ quát là các hệ thống AI cần lưu trữ với hiệu suất IOPS cao, trong khi trên thực tiễn, khả năng xử lý các I/O tình cờ mới là điều quan yếu.
Dekate của Gartner nói: “Nếu bạn phân tích deep learning, nó sẽ được đọc ngẫu nhiên nhiều hơn trong khi kết quả đầu ra không đáng kể – nó có thể chỉ ở vài kilobyte. Không nhất định phải cần đến IOPS cao, mà là kiến trúc được tối ưu hóa đọc tình cờ.”
>>> Xem thêm: dell r550
