PyTorch 2. 0 tăng tốc học máy mã nguồn mở

Tìm hiểu cách đổi mới thành công và tối đa hóa hiệu quả bằng cách nâng cao kỹ năng và nhân rộng các nhà phát triển công dân bằng cách xem các phiên theo yêu cầu từ Hội nghị cấp cao về mã thấp/không mã


Khung PyTorch mã nguồn mở là một trong những công nghệ máy học (ML) phổ biến nhất hiện nay

Vào năm 2016, PyTorch đã được tạo tại Facebook (hiện được gọi là Meta) và là 1. 0 phát hành ra mắt vào năm 2018. Hôm nay, các nhà phát triển PyTorch đã phát hành phiên bản thử nghiệm đầu tiên của PyTorch 2, đây là bước quan trọng tiếp theo của PyTorch. Vào tháng 9 năm 2022, Meta đã chuyển dự án PyTorch sang PyTorch Foundation mới do Linux Foundation điều hành. 0. Bản phát hành mới đảm bảo hỗ trợ khả năng tương thích ngược với mã ứng dụng PyTorch hiện có đồng thời hỗ trợ đào tạo và phát triển ML

Soumith Chinla, trưởng nhóm bảo trì của PyTorch, cho biết: "Chúng tôi đã thêm một tính năng mới gọi là 'ngọn đuốc'. compile' mà giờ đây người dùng phải đưa vào cơ sở mã của họ. "" Chúng tôi đang gọi nó là 2 ", anh ấy nói với VentureBeat. 0 vì chúng tôi tin rằng người dùng sẽ thấy đây là một bổ sung mới đáng chú ý cho trải nghiệm

Trình tạo sự khác biệt cho ML trong PyTorch là trình biên dịch mới

Khi nào gọi một bản phát hành mới 2. 0 của dự án PyTorch đã từng là chủ đề thảo luận trong quá khứ

Biến cố

Hội nghị thượng đỉnh về an ninh thông minh

Vào ngày 8 tháng 12, hãy đăng ký một vé miễn phí để tìm hiểu về vai trò quan trọng của AI & ML trong an ninh mạng và các nghiên cứu điển hình cụ thể trong ngành. . Đăng ký vé miễn phí của bạn ngay hôm nay.

Đăng ký ngay

Chẳng hạn, đã có một cuộc tranh luận ngắn vào năm 2021 về việc liệu PyTorch 1. 10 nên được phân loại là 2. Chintala báo cáo rằng PyTorch 1 đã được phát hành. Không có đủ sự khác biệt cơ bản giữa 1 và 10 để biện minh cho việc nâng cấp một số đáng kể lên 2. 0

Phiên bản 1. 13 của PyTorch, được phát hành vào cuối tháng 10, là phiên bản mới nhất thường có sẵn. Một thành phần quan trọng của bản phát hành đó là phần đóng góp mã của IBM giúp khung máy học có thể hoạt động với mạng dựa trên ethernet hàng hóa cho khối lượng công việc quy mô lớn hiệu quả hơn

Chintala nhấn mạnh rằng việc dự án giới thiệu một mô hình mới thứ hai trong trải nghiệm người dùng PyTorch, được gọi là ngọn đuốc, khiến đây là thời điểm lý tưởng cho PyTorch 2. 0. người dùng đã trải qua sự tăng tốc đáng kể do quá trình biên dịch không thể thực hiện được trong PyTorch 1. chế độ háo hức mặc định của 0

Anh ấy giải thích rằng dự án PyTorch đã xác thực các bản dựng ban đầu của 2. 0 trên khoảng 160 mô hình nguồn mở và trên các mô hình đó, tốc độ tăng 43% và chúng hoạt động đáng tin cậy với phần bổ sung một dòng vào cơ sở mã.  

Với PyTorch 2, "chúng tôi dự đoán rằng mọi người sẽ thay đổi cách họ sử dụng PyTorch hàng ngày," Chintala nói

Theo ông, các nhà phát triển sẽ bắt đầu biên soạn thử nghiệm của họ với PyTorch 2. 0 và chuyển sang chế độ kích hoạt để nâng cao hiệu suất sau khi họ đã đào tạo các mô hình của mình trong thời gian dài

Các nhà khoa học dữ liệu sẽ có thể thực hiện các tác vụ tương tự với PyTorch 2. x như họ đã làm với 1. "Nếu mô hình của bạn được đào tạo trong 5 ngày và với 2 giờ đào tạo mỗi ngày, họ có thể thực hiện chúng nhanh hơn và ở quy mô lớn hơn", Chintala nói. Với thời gian bổ sung, bạn có thể lặp lại nhiều ý tưởng hơn hoặc xây dựng một mô hình lớn hơn, đào tạo trong cùng năm ngày bằng cách sử dụng chế độ đã biên dịch của x, hiện đào tạo trong 2 ngày. 5 ngày. ”

Nhiều Python sẽ được thêm vào PyTorch 2

Các chữ cái đầu "Py" trong PyTorch đến từ ngôn ngữ lập trình Python nguồn mở phổ biến, được sử dụng trong khoa học dữ liệu

Nhưng trong các bản phát hành PyTorch gần đây hơn, chỉ một phần của khung được viết bằng Python;

Để đạt được hiệu suất dặm cuối đó, nhiều ngọn đuốc. Các thành phần nn đã được chuyển đổi từ Python sang C++ trong những năm qua, theo Chintala

Theo Chintala, sau 2. x (nhưng không phải trong 20), dự án PyTorch dự đoán sẽ chuyển mã liên quan đến đèn pin sang Python. Ông nói rằng mặc dù Python thường nhanh hơn C++, trình biên dịch mới (đèn pin. compile) thực sự hoạt động tốt hơn khi chạy mã C++ tương đương.  

Chintala tuyên bố rằng việc trả lại các thành phần này cho Python "cải thiện khả năng hack và hạ thấp rào cản đối với việc đóng góp mã. "

Trăn 2. 0 sẽ tiếp tục được phát triển trong tương lai gần, với tính khả dụng chung không được dự đoán cho đến tháng 3 năm 2023. Quá trình chuyển đổi để PyTorch từ được duy trì và điều hành bởi Meta thành nỗ lực độc lập của riêng nó đang diễn ra đồng thời với nỗ lực phát triển

Tổ chức PyTorch vẫn đang ở giai đoạn đầu và nhiều thông tin sẽ được tiết lộ trong một khoảng thời gian dài hơn, theo Chintala. ”

Khám phá các Tóm tắt của chúng tôi để tìm hiểu thêm về sứ mệnh của VentureBeat nhằm phục vụ như một quảng trường thành phố kỹ thuật số để những người ra quyết định kỹ thuật trao đổi thông tin và tiến hành kinh doanh

Hãy xem các phiên theo yêu cầu từ Hội nghị thượng đỉnh Low-Code/No-Code để tìm hiểu cách đổi mới thành công và đạt được hiệu quả bằng cách nâng cao kỹ năng và nhân rộng các nhà phát triển công dân. Xem bây giờ


Trong số các công nghệ máy học (ML) được sử dụng rộng rãi nhất hiện nay là khung PyTorch mã nguồn mở

PyTorch bắt đầu hoạt động tại Facebook (hiện được gọi là Meta) vào năm 2016 với phiên bản 1. 0 ra mắt vào năm 2018. Vào tháng 9 năm 2022, Meta đã chuyển dự án PyTorch sang PyTorch Foundation mới, được điều hành bởi Linux Foundation. Hôm nay, các nhà phát triển PyTorch đã thực hiện một bước quan trọng tiếp theo cho PyTorch, công bố bản phát hành thử nghiệm đầu tiên của PyTorch 2. 0. Bản phát hành mới hứa hẹn sẽ giúp đẩy nhanh quá trình đào tạo và phát triển ML, trong khi vẫn duy trì khả năng tương thích ngược với mã ứng dụng PyTorch hiện có

“Chúng tôi đã thêm một tính năng bổ sung gọi là `ngọn đuốc. compile` mà người dùng phải chèn mới vào cơ sở mã của họ,” Soumith Chintala, trưởng nhóm bảo trì, PyTorch. nói với VentureBeat. “Chúng tôi đang gọi nó là 2. 0 vì chúng tôi nghĩ rằng người dùng sẽ thấy đây là một bổ sung mới đáng kể cho trải nghiệm. ”

Trình biên dịch mới trong PyTorch tạo ra tất cả sự khác biệt cho ML

Trước đây đã có những cuộc thảo luận về thời điểm dự án PyTorch nên gọi một bản phát hành mới 2. 0

Biến cố

Hội nghị thượng đỉnh về an ninh thông minh

Tìm hiểu vai trò quan trọng của AI & ML trong an ninh mạng và các nghiên cứu điển hình cụ thể trong ngành vào ngày 8 tháng 12. Đăng ký vé miễn phí của bạn ngay hôm nay.

Đăng ký ngay

Ví dụ, vào năm 2021, đã có một cuộc thảo luận ngắn về việc liệu PyTorch 1. 10 nên được dán nhãn là 2. 0 phát hành. Chintala nói rằng PyTorch 1. 10 không có đủ thay đổi cơ bản từ 1. 9 để đảm bảo nâng cấp số chính lên 2. 0

Bản phát hành phổ biến gần đây nhất của PyTorch là phiên bản 1. 13, ra mắt vào cuối tháng 10. Một tính năng quan trọng trong bản phát hành đó đến từ sự đóng góp mã của IBM cho phép khuôn khổ học máy hoạt động hiệu quả hơn với mạng dựa trên ethernet hàng hóa cho khối lượng công việc quy mô lớn

Chintala nhấn mạnh rằng bây giờ là thời điểm thích hợp cho PyTorch 2. 0 vì dự án đang giới thiệu một mô hình mới bổ sung trong trải nghiệm người dùng PyTorch, được gọi là ngọn đuốc. biên dịch, giúp tăng tốc đáng kể cho người dùng mà không thể thực hiện được ở chế độ háo hức mặc định của PyTorch 1. 0

Ông giải thích rằng trên khoảng 160 mô hình nguồn mở mà dự án PyTorch đã xác thực các bản dựng ban đầu của 2. 0, đã tăng tốc 43% và chúng hoạt động đáng tin cậy với phần bổ sung một dòng vào cơ sở mã.  

“Chúng tôi hy vọng rằng với PyTorch 2, mọi người sẽ thay đổi cách họ sử dụng PyTorch hàng ngày,” Chinla nói.  

Anh ấy nói rằng với PyTorch 2. 0, các nhà phát triển sẽ bắt đầu thử nghiệm với chế độ háo hức và sau khi họ bắt đầu đào tạo các mô hình của mình trong thời gian dài, hãy kích hoạt chế độ đã biên dịch để có thêm hiệu suất

“Các nhà khoa học dữ liệu sẽ có thể làm được với PyTorch 2. x những điều tương tự mà họ đã làm với 1. x, nhưng họ có thể thực hiện chúng nhanh hơn và ở quy mô lớn hơn,” Chintala nói. “Nếu mô hình của bạn được đào tạo trong hơn 5 ngày và với 2. chế độ đã biên dịch của x hiện được đào tạo trong 2. 5 ngày, sau đó bạn có thể lặp lại nhiều ý tưởng hơn với thời gian bổ sung này hoặc xây dựng một mô hình lớn hơn để đào tạo trong cùng 5 ngày. ”

Thêm Python đến với PyTorch 2. x

PyTorch lấy phần đầu tiên của tên (Py) từ ngôn ngữ lập trình Python mã nguồn mở được sử dụng rộng rãi trong khoa học dữ liệu

Tuy nhiên, các bản phát hành PyTorch hiện đại chưa được viết hoàn toàn bằng Python — vì các phần của khung hiện được viết bằng ngôn ngữ lập trình C++

“Trong những năm qua, chúng tôi đã di chuyển nhiều phần của ngọn đuốc. nn từ Python sang C++ để tăng hiệu suất ở chặng cuối,” Chintala nói

Chintala nói rằng trong vòng 2. x (nhưng không phải trong 2. 0), dự án PyTorch dự kiến ​​sẽ di chuyển mã liên quan đến ngọn đuốc. nn quay lại Python. Ông lưu ý rằng C++ thường nhanh hơn Python, nhưng trình biên dịch mới (đèn pin. compile) kết thúc nhanh hơn chạy mã tương đương trong C++.  

Chintala cho biết: “Việc chuyển những phần này trở lại Python giúp cải thiện khả năng bị hack và giảm bớt rào cản đối với việc đóng góp mã.

Làm việc trên Python 2. 0 sẽ tiếp tục trong vài tháng tới với khả năng cung cấp chung không được mong đợi cho đến tháng 3 năm 2023. Bên cạnh nỗ lực phát triển là quá trình chuyển đổi để PyTorch từ bị Meta quản lý và vận hành thành nỗ lực độc lập của riêng mình

Chintala nói: “Đây là những ngày đầu tiên của Quỹ PyTorch và bạn sẽ nghe được nhiều hơn trong một khoảng thời gian dài hơn.”. “Nền tảng đang trong quá trình thực hiện các chuyển giao khác nhau và thiết lập các mục tiêu. ”

Sứ mệnh của VentureBeat là trở thành một quảng trường thành phố kỹ thuật số dành cho những người ra quyết định kỹ thuật để có được kiến ​​thức về công nghệ doanh nghiệp chuyển đổi và giao dịch. Khám phá tóm tắt của chúng tôi

Hãy xem các phiên theo yêu cầu từ Hội nghị thượng đỉnh Low-Code/No-Code để tìm hiểu cách đổi mới thành công và đạt được hiệu quả bằng cách nâng cao kỹ năng và nhân rộng các nhà phát triển công dân. Trong số các công nghệ máy học (ML) được sử dụng rộng rãi nhất hiện nay là khung PyTorch mã nguồn mở. PyTorch bắt đầu hoạt động tại Facebook (hiện được gọi là Meta) vào năm 2016 với phiên bản 1. 0 ra mắt vào năm 2018. Vào tháng 9 năm 2022, Meta đã chuyển dự án PyTorch sang PyTorch Foundation mới, được điều hành bởi Linux Foundation. Hôm nay, các nhà phát triển PyTorch đã thực hiện một bước quan trọng tiếp theo cho PyTorch, công bố bản phát hành thử nghiệm đầu tiên của PyTorch 2. 0