Rahasia kotor komputasi kinerja tinggi

Dalam beberapa dekade sejak Seymour Cray mengembangkan apa yang secara luas dianggap sebagai superkomputer pertama di dunia, the CDC 6600 (terbuka di tab baru), perlombaan senjata telah dilakukan di komunitas komputasi kinerja tinggi (HPC). Tujuannya: untuk meningkatkan kinerja, dengan segala cara, dengan segala cara.

Didukung oleh kemajuan dalam komputasi, penyimpanan, jaringan, dan perangkat lunak, kinerja sistem terkemuka telah meningkat triliunan kali sejak pembukaan CDC 6600 pada tahun 1964, jutaan operasi floating point per detik (megaFLOPS) hingga quintillions (exaFLOPS).

Pemegang mahkota saat ini, superkomputer kolosal berbasis di AS yang disebut Berbatasan, mampu mencapai 1.102 exaFLOPS menurut benchmark High Performance Linpack (HPL). Tetapi bahkan mesin yang lebih kuat diyakini aktif di tempat laindibelakang pintu yang tertutup.

Kedatangan apa yang disebut superkomputer exascale diharapkan dapat memberi manfaat bagi hampir semua industri – mulai dari sains hingga keamanan siber, perawatan kesehatan hingga keuangan – dan membuka jalan bagi model AI baru yang kuat yang seharusnya membutuhkan waktu bertahun-tahun untuk dikembangkan.

Namun, peningkatan kecepatan sebesar ini menimbulkan biaya: konsumsi daya. Kecepatan penuh, Perbatasan mengkonsumsi hingga 40MW (terbuka di tab baru) kekuatan, hampir sama dengan 40 juta komputer desktop.

Superkomputer selalu tentang mendorong batas kemungkinan. Tetapi karena kebutuhan untuk meminimalkan emisi semakin jelas dan harga energi terus melonjak, industri HPC perlu menilai kembali apakah prinsip panduan aslinya masih layak untuk diikuti. .

Performa vs. Efisiensi

Salah satu organisasi yang beroperasi di garis depan masalah ini adalah University of Cambridge, yang bermitra dengan Dell Technologies, telah mengembangkan beberapa superkomputer dengan efisiensi daya yang canggih.

Itu Wilkes3 (terbuka di tab baru)misalnya, hanya diposisikan ke-100 di grafik kinerja keseluruhan (terbuka di tab baru)tetapi mengambil tempat ketiga di klasemen hijau500 (terbuka di tab baru)peringkat sistem HPC berdasarkan kinerja per watt energi yang dikonsumsi.

Dalam percakapan dengan Radar Teknologi ProDr Paul Calleja, direktur layanan komputasi penelitian di University of Cambridge, menjelaskan bahwa institusi tersebut jauh lebih peduli dengan membangun mesin yang sangat produktif dan efisien daripada yang sangat kuat.

“Kami tidak terlalu tertarik dengan sistem besar, karena itu adalah solusi poin yang sangat spesifik. Tetapi teknologi yang digunakan di dalam ruangan jauh lebih dapat diterapkan secara luas dan akan memungkinkan sistem dengan urutan besarnya lebih lambat untuk beroperasi jauh lebih ekonomis dan hemat energi, ”kata Dr Calleja.

“Dengan demikian, Anda mendemokratisasi akses ke TI untuk lebih banyak orang. Kami tertarik untuk menggunakan teknologi yang dirancang untuk sistem vintage yang besar ini untuk menciptakan superkomputer yang jauh lebih tahan lama untuk audiens yang lebih luas.

Di tahun-tahun mendatang, Dr. Calleja juga memperkirakan dorongan yang semakin kuat untuk efisiensi energi di sektor HPC dan di komunitas pusat data yang lebih luas, di mana konsumsi energi mewakili lebih dari 90% biaya, kami diberitahu.

Perubahan harga energi baru-baru ini terkait dengan perang di Ukraina juga akan membuat menjalankan superkomputer jauh lebih mahal, terutama dalam konteks komputasi exascale, yang selanjutnya menggambarkan pentingnya kinerja per watt.

Dalam konteks Wilkes3, pihak universitas menemukan bahwa ada sejumlah optimasi yang membantu meningkatkan tingkat efisiensi. Misalnya, dengan mengurangi kecepatan clock di mana komponen tertentu sedang berjalan, tergantung pada beban kerja, tim dapat mencapai pengurangan konsumsi daya pada urutan 20-30%.

“Dalam keluarga arsitektur tertentu, kecepatan clock memiliki hubungan linier dengan kinerja, tetapi hubungan kuadrat dengan konsumsi daya. Ini pembunuhnya,” jelas Dr. Calleja.

“Mengurangi kecepatan clock mengurangi konsumsi daya pada tingkat yang jauh lebih cepat daripada kinerja, tetapi juga memperpanjang waktu yang dibutuhkan untuk menyelesaikan pekerjaan. Jadi yang harus kita perhatikan bukanlah konsumsi energi selama perlombaan, tetapi benar-benar energi yang dikonsumsi oleh pekerjaan. Ada tempat yang sempurna.

Perangkat lunak adalah Raja

Selain menyempurnakan konfigurasi perangkat keras untuk beban kerja tertentu, ada juga sejumlah pengoptimalan yang harus dilakukan di tempat lain, dalam konteks penyimpanan dan jaringan, dan dalam disiplin terkait seperti pendinginan, dan desain rak.

Namun, ketika ditanya di mana secara spesifik dia ingin melihat sumber daya yang dialokasikan dalam upaya meningkatkan efisiensi energi, Dr Calleja menjelaskan bahwa fokusnya harus pada perangkat lunak, pertama dan terutama.

“Perangkat keras bukan masalahnya, ini tentang efisiensi aplikasi. Ini akan menjadi hambatan utama untuk bergerak maju,” katanya. “Sistem exascale hari ini didasarkan pada GPU arsitektur dan jumlah aplikasi yang dapat berjalan secara efisien dalam skala kecil dalam sistem GPU. »

“Untuk benar-benar memanfaatkan teknologi saat ini, kita perlu fokus pada pengembangan aplikasi. Siklus hidup pengembangan mencakup beberapa dekade; perangkat lunak yang digunakan saat ini dikembangkan 20-30 tahun yang lalu dan sulit ketika Anda memiliki kode yang begitu panjang sehingga perlu didesain ulang.

Masalahnya, bagaimanapun, adalah bahwa industri HPC belum terbiasa memikirkan perangkat lunak terlebih dahulu. Secara historis, lebih banyak perhatian diberikan pada perangkat keras, karena, dalam kata-kata Dr. Calleja, “Itu mudah; Anda baru saja membeli chip yang lebih cepat. Anda tidak perlu berpikir cerdas”.

“Ketika kami memiliki Hukum Moore, dengan kinerja prosesor dua kali lipat setiap delapan belas bulan, Anda tidak perlu melakukan apa pun. [on a software level] untuk meningkatkan kinerja. Tapi era itu sudah berakhir. Sekarang, jika kita ingin kemajuan, kita harus kembali dan merestrukturisasi perangkat lunak. »

Dr Calleja memberikan beberapa pujian untuk Intel dalam hal ini. sebagai pelayan ruang perangkat keras menjadi lebih beragam dari perspektif vendor (dalam banyak hal merupakan perkembangan positif), kompatibilitas aplikasi berpotensi menjadi masalah, tetapi Intel sedang mengerjakan solusinya.

“Satu pembeda yang saya lihat untuk Intel adalah mereka berinvestasi besar-besaran [of both funds and time] dalam sebuah API ekosistem, untuk mengembangkan portabilitas kode antara jenis silikon. Rantai alat semacam inilah yang kita perlukan untuk memungkinkan aplikasi masa depan untuk memanfaatkan silikon yang muncul,” catatnya.

Secara terpisah, Dr Calleja menyerukan fokus yang lebih dekat pada “kebutuhan ilmiah”. Terlalu sering, hal-hal “salah dalam penerjemahan”, menciptakan ketidakcocokan antara arsitektur perangkat keras dan perangkat lunak dan kebutuhan aktual pengguna akhir.

Pendekatan yang lebih kuat untuk kolaborasi lintas industri, katanya, akan menciptakan “lingkaran yang baik” dari pengguna, penyedia layanan, dan pemasok, yang akan menghasilkan manfaat baik dari kinerja dan perspektif efisiensi.

Masa depan skala zetta

Biasanya, dengan turunnya tonggak simbolis exascale, perhatian sekarang akan beralih ke yang berikutnya: zettascale.

“Zettascale hanyalah bendera berikutnya di lapangan,” kata Dr. Calleja, “sebuah totem yang menyoroti teknologi yang dibutuhkan untuk mencapai tahap kemajuan komputasi berikutnya yang tidak dapat diperoleh hari ini.”

“Sistem tercepat di dunia sangat mahal untuk apa yang Anda dapatkan darinya, dalam hal hasil ilmiah. Tetapi mereka penting karena mereka menunjukkan seni kemungkinan dan mereka memajukan industri.

Apakah sistem yang mampu mencapai kinerja zettaFLOPS, seribu kali lebih kuat daripada tanaman saat ini, dapat dikembangkan dengan cara yang selaras dengan tujuan keberlanjutan akan bergantung pada kemampuan industri untuk menciptakannya.

Tidak ada hubungan biner antara kinerja dan efisiensi daya, tetapi cukup banyak keahlian yang diperlukan di setiap sub-disiplin untuk memberikan peningkatan kinerja yang diperlukan dalam lingkup daya yang sesuai.

Secara teori, ada rasio emas antara kinerja dan konsumsi energi, di mana manfaat bagi masyarakat yang dihasilkan oleh HPC dapat dipertimbangkan untuk membenarkan pengeluaran emisi karbon.

Angka yang tepat akan tetap sulit dipahami dalam praktik, tentu saja, tetapi mengejar ide itu sendiri menurut definisi merupakan langkah ke arah yang benar.