Mirage零门槛生成PyTorch算子

告别CUDA无需Triton！Mirage零门槛生成PyTorch算子，人均GPU编程大师？卡内基梅隆大学的Catalyst Group推出了Mirage，这是一款革命性的PyTorch算子编译器，通过自动生成高性能GPU内核，无需CUDA或Triton代码，简化了GPU编程。该工具的独特之处在于通过探索和实现潜在的GPU内核解决方案，提升PyTorch程序的效率，甚至可能超越手动设计的内核。值得注意的是，Mirage利用SuperOptimization技术确保生成的内核的正确性，为传统的CUDA/Triton编程提供了更高的生产力、改进的性能和更强的正确性。通过在基准测试中取得成功，并致力于简化AI开发人员的GPU编程，Mirage正在改变为GPU优化计算任务的方式。这篇内容对对AI和GPU编程感兴趣的开发人员尤为有价值，因为它标志着机器学习中更易用和优化的GPU使用方式的重大转变。- CMU的Catalyst Group团队发布了一款PyTorch算子编译器Mirage，可以自动生成GPU内核并提高性能。 - Mirage使用SuperOptimization技术，为PyTorch生成高效的GPU内核。 - Mirage可以自动搜索潜在的GPU内核实现，包括手动设计的内核和其他更快的实现。 - Mirage生成的GPU内核可以直接在PyTorch张量上操作，并可以在PyTorch程序中调用。 - Mirage提供了更高的生产力、更好的性能和更强的正确性。 - Mirage利用形式化验证技术自动验证生成的GPU内核的正确性。 - Mirage生成的内核通常比现有的手写或编译器生成的内核快1.2至2.5倍。 - Mirage可以为归一化、LoRA、Gated MLP和Attention Variants等非常规注意力计算发现自定义GPU内核。 - Mirage的长期目标是降低GPU编程门槛并提高程序效率。