Amazon EMR üzerinde EC2 ile Spark Connect kullanarak etkileşimli iş yükleri çalıştırma

Amazon EMR, EC2 üzerinde artık Apache Spark Connect ile etkileşimli Apache Spark oturumlarını destekliyor. Veri mühendisleri ve veri bilimcileri, Amazon SageMaker Unified Studio'daki yönetilen not defterlerinden ve Jupyter ile Visual Studio Code gibi kendi IDE'lerinden etkileşimli olarak Apache Spark uygulamaları geliştirebilir ve hata ayıklayabilir. Her oturum, özel EMR on EC2 kümelerinde çalışmaktadır. Ayrıca, EMR konsolunda aktif ve tamamlanmış oturumları izleyebilir ve hata ayıklayabilirsiniz. Etkileşimli bir oturum, hücreler ve betikler arasında uzanan kalıcı bir Spark bağlamı sağlar ve yerel Python kodu yürütmesini uzaktaki Spark işlemleriyle birleştirmenize olanak tanır. Spark Connect'in istemci-sunucu mimarisi, uygulama istemcinizi Spark sürücüsünden ayırır ve Spark altyapısının kümelerde çalışırken tercih ettiğiniz geliştirme ortamını ve araçlarını korumanıza olanak tanır. Bu mimari, ad hoc veri keşfi, adım adım hata ayıklama ve üretime geçmeden önce artımlı PySpark iş geliştirme gibi iş akışlarını destekler. Gözlemlenebilirlik için, Spark UI aracılığıyla gerçek zamanlı oturum izleme, Spark History Server üzerinden geçmiş takibi ve EMR konsolu veya API/CLI/SDK'dan oturum yönetimi alırsınız. Etkileşimli Oturumlar, Apache Spark için AWS çalışma zamanı (emr-spark-8.0) ve sonrası ile Amazon EMR on EC2'de mevcuttur ve Amazon EMR'nin mevcut olduğu tüm AWS Bölgelerinde, AWS GovCloud Bölgeleri ve Çin Bölgeleri hariçtir. Amazon SageMaker Unified Studio deneyimi desteklenen bölgelerde mevcuttur. Başlamak için, Spark Connect ile Etkileşimli Oturumlar kılavuzuna veya Amazon SageMaker Unified Studio Başlarken kılavuzuna göz atın.