未解決
1 Rookie
•
33 メッセージ
2
112
2025年4月15日 14:07
DataPlatformTech 第33回 Dell Data Processing Engineリリース
いつもご覧頂きまして誠にありがとうございます。東京は桜も散り暖かさを感じる今日この頃ですが、みなさまいかがお過ごしでしょうか？
本日（US時間4/15）に、Dell Data Lakehouse v1.4がリリースされました。四半期に1度のサイクルでアップデートを行っているDell Data Lakehouseですが、v1.4においてブログタイトルのDell Data Processing Engineを含め幾つかの機能が追加されました。今回はv1.4の中から大きな機能追加となりました2つの機能をDell Data Lakehouse System SoftwareのUIと共に（手短に）ご紹介します。
1. Dell Data Processing Engine
今までのDell Data LakehouseではStarburst社によるTrinoをベースとした超並列処理 (MPP) クエリエンジンを搭載したDell Data Analytics Engine（通称DDAE）をアプライアンスとしてご提供して参りましたが、v1.4からは大規模データ分析のための統合エンジンであるApache Sparkを搭載した Dell Data Processing Engine（通称DDPE）が仲間に加わりました。
Dell Data Lakehouseは、オンプレミスだけでなくハイブリッドならびにマルチクラウドのデータを検出して、ほとんど移動させることなく処理、分析する仕組みをオープンかつモダンをコンセプトとしておりましたが、新たにDell Data Processing Engineが加わったことにより、データ利用者（データサイエンティスト、AI/機械学習エンジニア、データエンジニアなど）はより非構造化データを柔軟に扱えるようになり、高度なETLや大規模なバッチ処理、ストリーミング処理や機械学習のワークフローをDell Data Lakehouse内でシームレスに実行できるようになります。
Dell Data Processing Engineの追加により以前のバージョンまではDell Data Lakehouse System SoftwareのUI左側の2番目の項目は「Catalogs」が存在していましたが、v1.4では2番目の項目は「Services」に変更となりました。「Services」のメニューの中には「Dell Data Analytics Engine」と「Dell Data Processing Engine」に分かれて配置され各々で設定が出来るようになりました。（以前の「Catalogs」はDell Data Analytics Engineのほうに分類されています。）
また、「Manage Allocations」タブではDell Data Analytics EngineとDell Data Processing Engineに割り当てるワーカノードの数を変更できるようになりました。
2. Active-Passive Disaster Recovery
2つ目は、Active-Passive Disaster Recovery（アクティブ-パッシブ ディザスタ リカバリ）の機能です。2つのDell Data Lakehouseクラスタ間でカタログ構成やクエリ履歴などの構成情報を同期することにより、有事の際にビジネスの継続性を維持することが可能です。
Active-Passive Disaster Recoveryは、Dell Data Lakehouse System SoftwareのUIの「Manage」に新しく追加された「Backup and Recovery」から設定ならびに役割の変更（プライマリ or セカンダリの切り替え）を実行することができます。
その他
細かな機能追加は多数ありますが、もう1つだけお伝えしたい点としましてはワーカノードの選択肢が増えました。従来は64 vCPU/256メモリのベースタイプのみでしたが、ベースタイプに加えて192 vCPU/512GBメモリの高スペックなバランス型や192 vCPU/256GBメモリのコンピュートに特化したタイプが登場しました。また、先日のNVIDIA GTC 2025で発表したRAPIDS用にGPU搭載タイプのリリースも今後予定しております。
さいごに
今回は速報ベースの簡易的な情報となりましたが、本日ご説明した2つの機能を含め詳細は追ってご紹介したいと思います！