Data Management

 View Only

LinkedIn Share on LinkedIn

watsonx.data: 〜ファイル置くだけ簡単取りこみ! 〜 オブジェクトストレージ上のParquetファイルからHiveテーブルにデータ取り込み、IcebergテーブルにINSERT

By KYOKO NISHITO posted Wed October 02, 2024 09:46 AM

  

watsonx.dataのHiveテーブルはオブジェクトストレージ上のcsvやParquetファイルなどを使用してテーブル作成が可能で、明示的なLOADなしでデータをテーブルに取り込むことができます。またwatsonx.dataではHiveテーブルからIcebergテーブルを作成することも可能です。

watsonx.data(SaaS版)で、Prestoエンジンと関連付けされたIBM Object Storage(ICOS)上にあるParquetファイルを使用してテーブル作成し、 その後HiveテーブルからIcebergテーブルを作成する方法を以下のQiitaに記載しましたので、ぜひやってみてください。

watsonx.data: 〜ファイル置くだけ簡単取りこみ! 〜 オブジェクトストレージ上のParquetファイルからHiveテーブルにデータ取り込み、IcebergテーブルにINSERT

0 comments
2 views

Permalink