IBM TechXchange Japan Storage User Community

IBM TechXchange Japan Storage User Community

以降 JSUC と略記、short URL: https://ibm.co/3fV3qzE)とは、お客様やビジネス・パートナー様とIBM専門家が連携し、ストレージについて学び、アドバイスやベストプラクティスを仲間と共有し、製品やコミュニティー・イベントに関する情報を得るためのものです。どなたでも自由にご参加いただけますので是非ご参加ください。JSUCへの登録ガイドはこちらです。

注: 当該グループ上でご紹介する情報は、日本アイ・ビー・エム(株)が必ずしも正式なレビューを行ったものではありません。

 View Only

LTFSのちょっとディープな話

By Hiroki Nishiyan posted Wed July 12, 2023 04:02 AM

  

LTFSはLTO規格のテープIBM独自仕様の3592テープを、DVDやUSBメモリーのように使い勝手を良くするためのテープ用のファイルシステムです。

LTFSの詳細はIBMの製品ページ(https://www.ibm.com/jp-ja/products/spectrum-archive)、JEITAの解説(https://home.jeita.or.jp/upload_file/20120206153203_BsFvXUyDqG.pdf)、LTFSのウェブサイト(https://www.lto.org/linear-tape-file-system/)などが参考になります。

IBMはLTFSを使用するための「IBM Storage Archive」というソフトウェアを提供しています。

今回は、LTFSの使い方のノウハウについて簡単に紹介します。これまでのお問い合わせなどをもとにしています。

テープはシーケンシャルアクセスデバイスなので、テープ上のファイルにアクセスするときに、ファイルのブロック(書き込まれる単位)が連続して書き込まれていると読み出しも連続して読み出せますので読み出し性能が出やすいです(図)。ブロックが連続していないと、テープのシーク操作(巻き戻しや早送り)が走ってしまい、性能が出にくいです。

  • 複数のファイルを並列に1つのLTFSに書き込みしたときの挙動

複数ファイルを並列に書き込みすると、テープ上には複数のファイルがこま切れに保管される場合があります。例えばファイルA,B,Cは、テープ上でAAABBCCAABBのような配置になることもあります。こうなってしまうとテープ上で連続しないため、読み出すときに性能が低下する場合がありますので、1つのテープメディアには、1並列で書き込みをするのが良いです。

参照リンク:https://www.ibm.com/docs/ja/spectrum-archive-le/2.4.5?topic=tips-performance-considerations

引用:

If two files are simultaneously written to the mount point subdirectory, a block of each file is sequentially written to the medium. For example, if file A and file B are written, block 1 of file A (A1) is written, block 1 of file B (B1) is written, then A2, B2, A3, B3, and so on, are written. When file A is read, IBM Spectrum Archive LE goes to the A1 position and reads a block, then to the A2 position and reads a block, and so on. This sequential reading protocol can take some time to complete. Read performance can be improved by writing data separately. If, for example, higher performance is required for the read operation, (if possible) write file A first, then file B.

  • ファイルを上書きした場合の挙動

この場合はアプリケーションのファイル書き込みの挙動に依存します。ファイル全体がテープの最後に追記される場合、変更箇所だけがテープの最後に追記される場合、などがあります。古いファイルまたは古いブロックは参照しなくなります。

読み出し性能を考えると、ファイル全体をテープに追記したほうが良いです。ブロックだけを書き込むと、ファイルがテープ上で連続した配置になりません。

ディスク上で保管し、cpコマンドなどでテープに丸々上書きしてしまえば、ファイル全体が連続して書き込まれますので、ファイルの編集はディスク上で、編集が完了したらテープに書き込むなどするのがおすすめです。

上書き後の古いファイルの部分はそのまま残りますので、容量の再利用が必要な場合は下記の再利用処理をしてください。

古いファイルを参照することも、Storage Archive LEでは可能です。下記のコマンドを使用します。

https://www.ibm.com/docs/ja/spectrum-archive-le/2.4.5?topic=tape-leadm-rollback

  • 未使用領域の再利用処理

ファイルの上書きを繰り返していると、古い参照しないファイルがテープ上に蓄積することになります。バックアップソフトウェアなどでは、期限切れ処理と、再利用処理(リクラメーションなどと言われる)をすることで、無駄な容量を再利用することができますが、LTFSにはそのような機能はありません。テープからテープへデータをコピーすることで、再利用処理と同じことが実現できます。

まとまった量のファイルをLTFSで処理するときは、LTFS専用コピーコマンドというのがあり、効率よくコピー可能です。

https://www.ibm.com/docs/ja/spectrum-archive-le/2.4.5?topic=commands-ltfs-ordered-copy

  • テープからテープへの読み書き

Storage Archive LEでテープドライブを複数使用している場合、テープからテープへのファイルのコピーや移動も可能です。

  • 同じテープ上でのファイルコピー

1つのテープの中で、ファイルをコピーすると、読み出し→末尾までのテープのシーク→書き込み→読み出し位置までテープのシーク→読み出し、と非常に効率が悪くなります。いったんディスクなどにコピーした後で、ディスクからテープにコピーしたほうが性能が出やすいです。

その他、いろいろなノウハウがマニュアルに載っていますので参考にしてください。

https://www.ibm.com/docs/ja/spectrum-archive-le/2.4.5?topic=tips-performance-considerations

1 comment
32 views

Permalink

Comments

Fri July 21, 2023 01:48 AM

本ブログ記事内容へのご質問は、当該コミュニティ上の Discussion をご利用下さい。Disscussionいただくには本コミュニティにメンバー登録が必要です。