SpriteStudio が出力できるAVIファイルはAVI 1.0 および AVI 2.0 のフォーマットが指定できます。AVI 1.0は作成できるファイルサイズが2GBまでとなっているフォーマットとされています。
AVI Ver1.0 はファイルが4GBより大きくなると警告を表示出力します。それ以下のバージョンのSpriteStudioでは、ダイアログ表示は行わず AVIファイルを出力します。
表示される警告ダイアログは以下となります。
この場合はAVI Ver2.0でレンダリングしなおしてください。