先日Tamiさんにアドバイスを頂いた方法を参考にばら星雲の処理をし直しました。
違いはCS5でこれまで星雲マスクでトーンカーブでコントラストを上げていたのを輝度マスクを使ってレベル補正でコントラストを上げて行きました。この方法だと全体がリニアにレベルが上がって行くため、自然な階調に近づきます。しかしながら背景フラットが完全に合っていなかったため、ムラが目立ち、結局星雲マスクとハイブリッド処理としました。
GムラがひどかったのでRGB画像からGを抜き出し、彩度を上げたものを背景マスクとしてGをかなり消しました。そのため星雲と背景の間に階調の段差ができています。
やはり淡い星雲を出すときは特に完璧なフラットフレームが求められるようです。
【前の画像(星雲マスク&トーンカーブ】

【今回の画像 (輝度マスクによるレベル補正&星雲マスクのハイブリッド】

色の好みはあるでしょうし、今回のは背景のGが薄いですが、星雲の階調が滑らかになったように思います。