原因として考えられるのは以下の 2 つです
まずは以下のオプションを試して、普段使っている Java 実行環境を使ってインストーラーを起動してください。
--javahome <JDK へのパス> 例: $ ./jdk-6u5-nb-6_0_1-linux-ml.sh --javahome /usr/lib/jvm/java-6-sun
インストーラー自体も Java アプリケーションです。システム内の Java ではなくて、インストーラー自らが内包している Java 実行環境を使用して GUI が起動される場合があります。インストーラーに内包されている実行環境は日本語フォントの追加設定がされていませんので、ディストリビューションによっては日本語が□で表示されてしまいます。
上記の --javahome オプションで指定しても日本語が□で表示されてしまう場合には、指定した実行環境 (上の例であれば /usr/lib/jvm/java-6-sun ) で、日本語のフォントを正しく表示させるための追加設定が必要な可能性が高いです。
FAQ 項目 Linux で日本語が文字化け(四角□)してしまいます。どうすればよいでしょうか? を参照して必要な設定を行った後に、再度インストーラーを実行してみてください。