◀一般トップへ
  • 6433 文字コード判別テストバイナリ
    • 6444 Re:文字コード判別テストバイナリ
      • 6447 Re2:文字コード判別テストバイナリ
        • 6449 Re3:文字コード判別テストバイナリ

  • [6433] 文字コード判別テストバイナリ ラスティブ 2007年10月31日 20:55

    ようやくキリのいいところで落ち着けそうなので、
    文字コード判別改善のお試しバイナリをお披露目します。

    http://sakura.qp.land.to/?Junk%2F26

    以下は関連する記事です。

    ＃１．　>>data:5853 「文字コード誤認識します」by すすさん
    ＃２．　>>data:6053 「文字コードの読み取りミス？by はこねさん
    ＃３．　>>dev:4553 「デフォルト文字コード設定」by fumさん
    ＃４．　>>dev:5074 「UTF-8 が SJIS に？」by らぐなさん

    ＃１．の問題は、EUCJP 派と SJIS 派で好みを選択できるように
    タイプ別設定に優先したい文字を、
    SJIS, JIS, EUC, UTF-8, UTF-7 の５つの中から設定できるように
    しました。（thanks to fumさん）
    （UTF-16 系は絶対的な目印として BOM があるので、Unicode,
    UnicodeBE をリストから外しました。）

    ＃４．の問題は確認してないんですけれど、実のところ・・・、
    UTF-8 の文字検査をするビット演算が非常に怪しいのです。
    わかり易く書き直したので変化があるかな・・・
    というくらいです。

    fumさんのパッチにあった究極的なオプションとして（笑い）、
    自動判別機能を切り離す設定も漏らさずついてます。
    （ただし Unicode, UnicodeBE, UTF-8 の BOM 検出機能は
    オフに出来ません。）自動判別しないで UTF-7 を優先したい
    などの場合はお気をつけ下さい (^^;)

    以上です。

    • [6444] Re:文字コード判別テストバイナリ sjin 2007年11月05日 11:23

      ラスティブさん、ありがとうございます。
      最近、UTF-8でのコーディングの仕事が増えてきていたので、
      大変助かります。

      要望なんですが、改行コードも初期設定できないでしょうか？
      UTF-8・LFで記述して保存・終了したあと、再度開くと、
      文字コードはUTF-8なんですが、改行コードがCRLFになってしまうのです。

      ラスティブさんのご都合がよろしければ、検討していただけませんでしょうか？

      • [6447] Re2:文字コード判別テストバイナリ ラスティブ 2007年11月06日 07:01

        ▼sjinさん
        > 要望なんですが、改行コードも初期設定できないでしょうか？

        報告が遅れてしまい、お詫びしなければならないのですけれど。
        テスト版にどさくさに紛れて組み込まれているデフォルト文字コード設定機能は、その主な部分が・・・

        　　削　除　予　定

        ・・・です。

        やっぱり機能としての曖昧さや不完全さみたいなのが拭いきれて
        いないというか。。。個人的に使った感じでは、優先したい
        文字コード設定によって初期設定できるものの中に Unicode が
        抜けてるところに違和感を感じました。その設定はSJISで書か
        れた半角カタカナのみのデータに対するSJIS・EUCの判別の曖昧さ、
        SJISで書かれた半角英数字のみのデータに対する
        SJIS・JIS・EUC・UTF-8・UTF-7の判別の曖昧さを、
        ぶっちゃけかなり適当に解決するための優先順位表を
        作成するためのものですから、Unicode を選択できるように
        することも出来ず・・・。

        デフォルト文字コード設定に関しては、自動実行マクロなどに
        任せたいと思っています。また、改行コード初期設定機能に
        ついても、勝手ながら・・・同じくです。

        ただこの変更のテストバイナリへの反映は、開発の方が混雑して
        いるのでしばらく先にしようと思います。


        ▼sjinさん
        > UTF-8・LFで記述して保存・終了したあと、再度開くと、
        > 文字コードはUTF-8なんですが、改行コードがCRLFになって
        > しまうのです。

        再度開くと改行コードの設定がCRLFになってしまうという
        ことから、ファイルに書き込んだデータ中に改行コードが
        含まれないという認識でよろしいでしょうか。もしそうだと
        したら、改行コードを入れるか、自動実行マクロが出来上がる
        まで（←他力本願）お待ち頂くしか・・・。

        • [6449] Re3:文字コード判別テストバイナリ sjin 2007年11月07日 03:35

          >▼ ラスティブさん
          > 再度開くと改行コードの設定がCRLFになってしまうという
          > ことから、ファイルに書き込んだデータ中に改行コードが
          > 含まれないという認識でよろしいでしょうか。

          含まれていない、若しくはWin上での動作なので、改行コード
          のチェック機能がペンディングされているのかもしれませんね。

          > 改行コードを入れるか、自動実行マクロが出来上がる
          > まで（←他力本願）お待ち頂くしか・・・。

          了解しました。
          お手間を取らせてしまいまして、申し訳ありません。