テキスト行の整理
1行ずつ並んだリストの「重複削除」「並べ替え」「空行削除」「前後の空白削除」を チェックを入れるだけでまとめて処理します。
公式仕様で裏取り済み
- ・Unicode Consortium 公式FAQ「UTF-8, UTF-16, UTF-32 & BOM」でBOMの推奨を確認
- ・IETF RFC 3629 §6 Byte Order MarkでUTF-8におけるBOMの位置づけを確認
- ・IETF RFC 5198 Unicode Format for Network Interchangeでネット交換の改行コード規定を確認
整理結果
このツールでできること
- ・重複行を「最初の出現を残して」一括削除（順序保存）
- ・五十音／アルファベット順での昇順・降順並べ替え（localeCompare ja）
- ・空行を一発で削除（trim後の空文字判定）
- ・各行の前後の半角・全角空白を除去
- ・CR / LF / CRLF どの改行コードで貼り付けてもOK
- ・件数の「Before → After」を即時表示
- ・ワンクリックコピー（クリップボード）／.txt 保存
- ・全処理がブラウザ内で完結、外部送信ゼロ
5ステップで完了
詳しい使い方と注意点
重複削除は「最初に登場した行」が残り、2回目以降は削除します。並べ替えを同時にONにすると、まず重複削除→次に並べ替えの順で適用されるため、出現順を保ちたい場合は並べ替えをOFFにしてください。前後空白除去は U+0020（半角）と U+3000（全角）の両方が対象で、行頭・行末両方を削ります。空行削除は trim 後に空文字となった行を捨てる仕様。改行コードは入力時に CR / LF / CRLF を自動判別して1行として分割しますが、出力は LF で連結します（Windowsのメモ帳に貼る場合は適宜変換）。BOM（U+FEFF）が先頭に付いたテキストを貼ると、最初の行にBOMが残ったままになります。多くの場面ではBOMは付けない方が安全で、Unicode公式FAQでもUTF-8でのBOM必須化は推奨していません。
こんなときに使われています
- ・メーリングリスト整理：5,000件のアドレスから重複と空行を一発除去
- ・商品コード一覧の確認：JANコードの重複や全角空白混入を可視化
- ・名簿の五十音順並べ替え：Excelを開かずに即整列
- ・ログ解析の下準備：ユニークなIP・URLだけ抽出
- ・SEOキーワードリスト：競合分析でコピーした行を重複排除
- ・アンケート自由回答：完全一致の重複を取り除いてからカウント
日本仕様で気をつけたいこと
日本語テキストには U+3000（全角空白）が紛れがちで、Excelの「TRIM関数」ではこれを除去できません。本ツールは半角空白とあわせて全角空白も除去対象にしています。改行コードは Windows = CRLF、macOS / Linux = LF が標準ですが、古いMac由来のテキストには CR 単体が混じることがあり、これも自動的に1行扱いします。文字コードは UTF-8 を想定。Shift_JIS（CP932）のテキストをブラウザに貼り付けた場合、文字化けはブラウザ側で解決済みのため、整理結果も UTF-8 として返ります。社内システム由来で「波ダッシュ U+301C」と「全角チルダ U+FF5E」が混在するなど、見た目が同じで内部コードが違う行は別物として扱われる点も覚えておくと混乱を防げます。
※本ツールはあくまで簡易整理用です。決済データ・個人情報を含む大量データを処理する場合は、出力後の検証も必ず行ってください。ロジック上は出現順保存ですが、コピペ元のセル結合等で改行が消失している場合、想定外の結合行が含まれることがあります。
よくある質問
Q. 重複の判定で大文字・小文字は区別されますか？
A. 区別されます。「Apple」と「apple」は別の行として扱われます。表記を揃えたい場合は先に全角半角変換で揃えてから本ツールにかけるのが定石です。
Q. 重複を削除したとき、どの行が残りますか？
A. 最初に出てきた行が残り、2回目以降の同じ行が削除されます。並べ替えを指定しなければ元の順番は保たれます。
Q. 何行まで処理できますか？
A. 特に制限はありません。数万行程度なら一瞬で処理可能。端末内処理なので行数が多くても外部に送られません。
Q. 改行コード CRLF と LF はどう扱われますか？
A. 入力時は CR・LF・CRLF いずれも正しく1行として分割されます（改行コード解説）。出力は LF で結合します。
Q. UTF-8 BOM が付いていると影響しますか？
A. BOM（U+FEFF）は最初の1文字としてそのまま残ります。Unicode公式FAQの推奨ではUTF-8にBOMを付ける必要はありません（BOM解説）。
Q. 全角空白も「空白」として除去されますか？
A. 前後空白除去（trim）では U+3000（全角空白）と U+0020（半角空白）の両方を除去します。空行判定は trim 後に空文字なら空行と見なします（Excel整理術）。
Q. 並べ替えは五十音順になりますか？
A. localeCompare(ja) で並べ替えています。ひらがな・カタカナ・漢字を読み順で完璧に並べる仕様ではありませんが、五十音順に近い結果になります。
Q. Excelからコピペした行を整理できますか？
A. 1列を選択してコピー→貼り付けでOK。複数列を貼ると行内にタブが入りますがそのまま重複判定に使えます。
Q. 入力したテキストは外部に送信されますか？
A. 送信されません。すべてブラウザ内（JavaScript）で処理しています。社内情報・個人情報を含むリストでも安心して使えます。