حذف خطوط تکراری و مرتب‌سازی

راهنمای استفاده از حذف خطوط تکراری

1. هر مورد را در یک خط وارد کنید.
2. گزینه‌های حذف و مرتب‌سازی را انتخاب کنید.
3. خروجی یکتا و تعداد موارد حذف‌شده را ببینید.

حذف خطوط تکراری به چه دردی می‌خورد؟

فهرست‌ها تقریبا همیشه تکراری دارند، چون از چند منبع جمع می‌شوند. فروشگاهی که شماره‌های مشتریان را از سفارش‌های سایت، دایرکت اینستاگرام و فاکتورهای حضوری جمع کرده، شماره‌های مشتریان وفادارش را چند بار در فهرست دارد. اگر این فهرست را بدون پاکسازی به سامانهٔ پیامک بدهد، به هر مشتری وفادار سه بار پیامک می‌رسد؛ هم هزینهٔ ارسال سه برابر می‌شود و هم مشتری کلافه می‌شود و شاید شماره را در فهرست سیاه بگذارد. حذف تکراری‌ها پیش از هر ارسال انبوه، یکی از ساده‌ترین صرفه‌جویی‌هاست.

کاربردهای دیگر هم کم نیستند. برگزارکنندهٔ قرعه‌کشی اینستاگرامی که نام شرکت‌کنندگان را از کامنت‌ها جمع کرده، باید مطمئن شود هر کس فقط یک بار در فهرست است تا شانس همه برابر باشد. کارشناس سئو که کلمات کلیدی را از چند ابزار جمع کرده، فهرستی با صدها تکرار دارد. معلمی که فهرست دانش‌آموزان را از چند کلاس ادغام کرده، می‌خواهد فهرست الفبایی یکدستی داشته باشد. برنامه‌نویسی که فهرستی از نشانی‌ها یا شناسه‌ها را از گزارش‌های سرور بیرون کشیده، فقط مقادیر یکتا را می‌خواهد.

فهرست نمونه‌ای که در ابزار می‌بینید، کار را ساده نشان می‌دهد. هفت خط دارد؛ سیب، موز، دوباره سیب، پرتقال، یک خط خالی، دوباره موز و انار. خروجی چهار خط است؛ سیب، موز، پرتقال و انار. دو تکراری حذف شده و خط خالی هم برداشته شده است. ترتیب اولین حضور هر مورد هم حفظ شده؛ سیب همچنان اول است، چون اول آمده بود.

ابزار به چه ترتیبی کار می‌کند؟

ابزار کارها را همیشه به یک ترتیب ثابت انجام می‌دهد و دانستن این ترتیب کمک می‌کند نتیجه را بهتر بفهمید. اول، اگر گزینهٔ حذف فاصلهٔ ابتدا و انتها روشن باشد، فاصله‌ها و تب‌های اضافهٔ دو سر هر خط برداشته می‌شوند. این مرحله مهم است، چون دو خط که یکی در انتها فاصلهٔ نامرئی دارد، برای رایانه یکسان نیستند. دوم، خط‌های خالی، یا خط‌هایی که فقط فاصله دارند، حذف می‌شوند. سوم، تکراری‌ها شناسایی و حذف می‌شوند و از هر خط فقط اولین نمونه می‌ماند. چهارم و در آخر، مرتب‌سازی انجام می‌شود.

نتیجهٔ این ترتیب این است که مرتب‌سازی روی فهرست یکتاشده انجام می‌شود و حذف تکراری‌ها به ترتیب اصلی فهرست وابسته است. اگر می‌خواهید بدانید کدام تکرار حذف شده، مرتب‌سازی را خاموش نگه دارید؛ خروجی همان ترتیب ورودی را دارد، فقط بدون تکرارهای بعدی. هر کدام از سه گزینهٔ پاکسازی را می‌توانید جداگانه خاموش کنید؛ مثلا اگر فقط می‌خواهید فهرست را مرتب کنید و تکراری‌ها برایتان مهم‌اند، حذف تکراری را بردارید.

چرا دو خط یکسان، تکراری شناخته نمی‌شوند؟

رایج‌ترین گلایه این است که دو خط کاملا یکسان به نظر می‌رسند ولی ابزار هر دو را نگه داشته. تقریبا همیشه، دو خط واقعا یکسان نیستند؛ فقط تفاوتشان دیده نمی‌شود. مهم‌ترین مقصر در متن فارسی، ی و ک عربی است. علی با ی فارسی و علي با ی عربی، برای چشم تقریبا یکی‌اند، اما برای رایانه دو کلمهٔ متفاوت. فهرستی که از چند منبع جمع شده، به احتمال زیاد هر دو شکل را دارد.

مقصر دوم نیم‌فاصله است؛ محمدرضا، محمد رضا با فاصله و محمد‌رضا با نیم‌فاصله، سه خط متفاوت‌اند. مقصر سوم ارقام است؛ شمارهٔ موبایلی که یک بار با رقم فارسی و یک بار با رقم انگلیسی نوشته شده، یا یک بار با صفر اول و یک بار با پیش‌شمارهٔ ۹۸. مقصر چهارم، بزرگی و کوچکی حروف انگلیسی است که برای آن گزینهٔ جداگانه‌ای در ابزار هست. برای سه مورد اول، فهرست را اول با ویرایش متن فارسی یکدست کنید و بعد به این ابزار بیاورید. برای شماره‌ها، همه را به یک قالب، مثلا با صفر اول و رقم انگلیسی، دربیاورید.

مرتب‌سازی الفبایی فارسی

مرتب‌سازی متن فارسی در بسیاری از نرم‌افزارها درست انجام نمی‌شود. دلیلش این است که حروف پ، چ، ژ و گ در جدول یونیکد پس از حروف عربی آمده‌اند و نرم‌افزاری که فقط بر اساس شمارهٔ نویسه‌ها مرتب کند، پسته را پس از یاقوت می‌گذارد. ابزار از قاعدهٔ مرتب‌سازی زبان فارسی که مرورگرها پیاده کرده‌اند استفاده می‌کند؛ پ پس از ب، چ پس از ج، ژ پس از ز و گ پس از ک قرار می‌گیرد. آب هم پیش از ابر می‌آید، چون آ و ا در این مرتب‌سازی یک حرف حساب می‌شوند و مقایسه به حرف بعدی می‌رسد.

اگر فهرست شما هم کلمهٔ فارسی دارد و هم انگلیسی، در مرتب‌سازی الفبایی، خط‌های فارسی پیش از انگلیسی می‌آیند. حروف بزرگ و کوچک انگلیسی هم در مرتب‌سازی کنار هم قرار می‌گیرند، نه جدا. عددهای داخل خط به شکل عددی مقایسه می‌شوند؛ یعنی کالای ۲ پیش از کالای ۱۰ می‌آید، برخلاف مرتب‌سازی ساده که ۱۰ را پیش از ۲ می‌گذارد چون رقم اولش کوچک‌تر است. این برای فهرست‌هایی مثل شمارهٔ اتاق، کد محصول یا نام فایل‌های شماره‌دار اهمیت زیادی دارد.

گزینه‌های دیگر مرتب‌سازی

مرتب‌سازی الفبایی معکوس همان ترتیب را از آخر به اول نشان می‌دهد؛ از ی تا الف. وارونه کردن ترتیب با مرتب‌سازی معکوس فرق دارد؛ کاری به الفبا ندارد و فقط ترتیب فعلی فهرست را برعکس می‌کند. اگر فهرستی دارید که به ترتیب زمانی از قدیم به جدید است و می‌خواهید جدیدترین‌ها اول باشند، این گزینه را بزنید. مرتب‌سازی بر اساس طول، خط‌ها را از کوتاه به بلند می‌چیند؛ برای پیدا کردن خط‌های خیلی کوتاه که احتمالا اشتباه‌اند، یا خط‌های خیلی بلند که چند مورد را در یک خط دارند، مفید است.

یک کاربرد خلاقانهٔ مرتب‌سازی بر اساس طول، پیدا کردن خطاها در فهرست شماره‌های موبایل است. شمارهٔ موبایل ایرانی با صفر اول یازده رقم دارد. وقتی فهرست را بر اساس طول مرتب کنید، شماره‌های ده‌رقمی یا دوازده‌رقمی که احتمالا رقمی کم یا زیاد دارند، در ابتدا یا انتهای فهرست جمع می‌شوند و راحت پیدا می‌شوند. برای بررسی دقیق‌تر اینکه هر شماره به کدام اپراتور تعلق دارد، تشخیص اپراتور را ببینید.

نمونهٔ واقعی؛ فهرست شماره برای پیامک

فرض کنید فروشگاهی سه فهرست شماره دارد؛ ۱۲۰۰ شماره از سفارش‌های سایت، ۸۰۰ شماره از دایرکت اینستاگرام و ۵۰۰ شماره از فاکتورهای حضوری. مجموع، ۲۵۰۰ خط. اول هر سه فهرست را در یک فایل متنی پشت‌سرهم بچسبانید. چون شماره‌های سایت احتمالا با رقم انگلیسی و فاکتورها با رقم فارسی ثبت شده‌اند، همه را به یک شکل ارقام دربیاورید. بعد فهرست را در ابزار بگذارید؛ عدد تکراری‌های حذف‌شده نشان می‌دهد چند مشتری از بیش از یک راه با شما در ارتباط بوده‌اند.

اگر ابزار مثلا ۴۰۰ تکراری حذف کند، به جای ۲۵۰۰ پیامک، ۲۱۰۰ پیامک می‌فرستید. با پیامک فارسی دوبخشی، این یعنی ۸۰۰ بخش پیامک کمتر در هر ارسال. خروجی را بر اساس طول هم مرتب کنید تا شماره‌های ناقص را پیدا کنید و پیش از ارسال اصلاح یا حذفشان کنید. عدد تکراری‌ها خودش اطلاعات بازاریابی ارزشمندی هم هست؛ نشان می‌دهد چه نسبتی از مشتریان از چند کانال خرید می‌کنند.

فهرست کلمات کلیدی و ایمیل‌ها

کارشناسان سئو کلمات کلیدی را معمولا از چند منبع جمع می‌کنند؛ پیشنهادهای جست‌وجوی گوگل، گزارش جست‌وجوهای سرچ کنسول، ابزارهای تحقیق کلمات کلیدی و صفحه‌های رقبا. فهرست نهایی پر از تکرار و شکل‌های نزدیک به هم است. ابزار تکرارهای دقیق را حذف می‌کند و با مرتب‌سازی الفبایی، شکل‌های نزدیک، مثل محاسبه قسط وام و محاسبه قسط وام بانکی، کنار هم قرار می‌گیرند تا راحت‌تر تصمیم بگیرید کدام را به یک صفحه و کدام را به صفحهٔ جداگانه اختصاص دهید. پیش از این کار، فهرست را یکدست کنید؛ ابزارهای خارجی معمولا ی عربی ندارند، اما نیم‌فاصله را متفاوت می‌نویسند.

برای فهرست ایمیل‌ها، گزینهٔ نادیده گرفتن بزرگی و کوچکی حروف را روشن کنید. نشانی ایمیل در عمل به بزرگی حروف حساس نیست و Ali@example.com و ali@example.com به یک صندوق می‌رسند؛ اما بدون این گزینه، ابزار آن‌ها را دو مورد جدا می‌بیند و یک نفر دو ایمیل دریافت می‌کند. فاصله‌های اضافه هم در ایمیل‌هایی که از فرم‌ها کپی شده‌اند رایج‌اند و گزینهٔ حذف فاصلهٔ ابتدا و انتها آن‌ها را برمی‌دارد. پس از پاکسازی، فهرست را بر اساس طول مرتب کنید؛ ایمیل‌های خیلی کوتاه که علامت ات یا دامنه ندارند، در ابتدای فهرست پیدا می‌شوند.

مقایسه با اکسل

اکسل و برنامه‌های صفحه‌گسترده هم امکان حذف تکراری و مرتب‌سازی دارند و برای جدول‌هایی با چند ستون، که باید تکراری را بر اساس یکی از ستون‌ها تشخیص داد، ابزار بهتری‌اند. اما برای فهرست ساده‌ای که هر مورد در یک خط است، این ابزار سریع‌تر است؛ نه فایلی باز می‌شود، نه منویی جست‌وجو می‌شود. مرتب‌سازی فارسی اکسل هم به تنظیمات زبان سیستم بستگی دارد و گاهی حروف پ و چ و ژ و گ را در جای نادرست می‌گذارد.

اگر داده در اکسل است، ستون مورد نظر را کپی کنید، در ابزار بچسبانید، خروجی را کپی کنید و در ستون تازه‌ای بچسبانید. هر سلول ستون، یک خط در ابزار می‌شود و هر خط خروجی، یک سلول در اکسل. فقط اگر سلول‌هایی چندخطی دارید، یعنی داخل یک سلول خط شکسته شده، این روش آن‌ها را چند خط جدا می‌کند.

خطاهای رایج

خطای اول، پاکسازی بدون یکدست کردن است که در بالا گفتیم؛ ی عربی، نیم‌فاصله و ارقام. خطای دوم، روشن گذاشتن مرتب‌سازی وقتی ترتیب اصلی مهم است. مثلا فهرست برندگان یک مسابقه به ترتیب امتیاز، یا فهرست کارهایی که به ترتیب اولویت نوشته شده، نباید الفبایی شوند. خطای سوم، روشن کردن گزینهٔ نادیده گرفتن بزرگی حروف برای فهرست‌هایی که بزرگی حروف در آن‌ها معنا دارد؛ مثل رمزها، کدهای تخفیف یا شناسه‌های حساس به حروف. در این حالت دو کد متفاوت ممکن است یکی شناخته و یکی‌شان حذف شود.

خطای چهارم، فراموش کردن اینکه خروجی جای ورودی را نمی‌گیرد. ابزار فهرست اصلی شما را تغییر نمی‌دهد؛ نتیجه را در کادر جداگانه نشان می‌دهد که باید کپی‌اش کنید. پیش از جایگزین کردن فهرست اصلی، عدد خط‌های خروجی را با انتظار خودتان مقایسه کنید. اگر عدد خیلی کمتر از انتظار است، شاید گزینه‌ای اشتباه روشن بوده است.

فهرست‌های خیلی بزرگ

ابزار برای فهرست‌هایی با چند ده هزار خط هم سریع کار می‌کند، چون هر خط فقط یک بار بررسی می‌شود و تشخیص تکرار با ساختاری انجام می‌شود که جست‌وجوی آن تقریبا آنی است. محدودیت اصلی، خود مرورگر است؛ چسباندن متنی با صدها هزار خط در کادر ممکن است چند ثانیه مرورگر را کند کند. برای فهرست‌های بسیار بزرگ، آن را به چند بخش تقسیم کنید، هر بخش را جداگانه پاکسازی کنید، خروجی‌ها را دوباره پشت‌سرهم بچسبانید و یک بار دیگر از ابزار عبور دهید تا تکرارهای بین بخش‌ها هم حذف شوند. هر بار که متن کادر را تغییر می‌دهید، خروجی خودکار به‌روز می‌شود و نیازی به زدن دکمه نیست.

حریم خصوصی فهرست‌ها

فهرست شماره‌ها و ایمیل‌های مشتریان، اطلاعات شخصی دیگران است و نباید به سرویس‌های ناشناس سپرده شود. این ابزار همهٔ کار را در مرورگر شما انجام می‌دهد و فهرست به هیچ سروری فرستاده یا جایی ذخیره نمی‌شود. با بستن صفحه، فهرست از کادر پاک می‌شود. با این حال، فهرست‌های شخصی را روی رایانه‌های عمومی پردازش نکنید.

پیش از ذخیره، یک نگاه آخر

پس از پاکسازی، چند خط از ابتدا، وسط و انتهای خروجی را با چشم مرور کنید. اگر خط‌هایی می‌بینید که چند مورد را با ویرگول یا خط تیره در خودشان دارند، فهرست اصلی هر مورد را در خط جداگانه نداشته و باید پیش از پاکسازی، جداکننده‌ها را به خط تازه تبدیل کنید.

ابزارهای مرتبط

اگر فهرست شرکت‌کنندگان را برای قرعه‌کشی پاکسازی کرده‌اید، برندگان را با قرعه کشی آنلاین انتخاب کنید. برای دیدن اینکه دو نسخه از یک فهرست دقیقا در چه خط‌هایی فرق دارند، مقایسه متن را ببینید. ابزارهای دیگر متن در ابزارهای متنی کنار هم آمده‌اند.