→ بازگشت به فهرست مستندات

✂️ آموزش پردازش متن

در لینوکس «فایل متنی» مبنای خیلی از چیزهاست — لاگ، تنظیمات، داده؛ همه متن‌اند.

دیدن، بریدن، شمردن

سه کار همیشگی: محتوایی را ببینید (cat/head/tail)، بخشی از آن را ببرید (cut/tr/grep) و بشمارید (wc/sort/uniq). ابزارهای این درس همگی جزو سیستم پایه‌اند.

دیدن فایل

cat file.txt             # همه‌ی فایل
head -20 file.txt        # ۲۰ خط اول
tail -30 file.txt        # ۳۰ خط آخر
tail -f /var/log/syslog  # انتهای زنده‌ی لاگ (با Ctrl+C قطع کنید)
less big.txt             # ورق‌زدن در فایل بزرگ (q = خروج، / = جستجو)

wc: شمردن

wc -l file.txt           # چند خط؟
wc -w file.txt           # چند کلمه؟
grep ERROR server.log | wc -l   # چند خط خطا؟

sort و uniq: زوج معروف

sort names.txt                 # مرتب‌سازی الفبایی
sort -n numbers.txt            # مرتب‌سازی عددی
sort ips.txt | uniq -c | sort -rn   # پرتکرارترین IP ها — دستور معروف شمارش!

نکته: uniq فقط «خط‌های همسایه» را یکی می‌کند — پس همیشه قبلش sort بزنید. uniq -c کنار هر خط تعداد تکرار می‌گذارد و sort -rn عددی نزولی مرتب می‌کند.

cut: برش ستونی

cut -d: -f1 /etc/passwd        # فقط ستون اول (نام کاربرها)، جداکننده «:»
cut -d, -f2 data.csv           # ستون دوم یک CSV
cut -c1-10 file.txt            # کاراکترهای ۱ تا ۱۰ هر خط

tr: تبدیل حروف

echo hello | tr a-z A-Z        # HELLO
echo "a b  c" | tr -s ' '      # فاصله‌های تکراری را یکی می‌کند
echo 'Uryyb' | tr 'A-Za-z' 'N-ZA-Mn-za-m'   # رمزگشایی ROT13!

diff: مقایسه

diff old.conf new.conf         # چه فرقی دارد؟
diff -u old.conf new.conf      # خروجی خواناتر (فرمت patch)

زنجیره‌ی واقعی: تحلیل یک لاگ

grep ERROR /var/log/app.log | cut -d' ' -f5 | sort | uniq -c | sort -rn | head

خطاهای لاگ را بگیر ← ستون ماژول را ببر ← مرتب کن ← بشمار ← پرتکرارترین‌ها. همین یک خط، کارِ یک روز تحلیل‌گر است!

چالش‌های مرتبط

«گزارش شبانه»، «ردپای تاریخچه»، «داده‌ی رمزی» و «شیفت شب» با همین ابزارها حل می‌شوند.

تمرین‌های این جلسه روی تابلوی CTF هستند و نامشان برچسب «جلسه ۸» دارد: «ستون برنده»، «پرتکرارترین» و «فاصله‌ی دقیق» در دسته‌ی «اجباری»؛ «چیز عوض شد» در «اختیاری — آسان»؛ «مقصر اصلی» در «اختیاری — متوسط»؛ «کالبدشکافی زنجیره‌ای» در «اختیاری — سخت». همه در جعبه‌ی خودتان اجرا می‌شوند.