diff --git a/README.md b/README.md index 8279798..b5939eb 100644 --- a/README.md +++ b/README.md @@ -14,6 +14,7 @@ Go CLI-утилита для нормализации имён файлов и - очистка имён файлов и папок по ключевым словам; - поиск без учёта регистра по умолчанию; - удаление точных имён файлов по списку мусора; +- нормализация повторяющихся расширений через `replacements.txt`; - безопасный режим предпросмотра через `--dry-run`; - автоматическое создание файлов словарей при отсутствии. @@ -49,7 +50,8 @@ go build -o cleaner ./cmd/cleaner ./cleaner \ --dir ./content \ --words-file ./config/words.txt \ - --trash-file ./config/trash.txt + --trash-file ./config/trash.txt \ + --replace-file ./config/replacements.txt ``` Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу. @@ -65,6 +67,7 @@ go build -o cleaner ./cmd/cleaner - `--dir` — корневая папка для обработки; - `--words-file` — список ключевых слов для удаления из имён; - `--trash-file` — список точных имён файлов для удаления; +- `--replace-file` — список правил замены вида `old -> new`; - `--dry-run` — показать действия без изменения файлов; - `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию); - `--version` — вывести метаданные сборки. @@ -93,6 +96,20 @@ desktop.ini Совпадающие имена будут удалены с диска. +### `replacements.txt` + +```text +# правила замены вида old -> new +# комментарии начинаются с # +.mp4.mp4 -> .mp4 +.wmv.mp4 -> .mp4 +``` + +Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например: + +- `movie.mp4.mp4` -> `movie.mp4` +- `movie.wmv.mp4` -> `movie.mp4` + ## Структура проекта ```text @@ -104,7 +121,8 @@ desktop.ini │ ├── keywords/ │ │ ├── templates/ │ │ │ ├── words.txt -│ │ │ └── trash.txt +│ │ │ ├── trash.txt +│ │ │ └── replacements.txt │ │ └── keywords.go │ └── renamer/ │ └── renamer.go diff --git a/cmd/cleaner/main.go b/cmd/cleaner/main.go index ba7356c..4e8b712 100644 --- a/cmd/cleaner/main.go +++ b/cmd/cleaner/main.go @@ -25,6 +25,7 @@ func main() { dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки") wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов") trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов") + replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'") dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов") ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске") versionFlag := flag.Bool("version", false, "Показать версию утилиты") @@ -36,7 +37,7 @@ func main() { return } - filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *ignoreCaseFlag) + filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag) if err != nil { fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err) os.Exit(1) diff --git a/internal/keywords/keywords.go b/internal/keywords/keywords.go index 20a99a0..732f0d2 100644 --- a/internal/keywords/keywords.go +++ b/internal/keywords/keywords.go @@ -15,21 +15,33 @@ var defaultWordsTemplate string //go:embed templates/trash.txt var defaultTrashTemplate string +//go:embed templates/replacements.txt +var defaultReplacementTemplate string + +type ReplacementRule struct { + Old string + New string +} + type Filter struct { - words []string - trash map[string]struct{} - ignoreCase bool + words []string + trash map[string]struct{} + replacements []ReplacementRule + ignoreCase bool } // LoadFromFiles читает списки из текстовых файлов. // Если файл не существует, создаёт его с шаблоном по умолчанию. -func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error) { +func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) { if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil { return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err) } if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil { return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err) } + if err := ensureFileExists(replacementsPath, defaultReplacementTemplate); err != nil { + return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err) + } wordsList, err := readLines(wordsPath) if err != nil { @@ -41,6 +53,11 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err) } + replacementRules, err := readReplacementRules(replacementsPath) + if err != nil { + return nil, fmt.Errorf("ошибка чтения %s: %w", replacementsPath, err) + } + trashMap := make(map[string]struct{}, len(trashList)) for _, tf := range trashList { key := tf @@ -51,9 +68,10 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error } return &Filter{ - words: wordsList, - trash: trashMap, - ignoreCase: ignoreCase, + words: wordsList, + trash: trashMap, + replacements: replacementRules, + ignoreCase: ignoreCase, }, nil } @@ -91,6 +109,38 @@ func readLines(path string) ([]string, error) { return lines, scanner.Err() } +func readReplacementRules(path string) ([]ReplacementRule, error) { + file, err := os.Open(path) + if err != nil { + return nil, err + } + defer file.Close() + + var rules []ReplacementRule + scanner := bufio.NewScanner(file) + for scanner.Scan() { + line := strings.TrimSpace(scanner.Text()) + if line == "" || strings.HasPrefix(line, "#") { + continue + } + + parts := strings.SplitN(line, "->", 2) + if len(parts) != 2 { + return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line) + } + + old := strings.TrimSpace(parts[0]) + newValue := strings.TrimSpace(parts[1]) + if old == "" || newValue == "" { + return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line) + } + + rules = append(rules, ReplacementRule{Old: old, New: newValue}) + } + + return rules, scanner.Err() +} + func (f *Filter) ShouldDelete(name string) bool { target := name if f.ignoreCase { @@ -101,7 +151,21 @@ func (f *Filter) ShouldDelete(name string) bool { } // Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения. +func (f *Filter) applyReplacements(name string) string { + result := name + for _, rule := range f.replacements { + if f.ignoreCase { + result = replaceIgnoreCase(result, rule.Old, rule.New) + } else { + result = strings.ReplaceAll(result, rule.Old, rule.New) + } + } + return result +} + func (f *Filter) Clean(name string, isDir bool) string { + name = f.applyReplacements(name) + var base, ext string if isDir { diff --git a/internal/keywords/keywords_test.go b/internal/keywords/keywords_test.go index ba57d36..8aa404d 100644 --- a/internal/keywords/keywords_test.go +++ b/internal/keywords/keywords_test.go @@ -25,8 +25,9 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) { func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) { filter := &Filter{ - words: []string{"[spam]", "VIP"}, - trash: map[string]struct{}{}, + words: []string{"[spam]", "VIP"}, + trash: map[string]struct{}{}, + replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}}, } if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" { @@ -37,3 +38,53 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) { t.Fatalf("Clean() = %q, want %q", got, "Movie") } } + +func TestFilterCleanAppliesReplacementRules(t *testing.T) { + filter := &Filter{ + words: []string{}, + trash: map[string]struct{}{}, + replacements: []ReplacementRule{ + {Old: ".mp4.mp4", New: ".mp4"}, + {Old: ".wmv.mp4", New: ".mp4"}, + }, + ignoreCase: true, + } + + if got := filter.Clean("video.mp4.mp4", false); got != "video.mp4" { + t.Fatalf("Clean() = %q, want %q", got, "video.mp4") + } + + if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" { + t.Fatalf("Clean() = %q, want %q", got, "movie.mp4") + } +} + +func TestLoadFromFilesParsesReplacementRules(t *testing.T) { + dir := t.TempDir() + wordsPath := filepath.Join(dir, "words.txt") + trashPath := filepath.Join(dir, "trash.txt") + replacePath := filepath.Join(dir, "replacements.txt") + + if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil { + t.Fatalf("write words: %v", err) + } + if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil { + t.Fatalf("write trash: %v", err) + } + if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil { + t.Fatalf("write replacements: %v", err) + } + + filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true) + if err != nil { + t.Fatalf("LoadFromFiles returned error: %v", err) + } + + if len(filter.replacements) != 2 { + t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements)) + } + + if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" { + t.Fatalf("Clean() = %q, want %q", got, "movie.mp4") + } +} diff --git a/internal/keywords/templates/replacements.txt b/internal/keywords/templates/replacements.txt new file mode 100644 index 0000000..8e199ec --- /dev/null +++ b/internal/keywords/templates/replacements.txt @@ -0,0 +1,6 @@ +# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов. +# Формат: old -> new +# Строки, начинающиеся с #, игнорируются. + +.mp4.mp4 -> .mp4 +.wmv.mp4 -> .mp4 \ No newline at end of file diff --git a/internal/keywords/templates/trash.txt b/internal/keywords/templates/trash.txt index 732538c..e3b4047 100644 --- a/internal/keywords/templates/trash.txt +++ b/internal/keywords/templates/trash.txt @@ -5,13 +5,38 @@ Thumbs.db desktop.ini readme.url -Прочти перед изучением!.docx -Введение начни правильно.docx -Не пропусти этот шаг!.docx -Твой первый шаг здесь.docx -Шаг №1 — Прочти!.docx -Обязательно к прочтению.docx +150000 курсов ждут тебя!.url +DMC.RIP - Качай редкие курсы!.url +Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url +SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url +SW.BAND - 150000 курсов ждут тебя!.url +Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url Важно! Перед стартом курса.docx -Ключ к успешному старту.docx +Введение начни правильно.docx +Всё, что скрывают инфобизнесмены.url Главное перед изучением.docx -Инструкция перед началом.docx \ No newline at end of file +Грабим инфобизнес ради знаний.url +Доступ к сайту БЕЗ VPN - SuperSliv.CO.url +Доступ ко всем складчинам со Skladchik_com.html +Инструкция перед началом.docx +Качай редкие курсы!.url +Клад курсов — бери сколько сможешь.url +Ключ к успешному старту.docx +Курсы без ценников и ограничений.url +Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz.url +Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz — копия.url +Начни от сюда!.png +Не пропусти этот шаг!.docx +Новинки_курсов_каждый_день!_Качай_курсы_тут_sliv_site.url +Обязательно к прочтению.docx +Открой_сокровищницу_ИНФО_пиратов_Boominfo_CO.url +Присоединяйся в Telegram - @eground_live.url +Прочти перед изучением!.docx +Рабочий Адрес сайта Boominfo.org.url +Робин Гуд в мире знаний.url +Сначала смотрим это видео.mp4 +Тайный клад знаний в одном месте.url +Твой первый шаг здесь.docx +Учёба без барьеров и ценников.url +Шаг №1 — Прочти!.docx +‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt \ No newline at end of file diff --git a/internal/keywords/templates/words.txt b/internal/keywords/templates/words.txt index 202a615..345ce71 100644 --- a/internal/keywords/templates/words.txt +++ b/internal/keywords/templates/words.txt @@ -1,4 +1,32 @@ # Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку). # Строки, начинающиеся с #, игнорируются. +# Примеры типичных мусорных меток в названиях скачанных курсов. -[SWBAND.CO] \ No newline at end of file +[SWBAND.CO] +[SuperSliv] +[sliv] +[SLIV] +[VIP] +VIP +[SITE] +[course] +course +kurs +Курс +курс +Курсы +subtitles +subtitle +ru +torrent +pirate +pirated +download +downloads +serial +pack +mega +club +bonus +promo +archive \ No newline at end of file