From ec0fc6956a8bab8d59807f21cb65b7ae74bb88a0 Mon Sep 17 00:00:00 2001 From: Kirill Kalikin Date: Sun, 15 Nov 2026 15:49:22 +0700 Subject: [PATCH] Move words to replacements --- README.md | 31 +++++------- cmd/cleaner/main.go | 5 +- internal/keywords/keywords.go | 50 ++++++++------------ internal/keywords/keywords_test.go | 32 ++++++------- internal/keywords/templates/replacements.txt | 8 +++- internal/keywords/templates/trash.txt | 7 ++- internal/keywords/templates/words.txt | 5 -- 7 files changed, 61 insertions(+), 77 deletions(-) delete mode 100644 internal/keywords/templates/words.txt diff --git a/README.md b/README.md index b5939eb..3e79614 100644 --- a/README.md +++ b/README.md @@ -4,14 +4,14 @@ Go CLI-утилита для нормализации имён файлов и ## Обзор -Инструмент рекурсивно обходит целевую директорию, удаляет заданные ключевые слова из имён файлов и папок и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью. +Инструмент рекурсивно обходит целевую директорию, удаляет невалидные фрагменты имён по правилам из файла замен и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью. -Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов или повторяющиеся служебные строки в именах файлов. +Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов, повторяющиеся служебные строки или дублирующиеся расширения в именах файлов. ## Возможности - рекурсивный обход целевой директории; -- очистка имён файлов и папок по ключевым словам; +- удаление или замена фрагментов в именах файлов и папок через один словарь правил; - поиск без учёта регистра по умолчанию; - удаление точных имён файлов по списку мусора; - нормализация повторяющихся расширений через `replacements.txt`; @@ -49,7 +49,6 @@ go build -o cleaner ./cmd/cleaner ```bash ./cleaner \ --dir ./content \ - --words-file ./config/words.txt \ --trash-file ./config/trash.txt \ --replace-file ./config/replacements.txt ``` @@ -65,25 +64,14 @@ go build -o cleaner ./cmd/cleaner Доступные параметры: - `--dir` — корневая папка для обработки; -- `--words-file` — список ключевых слов для удаления из имён; - `--trash-file` — список точных имён файлов для удаления; -- `--replace-file` — список правил замены вида `old -> new`; +- `--replace-file` — список правил вида `token` для удаления или `old -> new` для замены; - `--dry-run` — показать действия без изменения файлов; - `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию); - `--version` — вывести метаданные сборки. ## Формат словарей -### `words.txt` - -```text -# комментарии начинаются с # -# по одному слову на строку -[SWBAND.CO] -``` - -Эти значения будут удаляться из имён файлов и папок. - ### `trash.txt` ```text @@ -99,14 +87,18 @@ desktop.ini ### `replacements.txt` ```text -# правила замены вида old -> new +# правила удаления и замены +# формат: token для удаления или old -> new для замены # комментарии начинаются с # +[SWBAND.CO] +VIP .mp4.mp4 -> .mp4 .wmv.mp4 -> .mp4 ``` Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например: +- `movie[SWBAND.CO].mp4` -> `movie.mp4` - `movie.mp4.mp4` -> `movie.mp4` - `movie.wmv.mp4` -> `movie.mp4` @@ -120,7 +112,6 @@ desktop.ini ├── internal/ │ ├── keywords/ │ │ ├── templates/ -│ │ │ ├── words.txt │ │ │ ├── trash.txt │ │ │ └── replacements.txt │ │ └── keywords.go @@ -138,9 +129,9 @@ desktop.ini - сначала проверяйте запуск на копии данных; - используйте `--dry-run` перед массовой очисткой; - храните пользовательские словари под контролем версий; -- проверяйте списки ключевых слов перед запуском на больших архивах; +- проверяйте правила удаления и замены перед запуском на больших архивах; - не указывайте `--dir` на важные системные папки. ## Примечания -Словари по умолчанию встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские словари. +Шаблоны словарей встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские правила удаления и замены. diff --git a/cmd/cleaner/main.go b/cmd/cleaner/main.go index 4e8b712..2767343 100644 --- a/cmd/cleaner/main.go +++ b/cmd/cleaner/main.go @@ -23,9 +23,8 @@ func main() { } dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки") - wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов") trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов") - replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'") + replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new' или 'old' для удаления") dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов") ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске") versionFlag := flag.Bool("version", false, "Показать версию утилиты") @@ -37,7 +36,7 @@ func main() { return } - filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag) + filter, err := keywords.LoadFromFiles(*trashFileFlag, *replaceFileFlag, *ignoreCaseFlag) if err != nil { fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err) os.Exit(1) diff --git a/internal/keywords/keywords.go b/internal/keywords/keywords.go index 5364265..f837838 100644 --- a/internal/keywords/keywords.go +++ b/internal/keywords/keywords.go @@ -9,9 +9,6 @@ import ( "strings" ) -//go:embed templates/words.txt -var defaultWordsTemplate string - //go:embed templates/trash.txt var defaultTrashTemplate string @@ -24,7 +21,6 @@ type ReplacementRule struct { } type Filter struct { - words []string trash map[string]struct{} replacements []ReplacementRule ignoreCase bool @@ -32,10 +28,7 @@ type Filter struct { // LoadFromFiles читает списки из текстовых файлов. // Если файл не существует, создаёт его с шаблоном по умолчанию. -func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) { - if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil { - return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err) - } +func LoadFromFiles(trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) { if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil { return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err) } @@ -43,11 +36,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err) } - wordsList, err := readLines(wordsPath) - if err != nil { - return nil, fmt.Errorf("ошибка чтения %s: %w", wordsPath, err) - } - trashList, err := readLines(trashPath) if err != nil { return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err) @@ -68,7 +56,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo } return &Filter{ - words: wordsList, trash: trashMap, replacements: replacementRules, ignoreCase: ignoreCase, @@ -99,7 +86,6 @@ func readLines(path string) ([]string, error) { scanner := bufio.NewScanner(file) for scanner.Scan() { line := strings.TrimSpace(scanner.Text()) - // Пропускаем пустые строки и комментарии if line == "" || strings.HasPrefix(line, "#") { continue } @@ -124,15 +110,16 @@ func readReplacementRules(path string) ([]ReplacementRule, error) { continue } - parts := strings.SplitN(line, "->", 2) - if len(parts) != 2 { - return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line) + if !strings.Contains(line, "->") { + rules = append(rules, ReplacementRule{Old: line, New: ""}) + continue } + parts := strings.SplitN(line, "->", 2) old := strings.TrimSpace(parts[0]) newValue := strings.TrimSpace(parts[1]) - if old == "" || newValue == "" { - return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line) + if old == "" { + return nil, fmt.Errorf("неверное правило замены %q: пустое старое значение", line) } rules = append(rules, ReplacementRule{Old: old, New: newValue}) @@ -150,10 +137,18 @@ func (f *Filter) ShouldDelete(name string) bool { return exists } -// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения. func (f *Filter) applyReplacements(name string) string { result := name for _, rule := range f.replacements { + if rule.New == "" { + if f.ignoreCase { + result = replaceIgnoreCase(result, rule.Old, "") + } else { + result = strings.ReplaceAll(result, rule.Old, "") + } + continue + } + if f.ignoreCase { result = replaceIgnoreCase(result, rule.Old, rule.New) } else { @@ -163,6 +158,7 @@ func (f *Filter) applyReplacements(name string) string { return result } +// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения. func (f *Filter) Clean(name string, isDir bool) string { name = f.applyReplacements(name) @@ -175,14 +171,6 @@ func (f *Filter) Clean(name string, isDir bool) string { base = strings.TrimSuffix(name, ext) } - for _, kw := range f.words { - if f.ignoreCase { - base = replaceIgnoreCase(base, kw, "") - } else { - base = strings.ReplaceAll(base, kw, "") - } - } - base = strings.TrimSpace(base) base = strings.Join(strings.Fields(base), " ") @@ -193,6 +181,10 @@ func (f *Filter) Clean(name string, isDir bool) string { } func replaceIgnoreCase(s, old, replacement string) string { + if old == "" { + return s + } + lowerS := strings.ToLower(s) lowerOld := strings.ToLower(old) diff --git a/internal/keywords/keywords_test.go b/internal/keywords/keywords_test.go index 978ccaf..be18e1e 100644 --- a/internal/keywords/keywords_test.go +++ b/internal/keywords/keywords_test.go @@ -8,9 +8,9 @@ import ( func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) { dir := t.TempDir() - path := filepath.Join(dir, "nested", "words.txt") + path := filepath.Join(dir, "nested", "replacements.txt") - if err := ensureFileExists(path, "hello\n"); err != nil { + if err := ensureFileExists(path, "[spam]\n"); err != nil { t.Fatalf("ensureFileExists returned error: %v", err) } @@ -18,16 +18,19 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) { if err != nil { t.Fatalf("read created file: %v", err) } - if got := string(content); got != "hello\n" { + if got := string(content); got != "[spam]\n" { t.Fatalf("unexpected file content: %q", got) } } -func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) { +func TestFilterCleanRemovesKeywordsWithoutReplacement(t *testing.T) { filter := &Filter{ - words: []string{"[spam]", "VIP"}, - trash: map[string]struct{}{}, - replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}}, + trash: map[string]struct{}{}, + replacements: []ReplacementRule{ + {Old: "[spam]"}, + {Old: "VIP"}, + }, + ignoreCase: true, } if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" { @@ -41,7 +44,6 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) { func TestFilterCleanAppliesReplacementRules(t *testing.T) { filter := &Filter{ - words: []string{}, trash: map[string]struct{}{}, replacements: []ReplacementRule{ {Old: ".mp4.mp4", New: ".mp4"}, @@ -61,30 +63,26 @@ func TestFilterCleanAppliesReplacementRules(t *testing.T) { func TestLoadFromFilesParsesReplacementRules(t *testing.T) { dir := t.TempDir() - wordsPath := filepath.Join(dir, "words.txt") trashPath := filepath.Join(dir, "trash.txt") replacePath := filepath.Join(dir, "replacements.txt") - if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil { - t.Fatalf("write words: %v", err) - } if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil { t.Fatalf("write trash: %v", err) } - if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil { + if err := os.WriteFile(replacePath, []byte("# comment\n[spam]\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil { t.Fatalf("write replacements: %v", err) } - filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true) + filter, err := LoadFromFiles(trashPath, replacePath, true) if err != nil { t.Fatalf("LoadFromFiles returned error: %v", err) } - if len(filter.replacements) != 2 { - t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements)) + if len(filter.replacements) != 3 { + t.Fatalf("expected 3 replacement rules, got %d", len(filter.replacements)) } - if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" { + if got := filter.Clean("movie[spam].wmv.mp4", false); got != "movie.mp4" { t.Fatalf("Clean() = %q, want %q", got, "movie.mp4") } } diff --git a/internal/keywords/templates/replacements.txt b/internal/keywords/templates/replacements.txt index 8e199ec..07e4604 100644 --- a/internal/keywords/templates/replacements.txt +++ b/internal/keywords/templates/replacements.txt @@ -1,6 +1,10 @@ -# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов. -# Формат: old -> new +# Правила удаления и замены для исправления повторяющихся расширений и типовых мусорных суффиксов. +# Формат: "token" для удаления или "old -> new" для замены. # Строки, начинающиеся с #, игнорируются. +[SWBAND.CO] +[SuperSliv] +[SilaSliva.biz] +[SSL.BAND] .mp4.mp4 -> .mp4 .wmv.mp4 -> .mp4 \ No newline at end of file diff --git a/internal/keywords/templates/trash.txt b/internal/keywords/templates/trash.txt index e3b4047..96c95d1 100644 --- a/internal/keywords/templates/trash.txt +++ b/internal/keywords/templates/trash.txt @@ -5,12 +5,15 @@ Thumbs.db desktop.ini readme.url +00 ПРИМЕЧАНИЕ.pdf 150000 курсов ждут тебя!.url DMC.RIP - Качай редкие курсы!.url Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url SW.BAND - 150000 курсов ждут тебя!.url Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url +Актуальный адрес.png +Важно.png Важно! Перед стартом курса.docx Введение начни правильно.docx Всё, что скрывают инфобизнесмены.url @@ -18,6 +21,7 @@ Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Грабим инфобизнес ради знаний.url Доступ к сайту БЕЗ VPN - SuperSliv.CO.url Доступ ко всем складчинам со Skladchik_com.html +Инструкция.png Инструкция перед началом.docx Качай редкие курсы!.url Клад курсов — бери сколько сможешь.url @@ -39,4 +43,5 @@ Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Твой первый шаг здесь.docx Учёба без барьеров и ценников.url Шаг №1 — Прочти!.docx -‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt \ No newline at end of file +‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt +[SSL.BAND] Сначала смотрим это видео.mp4 \ No newline at end of file diff --git a/internal/keywords/templates/words.txt b/internal/keywords/templates/words.txt deleted file mode 100644 index 47b4703..0000000 --- a/internal/keywords/templates/words.txt +++ /dev/null @@ -1,5 +0,0 @@ -# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку). -# Строки, начинающиеся с #, игнорируются. -# Примеры типичных мусорных меток в названиях скачанных курсов. - -[SWBAND.CO] \ No newline at end of file