Add replacemnet

This commit is contained in:
Kirill Kalikin 2026-11-14 21:21:06 +07:00
parent b3c659373e
commit c4de8c29a7
7 changed files with 186 additions and 20 deletions

View File

@ -14,6 +14,7 @@ Go CLI-утилита для нормализации имён файлов и
- очистка имён файлов и папок по ключевым словам; - очистка имён файлов и папок по ключевым словам;
- поиск без учёта регистра по умолчанию; - поиск без учёта регистра по умолчанию;
- удаление точных имён файлов по списку мусора; - удаление точных имён файлов по списку мусора;
- нормализация повторяющихся расширений через `replacements.txt`;
- безопасный режим предпросмотра через `--dry-run`; - безопасный режим предпросмотра через `--dry-run`;
- автоматическое создание файлов словарей при отсутствии. - автоматическое создание файлов словарей при отсутствии.
@ -49,7 +50,8 @@ go build -o cleaner ./cmd/cleaner
./cleaner \ ./cleaner \
--dir ./content \ --dir ./content \
--words-file ./config/words.txt \ --words-file ./config/words.txt \
--trash-file ./config/trash.txt --trash-file ./config/trash.txt \
--replace-file ./config/replacements.txt
``` ```
Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу. Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу.
@ -65,6 +67,7 @@ go build -o cleaner ./cmd/cleaner
- `--dir` — корневая папка для обработки; - `--dir` — корневая папка для обработки;
- `--words-file` — список ключевых слов для удаления из имён; - `--words-file` — список ключевых слов для удаления из имён;
- `--trash-file` — список точных имён файлов для удаления; - `--trash-file` — список точных имён файлов для удаления;
- `--replace-file` — список правил замены вида `old -> new`;
- `--dry-run` — показать действия без изменения файлов; - `--dry-run` — показать действия без изменения файлов;
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию); - `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
- `--version` — вывести метаданные сборки. - `--version` — вывести метаданные сборки.
@ -93,6 +96,20 @@ desktop.ini
Совпадающие имена будут удалены с диска. Совпадающие имена будут удалены с диска.
### `replacements.txt`
```text
# правила замены вида old -> new
# комментарии начинаются с #
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4
```
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
- `movie.mp4.mp4` -> `movie.mp4`
- `movie.wmv.mp4` -> `movie.mp4`
## Структура проекта ## Структура проекта
```text ```text
@ -104,7 +121,8 @@ desktop.ini
│ ├── keywords/ │ ├── keywords/
│ │ ├── templates/ │ │ ├── templates/
│ │ │ ├── words.txt │ │ │ ├── words.txt
│ │ │ └── trash.txt │ │ │ ├── trash.txt
│ │ │ └── replacements.txt
│ │ └── keywords.go │ │ └── keywords.go
│ └── renamer/ │ └── renamer/
│ └── renamer.go │ └── renamer.go

View File

@ -25,6 +25,7 @@ func main() {
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки") dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов") wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов") trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов") dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске") ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
versionFlag := flag.Bool("version", false, "Показать версию утилиты") versionFlag := flag.Bool("version", false, "Показать версию утилиты")
@ -36,7 +37,7 @@ func main() {
return return
} }
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *ignoreCaseFlag) filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
if err != nil { if err != nil {
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err) fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
os.Exit(1) os.Exit(1)

View File

@ -15,21 +15,33 @@ var defaultWordsTemplate string
//go:embed templates/trash.txt //go:embed templates/trash.txt
var defaultTrashTemplate string var defaultTrashTemplate string
//go:embed templates/replacements.txt
var defaultReplacementTemplate string
type ReplacementRule struct {
Old string
New string
}
type Filter struct { type Filter struct {
words []string words []string
trash map[string]struct{} trash map[string]struct{}
ignoreCase bool replacements []ReplacementRule
ignoreCase bool
} }
// LoadFromFiles читает списки из текстовых файлов. // LoadFromFiles читает списки из текстовых файлов.
// Если файл не существует, создаёт его с шаблоном по умолчанию. // Если файл не существует, создаёт его с шаблоном по умолчанию.
func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error) { func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil { if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err) return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
} }
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil { if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err) return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
} }
if err := ensureFileExists(replacementsPath, defaultReplacementTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
}
wordsList, err := readLines(wordsPath) wordsList, err := readLines(wordsPath)
if err != nil { if err != nil {
@ -41,6 +53,11 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err) return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
} }
replacementRules, err := readReplacementRules(replacementsPath)
if err != nil {
return nil, fmt.Errorf("ошибка чтения %s: %w", replacementsPath, err)
}
trashMap := make(map[string]struct{}, len(trashList)) trashMap := make(map[string]struct{}, len(trashList))
for _, tf := range trashList { for _, tf := range trashList {
key := tf key := tf
@ -51,9 +68,10 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
} }
return &Filter{ return &Filter{
words: wordsList, words: wordsList,
trash: trashMap, trash: trashMap,
ignoreCase: ignoreCase, replacements: replacementRules,
ignoreCase: ignoreCase,
}, nil }, nil
} }
@ -91,6 +109,38 @@ func readLines(path string) ([]string, error) {
return lines, scanner.Err() return lines, scanner.Err()
} }
func readReplacementRules(path string) ([]ReplacementRule, error) {
file, err := os.Open(path)
if err != nil {
return nil, err
}
defer file.Close()
var rules []ReplacementRule
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
if line == "" || strings.HasPrefix(line, "#") {
continue
}
parts := strings.SplitN(line, "->", 2)
if len(parts) != 2 {
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
}
old := strings.TrimSpace(parts[0])
newValue := strings.TrimSpace(parts[1])
if old == "" || newValue == "" {
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
}
rules = append(rules, ReplacementRule{Old: old, New: newValue})
}
return rules, scanner.Err()
}
func (f *Filter) ShouldDelete(name string) bool { func (f *Filter) ShouldDelete(name string) bool {
target := name target := name
if f.ignoreCase { if f.ignoreCase {
@ -101,7 +151,21 @@ func (f *Filter) ShouldDelete(name string) bool {
} }
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения. // Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
func (f *Filter) applyReplacements(name string) string {
result := name
for _, rule := range f.replacements {
if f.ignoreCase {
result = replaceIgnoreCase(result, rule.Old, rule.New)
} else {
result = strings.ReplaceAll(result, rule.Old, rule.New)
}
}
return result
}
func (f *Filter) Clean(name string, isDir bool) string { func (f *Filter) Clean(name string, isDir bool) string {
name = f.applyReplacements(name)
var base, ext string var base, ext string
if isDir { if isDir {

View File

@ -25,8 +25,9 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) { func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
filter := &Filter{ filter := &Filter{
words: []string{"[spam]", "VIP"}, words: []string{"[spam]", "VIP"},
trash: map[string]struct{}{}, trash: map[string]struct{}{},
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
} }
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" { if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
@ -37,3 +38,53 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
t.Fatalf("Clean() = %q, want %q", got, "Movie") t.Fatalf("Clean() = %q, want %q", got, "Movie")
} }
} }
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
filter := &Filter{
words: []string{},
trash: map[string]struct{}{},
replacements: []ReplacementRule{
{Old: ".mp4.mp4", New: ".mp4"},
{Old: ".wmv.mp4", New: ".mp4"},
},
ignoreCase: true,
}
if got := filter.Clean("video.mp4.mp4", false); got != "video.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "video.mp4")
}
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
}
}
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
dir := t.TempDir()
wordsPath := filepath.Join(dir, "words.txt")
trashPath := filepath.Join(dir, "trash.txt")
replacePath := filepath.Join(dir, "replacements.txt")
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
t.Fatalf("write words: %v", err)
}
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
t.Fatalf("write trash: %v", err)
}
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
t.Fatalf("write replacements: %v", err)
}
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
if err != nil {
t.Fatalf("LoadFromFiles returned error: %v", err)
}
if len(filter.replacements) != 2 {
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
}
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
}
}

View File

@ -0,0 +1,6 @@
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
# Формат: old -> new
# Строки, начинающиеся с #, игнорируются.
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4

View File

@ -5,13 +5,38 @@
Thumbs.db Thumbs.db
desktop.ini desktop.ini
readme.url readme.url
Прочти перед изучением!.docx 150000 курсов ждут тебя!.url
Введение начни правильно.docx DMC.RIP - Качай редкие курсы!.url
Не пропусти этот шаг!.docx Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url
Твой первый шаг здесь.docx SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
Шаг №1 — Прочти!.docx SW.BAND - 150000 курсов ждут тебя!.url
Обязательно к прочтению.docx Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
Важно! Перед стартом курса.docx Важно! Перед стартом курса.docx
Ключ к успешному старту.docx Введение начни правильно.docx
Всё, что скрывают инфобизнесмены.url
Главное перед изучением.docx Главное перед изучением.docx
Инструкция перед началом.docx Грабим инфобизнес ради знаний.url
Доступ к сайту БЕЗ VPN - SuperSliv.CO.url
Доступ ко всем складчинам со Skladchik_com.html
Инструкция перед началом.docx
Качай редкие курсы!.url
Клад курсов — бери сколько сможешь.url
Ключ к успешному старту.docx
Курсы без ценников и ограничений.url
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz.url
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz — копия.url
Начни от сюда!.png
Не пропусти этот шаг!.docx
Новинки_курсов_каждый_день!_Качай_курсы_тут_sliv_site.url
Обязательно к прочтению.docx
Открой_сокровищницу_ИНФО_пиратов_Boominfo_CO.url
Присоединяйся в Telegram - @eground_live.url
Прочти перед изучением!.docx
Рабочий Адрес сайта Boominfo.org.url
Робин Гуд в мире знаний.url
Сначала смотрим это видео.mp4
Тайный клад знаний в одном месте.url
Твой первый шаг здесь.docx
Учёба без барьеров и ценников.url
Шаг №1 — Прочти!.docx
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt

View File

@ -1,4 +1,5 @@
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку). # Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
# Строки, начинающиеся с #, игнорируются. # Строки, начинающиеся с #, игнорируются.
# Примеры типичных мусорных меток в названиях скачанных курсов.
[SWBAND.CO] [SWBAND.CO]