Add replacemnet

This commit is contained in:
Kirill Kalikin 2026-11-14 21:21:06 +07:00
parent b3c659373e
commit c4de8c29a7
7 changed files with 186 additions and 20 deletions

View File

@ -14,6 +14,7 @@ Go CLI-утилита для нормализации имён файлов и
- очистка имён файлов и папок по ключевым словам;
- поиск без учёта регистра по умолчанию;
- удаление точных имён файлов по списку мусора;
- нормализация повторяющихся расширений через `replacements.txt`;
- безопасный режим предпросмотра через `--dry-run`;
- автоматическое создание файлов словарей при отсутствии.
@ -49,7 +50,8 @@ go build -o cleaner ./cmd/cleaner
./cleaner \
--dir ./content \
--words-file ./config/words.txt \
--trash-file ./config/trash.txt
--trash-file ./config/trash.txt \
--replace-file ./config/replacements.txt
```
Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу.
@ -65,6 +67,7 @@ go build -o cleaner ./cmd/cleaner
- `--dir` — корневая папка для обработки;
- `--words-file` — список ключевых слов для удаления из имён;
- `--trash-file` — список точных имён файлов для удаления;
- `--replace-file` — список правил замены вида `old -> new`;
- `--dry-run` — показать действия без изменения файлов;
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
- `--version` — вывести метаданные сборки.
@ -93,6 +96,20 @@ desktop.ini
Совпадающие имена будут удалены с диска.
### `replacements.txt`
```text
# правила замены вида old -> new
# комментарии начинаются с #
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4
```
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
- `movie.mp4.mp4` -> `movie.mp4`
- `movie.wmv.mp4` -> `movie.mp4`
## Структура проекта
```text
@ -104,7 +121,8 @@ desktop.ini
│ ├── keywords/
│ │ ├── templates/
│ │ │ ├── words.txt
│ │ │ └── trash.txt
│ │ │ ├── trash.txt
│ │ │ └── replacements.txt
│ │ └── keywords.go
│ └── renamer/
│ └── renamer.go

View File

@ -25,6 +25,7 @@ func main() {
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
@ -36,7 +37,7 @@ func main() {
return
}
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *ignoreCaseFlag)
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
if err != nil {
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
os.Exit(1)

View File

@ -15,21 +15,33 @@ var defaultWordsTemplate string
//go:embed templates/trash.txt
var defaultTrashTemplate string
//go:embed templates/replacements.txt
var defaultReplacementTemplate string
type ReplacementRule struct {
Old string
New string
}
type Filter struct {
words []string
trash map[string]struct{}
ignoreCase bool
words []string
trash map[string]struct{}
replacements []ReplacementRule
ignoreCase bool
}
// LoadFromFiles читает списки из текстовых файлов.
// Если файл не существует, создаёт его с шаблоном по умолчанию.
func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error) {
func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
}
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
}
if err := ensureFileExists(replacementsPath, defaultReplacementTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
}
wordsList, err := readLines(wordsPath)
if err != nil {
@ -41,6 +53,11 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
}
replacementRules, err := readReplacementRules(replacementsPath)
if err != nil {
return nil, fmt.Errorf("ошибка чтения %s: %w", replacementsPath, err)
}
trashMap := make(map[string]struct{}, len(trashList))
for _, tf := range trashList {
key := tf
@ -51,9 +68,10 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
}
return &Filter{
words: wordsList,
trash: trashMap,
ignoreCase: ignoreCase,
words: wordsList,
trash: trashMap,
replacements: replacementRules,
ignoreCase: ignoreCase,
}, nil
}
@ -91,6 +109,38 @@ func readLines(path string) ([]string, error) {
return lines, scanner.Err()
}
func readReplacementRules(path string) ([]ReplacementRule, error) {
file, err := os.Open(path)
if err != nil {
return nil, err
}
defer file.Close()
var rules []ReplacementRule
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
if line == "" || strings.HasPrefix(line, "#") {
continue
}
parts := strings.SplitN(line, "->", 2)
if len(parts) != 2 {
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
}
old := strings.TrimSpace(parts[0])
newValue := strings.TrimSpace(parts[1])
if old == "" || newValue == "" {
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
}
rules = append(rules, ReplacementRule{Old: old, New: newValue})
}
return rules, scanner.Err()
}
func (f *Filter) ShouldDelete(name string) bool {
target := name
if f.ignoreCase {
@ -101,7 +151,21 @@ func (f *Filter) ShouldDelete(name string) bool {
}
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
func (f *Filter) applyReplacements(name string) string {
result := name
for _, rule := range f.replacements {
if f.ignoreCase {
result = replaceIgnoreCase(result, rule.Old, rule.New)
} else {
result = strings.ReplaceAll(result, rule.Old, rule.New)
}
}
return result
}
func (f *Filter) Clean(name string, isDir bool) string {
name = f.applyReplacements(name)
var base, ext string
if isDir {

View File

@ -25,8 +25,9 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
filter := &Filter{
words: []string{"[spam]", "VIP"},
trash: map[string]struct{}{},
words: []string{"[spam]", "VIP"},
trash: map[string]struct{}{},
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
}
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
@ -37,3 +38,53 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
t.Fatalf("Clean() = %q, want %q", got, "Movie")
}
}
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
filter := &Filter{
words: []string{},
trash: map[string]struct{}{},
replacements: []ReplacementRule{
{Old: ".mp4.mp4", New: ".mp4"},
{Old: ".wmv.mp4", New: ".mp4"},
},
ignoreCase: true,
}
if got := filter.Clean("video.mp4.mp4", false); got != "video.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "video.mp4")
}
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
}
}
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
dir := t.TempDir()
wordsPath := filepath.Join(dir, "words.txt")
trashPath := filepath.Join(dir, "trash.txt")
replacePath := filepath.Join(dir, "replacements.txt")
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
t.Fatalf("write words: %v", err)
}
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
t.Fatalf("write trash: %v", err)
}
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
t.Fatalf("write replacements: %v", err)
}
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
if err != nil {
t.Fatalf("LoadFromFiles returned error: %v", err)
}
if len(filter.replacements) != 2 {
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
}
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
}
}

View File

@ -0,0 +1,6 @@
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
# Формат: old -> new
# Строки, начинающиеся с #, игнорируются.
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4

View File

@ -5,13 +5,38 @@
Thumbs.db
desktop.ini
readme.url
Прочти перед изучением!.docx
Введение начни правильно.docx
Не пропусти этот шаг!.docx
Твой первый шаг здесь.docx
Шаг №1 — Прочти!.docx
Обязательно к прочтению.docx
150000 курсов ждут тебя!.url
DMC.RIP - Качай редкие курсы!.url
Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url
SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
SW.BAND - 150000 курсов ждут тебя!.url
Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
Важно! Перед стартом курса.docx
Ключ к успешному старту.docx
Введение начни правильно.docx
Всё, что скрывают инфобизнесмены.url
Главное перед изучением.docx
Инструкция перед началом.docx
Грабим инфобизнес ради знаний.url
Доступ к сайту БЕЗ VPN - SuperSliv.CO.url
Доступ ко всем складчинам со Skladchik_com.html
Инструкция перед началом.docx
Качай редкие курсы!.url
Клад курсов — бери сколько сможешь.url
Ключ к успешному старту.docx
Курсы без ценников и ограничений.url
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz.url
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz — копия.url
Начни от сюда!.png
Не пропусти этот шаг!.docx
Новинки_курсов_каждый_день!_Качай_курсы_тут_sliv_site.url
Обязательно к прочтению.docx
Открой_сокровищницу_ИНФО_пиратов_Boominfo_CO.url
Присоединяйся в Telegram - @eground_live.url
Прочти перед изучением!.docx
Рабочий Адрес сайта Boominfo.org.url
Робин Гуд в мире знаний.url
Сначала смотрим это видео.mp4
Тайный клад знаний в одном месте.url
Твой первый шаг здесь.docx
Учёба без барьеров и ценников.url
Шаг №1 — Прочти!.docx
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt

View File

@ -1,4 +1,5 @@
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
# Строки, начинающиеся с #, игнорируются.
# Примеры типичных мусорных меток в названиях скачанных курсов.
[SWBAND.CO]