Add replacement
This commit is contained in:
parent
b3c659373e
commit
a19a167733
22
README.md
22
README.md
|
|
@ -14,6 +14,7 @@ Go CLI-утилита для нормализации имён файлов и
|
|||
- очистка имён файлов и папок по ключевым словам;
|
||||
- поиск без учёта регистра по умолчанию;
|
||||
- удаление точных имён файлов по списку мусора;
|
||||
- нормализация повторяющихся расширений через `replacements.txt`;
|
||||
- безопасный режим предпросмотра через `--dry-run`;
|
||||
- автоматическое создание файлов словарей при отсутствии.
|
||||
|
||||
|
|
@ -49,7 +50,8 @@ go build -o cleaner ./cmd/cleaner
|
|||
./cleaner \
|
||||
--dir ./content \
|
||||
--words-file ./config/words.txt \
|
||||
--trash-file ./config/trash.txt
|
||||
--trash-file ./config/trash.txt \
|
||||
--replace-file ./config/replacements.txt
|
||||
```
|
||||
|
||||
Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу.
|
||||
|
|
@ -65,6 +67,7 @@ go build -o cleaner ./cmd/cleaner
|
|||
- `--dir` — корневая папка для обработки;
|
||||
- `--words-file` — список ключевых слов для удаления из имён;
|
||||
- `--trash-file` — список точных имён файлов для удаления;
|
||||
- `--replace-file` — список правил замены вида `old -> new`;
|
||||
- `--dry-run` — показать действия без изменения файлов;
|
||||
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
|
||||
- `--version` — вывести метаданные сборки.
|
||||
|
|
@ -93,6 +96,20 @@ desktop.ini
|
|||
|
||||
Совпадающие имена будут удалены с диска.
|
||||
|
||||
### `replacements.txt`
|
||||
|
||||
```text
|
||||
# правила замены вида old -> new
|
||||
# комментарии начинаются с #
|
||||
.mp4.mp4 -> .mp4
|
||||
.wmv.mp4 -> .mp4
|
||||
```
|
||||
|
||||
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
|
||||
|
||||
- `movie.mp4.mp4` -> `movie.mp4`
|
||||
- `movie.wmv.mp4` -> `movie.mp4`
|
||||
|
||||
## Структура проекта
|
||||
|
||||
```text
|
||||
|
|
@ -104,7 +121,8 @@ desktop.ini
|
|||
│ ├── keywords/
|
||||
│ │ ├── templates/
|
||||
│ │ │ ├── words.txt
|
||||
│ │ │ └── trash.txt
|
||||
│ │ │ ├── trash.txt
|
||||
│ │ │ └── replacements.txt
|
||||
│ │ └── keywords.go
|
||||
│ └── renamer/
|
||||
│ └── renamer.go
|
||||
|
|
|
|||
|
|
@ -25,6 +25,7 @@ func main() {
|
|||
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
|
||||
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
|
||||
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
|
||||
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
|
||||
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
|
||||
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
|
||||
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
|
||||
|
|
@ -36,7 +37,7 @@ func main() {
|
|||
return
|
||||
}
|
||||
|
||||
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *ignoreCaseFlag)
|
||||
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
|
||||
if err != nil {
|
||||
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
|
||||
os.Exit(1)
|
||||
|
|
|
|||
|
|
@ -15,21 +15,33 @@ var defaultWordsTemplate string
|
|||
//go:embed templates/trash.txt
|
||||
var defaultTrashTemplate string
|
||||
|
||||
//go:embed templates/replacements.txt
|
||||
var defaultReplacementTemplate string
|
||||
|
||||
type ReplacementRule struct {
|
||||
Old string
|
||||
New string
|
||||
}
|
||||
|
||||
type Filter struct {
|
||||
words []string
|
||||
trash map[string]struct{}
|
||||
ignoreCase bool
|
||||
words []string
|
||||
trash map[string]struct{}
|
||||
replacements []ReplacementRule
|
||||
ignoreCase bool
|
||||
}
|
||||
|
||||
// LoadFromFiles читает списки из текстовых файлов.
|
||||
// Если файл не существует, создаёт его с шаблоном по умолчанию.
|
||||
func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error) {
|
||||
func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
|
||||
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
|
||||
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
|
||||
}
|
||||
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
|
||||
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
|
||||
}
|
||||
if err := ensureFileExists(replacementsPath, defaultReplacementTemplate); err != nil {
|
||||
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
|
||||
}
|
||||
|
||||
wordsList, err := readLines(wordsPath)
|
||||
if err != nil {
|
||||
|
|
@ -41,6 +53,11 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
|
|||
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
|
||||
}
|
||||
|
||||
replacementRules, err := readReplacementRules(replacementsPath)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("ошибка чтения %s: %w", replacementsPath, err)
|
||||
}
|
||||
|
||||
trashMap := make(map[string]struct{}, len(trashList))
|
||||
for _, tf := range trashList {
|
||||
key := tf
|
||||
|
|
@ -51,9 +68,10 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
|
|||
}
|
||||
|
||||
return &Filter{
|
||||
words: wordsList,
|
||||
trash: trashMap,
|
||||
ignoreCase: ignoreCase,
|
||||
words: wordsList,
|
||||
trash: trashMap,
|
||||
replacements: replacementRules,
|
||||
ignoreCase: ignoreCase,
|
||||
}, nil
|
||||
}
|
||||
|
||||
|
|
@ -91,6 +109,38 @@ func readLines(path string) ([]string, error) {
|
|||
return lines, scanner.Err()
|
||||
}
|
||||
|
||||
func readReplacementRules(path string) ([]ReplacementRule, error) {
|
||||
file, err := os.Open(path)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer file.Close()
|
||||
|
||||
var rules []ReplacementRule
|
||||
scanner := bufio.NewScanner(file)
|
||||
for scanner.Scan() {
|
||||
line := strings.TrimSpace(scanner.Text())
|
||||
if line == "" || strings.HasPrefix(line, "#") {
|
||||
continue
|
||||
}
|
||||
|
||||
parts := strings.SplitN(line, "->", 2)
|
||||
if len(parts) != 2 {
|
||||
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
|
||||
}
|
||||
|
||||
old := strings.TrimSpace(parts[0])
|
||||
newValue := strings.TrimSpace(parts[1])
|
||||
if old == "" || newValue == "" {
|
||||
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
|
||||
}
|
||||
|
||||
rules = append(rules, ReplacementRule{Old: old, New: newValue})
|
||||
}
|
||||
|
||||
return rules, scanner.Err()
|
||||
}
|
||||
|
||||
func (f *Filter) ShouldDelete(name string) bool {
|
||||
target := name
|
||||
if f.ignoreCase {
|
||||
|
|
@ -101,7 +151,21 @@ func (f *Filter) ShouldDelete(name string) bool {
|
|||
}
|
||||
|
||||
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
|
||||
func (f *Filter) applyReplacements(name string) string {
|
||||
result := name
|
||||
for _, rule := range f.replacements {
|
||||
if f.ignoreCase {
|
||||
result = replaceIgnoreCase(result, rule.Old, rule.New)
|
||||
} else {
|
||||
result = strings.ReplaceAll(result, rule.Old, rule.New)
|
||||
}
|
||||
}
|
||||
return result
|
||||
}
|
||||
|
||||
func (f *Filter) Clean(name string, isDir bool) string {
|
||||
name = f.applyReplacements(name)
|
||||
|
||||
var base, ext string
|
||||
|
||||
if isDir {
|
||||
|
|
|
|||
|
|
@ -25,8 +25,9 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
|
|||
|
||||
func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
||||
filter := &Filter{
|
||||
words: []string{"[spam]", "VIP"},
|
||||
trash: map[string]struct{}{},
|
||||
words: []string{"[spam]", "VIP"},
|
||||
trash: map[string]struct{}{},
|
||||
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
|
||||
}
|
||||
|
||||
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
|
||||
|
|
@ -37,3 +38,53 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
|||
t.Fatalf("Clean() = %q, want %q", got, "Movie")
|
||||
}
|
||||
}
|
||||
|
||||
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
|
||||
filter := &Filter{
|
||||
words: []string{},
|
||||
trash: map[string]struct{}{},
|
||||
replacements: []ReplacementRule{
|
||||
{Old: ".mp4.mp4", New: ".mp4"},
|
||||
{Old: ".wmv.mp4", New: ".mp4"},
|
||||
},
|
||||
ignoreCase: true,
|
||||
}
|
||||
|
||||
if got := filter.Clean("video.mp4.mp4", false); got != "video.mp4" {
|
||||
t.Fatalf("Clean() = %q, want %q", got, "video.mp4")
|
||||
}
|
||||
|
||||
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
|
||||
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
|
||||
}
|
||||
}
|
||||
|
||||
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
wordsPath := filepath.Join(dir, "words.txt")
|
||||
trashPath := filepath.Join(dir, "trash.txt")
|
||||
replacePath := filepath.Join(dir, "replacements.txt")
|
||||
|
||||
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
|
||||
t.Fatalf("write words: %v", err)
|
||||
}
|
||||
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
|
||||
t.Fatalf("write trash: %v", err)
|
||||
}
|
||||
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
|
||||
t.Fatalf("write replacements: %v", err)
|
||||
}
|
||||
|
||||
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
|
||||
if err != nil {
|
||||
t.Fatalf("LoadFromFiles returned error: %v", err)
|
||||
}
|
||||
|
||||
if len(filter.replacements) != 2 {
|
||||
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
|
||||
}
|
||||
|
||||
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
|
||||
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -0,0 +1,6 @@
|
|||
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
|
||||
# Формат: old -> new
|
||||
# Строки, начинающиеся с #, игнорируются.
|
||||
|
||||
.mp4.mp4 -> .mp4
|
||||
.wmv.mp4 -> .mp4
|
||||
|
|
@ -5,13 +5,38 @@
|
|||
Thumbs.db
|
||||
desktop.ini
|
||||
readme.url
|
||||
Прочти перед изучением!.docx
|
||||
Введение начни правильно.docx
|
||||
Не пропусти этот шаг!.docx
|
||||
Твой первый шаг здесь.docx
|
||||
Шаг №1 — Прочти!.docx
|
||||
Обязательно к прочтению.docx
|
||||
150000 курсов ждут тебя!.url
|
||||
DMC.RIP - Качай редкие курсы!.url
|
||||
Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url
|
||||
SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
|
||||
SW.BAND - 150000 курсов ждут тебя!.url
|
||||
Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
|
||||
Важно! Перед стартом курса.docx
|
||||
Ключ к успешному старту.docx
|
||||
Введение начни правильно.docx
|
||||
Всё, что скрывают инфобизнесмены.url
|
||||
Главное перед изучением.docx
|
||||
Грабим инфобизнес ради знаний.url
|
||||
Доступ к сайту БЕЗ VPN - SuperSliv.CO.url
|
||||
Доступ ко всем складчинам со Skladchik_com.html
|
||||
Инструкция перед началом.docx
|
||||
Качай редкие курсы!.url
|
||||
Клад курсов — бери сколько сможешь.url
|
||||
Ключ к успешному старту.docx
|
||||
Курсы без ценников и ограничений.url
|
||||
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz.url
|
||||
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz — копия.url
|
||||
Начни от сюда!.png
|
||||
Не пропусти этот шаг!.docx
|
||||
Новинки_курсов_каждый_день!_Качай_курсы_тут_sliv_site.url
|
||||
Обязательно к прочтению.docx
|
||||
Открой_сокровищницу_ИНФО_пиратов_Boominfo_CO.url
|
||||
Присоединяйся в Telegram - @eground_live.url
|
||||
Прочти перед изучением!.docx
|
||||
Рабочий Адрес сайта Boominfo.org.url
|
||||
Робин Гуд в мире знаний.url
|
||||
Сначала смотрим это видео.mp4
|
||||
Тайный клад знаний в одном месте.url
|
||||
Твой первый шаг здесь.docx
|
||||
Учёба без барьеров и ценников.url
|
||||
Шаг №1 — Прочти!.docx
|
||||
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt
|
||||
|
|
@ -1,4 +1,32 @@
|
|||
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
|
||||
# Строки, начинающиеся с #, игнорируются.
|
||||
# Примеры типичных мусорных меток в названиях скачанных курсов.
|
||||
|
||||
[SWBAND.CO]
|
||||
[SuperSliv]
|
||||
[sliv]
|
||||
[SLIV]
|
||||
[VIP]
|
||||
VIP
|
||||
[SITE]
|
||||
[course]
|
||||
course
|
||||
kurs
|
||||
Курс
|
||||
курс
|
||||
Курсы
|
||||
subtitles
|
||||
subtitle
|
||||
ru
|
||||
torrent
|
||||
pirate
|
||||
pirated
|
||||
download
|
||||
downloads
|
||||
serial
|
||||
pack
|
||||
mega
|
||||
club
|
||||
bonus
|
||||
promo
|
||||
archive
|
||||
Loading…
Reference in New Issue