Move words to replacements

This commit is contained in:
Kirill Kalikin 2026-11-15 15:49:22 +07:00
parent c4de8c29a7
commit ec0fc6956a
7 changed files with 61 additions and 77 deletions

View File

@ -4,14 +4,14 @@ Go CLI-утилита для нормализации имён файлов и
## Обзор
Инструмент рекурсивно обходит целевую директорию, удаляет заданные ключевые слова из имён файлов и папок и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью.
Инструмент рекурсивно обходит целевую директорию, удаляет невалидные фрагменты имён по правилам из файла замен и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью.
Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов или повторяющиеся служебные строки в именах файлов.
Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов, повторяющиеся служебные строки или дублирующиеся расширения в именах файлов.
## Возможности
- рекурсивный обход целевой директории;
- очистка имён файлов и папок по ключевым словам;
- удаление или замена фрагментов в именах файлов и папок через один словарь правил;
- поиск без учёта регистра по умолчанию;
- удаление точных имён файлов по списку мусора;
- нормализация повторяющихся расширений через `replacements.txt`;
@ -49,7 +49,6 @@ go build -o cleaner ./cmd/cleaner
```bash
./cleaner \
--dir ./content \
--words-file ./config/words.txt \
--trash-file ./config/trash.txt \
--replace-file ./config/replacements.txt
```
@ -65,25 +64,14 @@ go build -o cleaner ./cmd/cleaner
Доступные параметры:
- `--dir` — корневая папка для обработки;
- `--words-file` — список ключевых слов для удаления из имён;
- `--trash-file` — список точных имён файлов для удаления;
- `--replace-file` — список правил замены вида `old -> new`;
- `--replace-file` — список правил вида `token` для удаления или `old -> new` для замены;
- `--dry-run` — показать действия без изменения файлов;
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
- `--version` — вывести метаданные сборки.
## Формат словарей
### `words.txt`
```text
# комментарии начинаются с #
# по одному слову на строку
[SWBAND.CO]
```
Эти значения будут удаляться из имён файлов и папок.
### `trash.txt`
```text
@ -99,14 +87,18 @@ desktop.ini
### `replacements.txt`
```text
# правила замены вида old -> new
# правила удаления и замены
# формат: token для удаления или old -> new для замены
# комментарии начинаются с #
[SWBAND.CO]
VIP
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4
```
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
- `movie[SWBAND.CO].mp4` -> `movie.mp4`
- `movie.mp4.mp4` -> `movie.mp4`
- `movie.wmv.mp4` -> `movie.mp4`
@ -120,7 +112,6 @@ desktop.ini
├── internal/
│ ├── keywords/
│ │ ├── templates/
│ │ │ ├── words.txt
│ │ │ ├── trash.txt
│ │ │ └── replacements.txt
│ │ └── keywords.go
@ -138,9 +129,9 @@ desktop.ini
- сначала проверяйте запуск на копии данных;
- используйте `--dry-run` перед массовой очисткой;
- храните пользовательские словари под контролем версий;
- проверяйте списки ключевых слов перед запуском на больших архивах;
- проверяйте правила удаления и замены перед запуском на больших архивах;
- не указывайте `--dir` на важные системные папки.
## Примечания
Словари по умолчанию встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские словари.
Шаблоны словарей встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские правила удаления и замены.

View File

@ -23,9 +23,8 @@ func main() {
}
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new' или 'old' для удаления")
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
@ -37,7 +36,7 @@ func main() {
return
}
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
filter, err := keywords.LoadFromFiles(*trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
if err != nil {
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
os.Exit(1)

View File

@ -9,9 +9,6 @@ import (
"strings"
)
//go:embed templates/words.txt
var defaultWordsTemplate string
//go:embed templates/trash.txt
var defaultTrashTemplate string
@ -24,7 +21,6 @@ type ReplacementRule struct {
}
type Filter struct {
words []string
trash map[string]struct{}
replacements []ReplacementRule
ignoreCase bool
@ -32,10 +28,7 @@ type Filter struct {
// LoadFromFiles читает списки из текстовых файлов.
// Если файл не существует, создаёт его с шаблоном по умолчанию.
func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
}
func LoadFromFiles(trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
}
@ -43,11 +36,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
}
wordsList, err := readLines(wordsPath)
if err != nil {
return nil, fmt.Errorf("ошибка чтения %s: %w", wordsPath, err)
}
trashList, err := readLines(trashPath)
if err != nil {
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
@ -68,7 +56,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo
}
return &Filter{
words: wordsList,
trash: trashMap,
replacements: replacementRules,
ignoreCase: ignoreCase,
@ -99,7 +86,6 @@ func readLines(path string) ([]string, error) {
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
// Пропускаем пустые строки и комментарии
if line == "" || strings.HasPrefix(line, "#") {
continue
}
@ -124,15 +110,16 @@ func readReplacementRules(path string) ([]ReplacementRule, error) {
continue
}
parts := strings.SplitN(line, "->", 2)
if len(parts) != 2 {
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
if !strings.Contains(line, "->") {
rules = append(rules, ReplacementRule{Old: line, New: ""})
continue
}
parts := strings.SplitN(line, "->", 2)
old := strings.TrimSpace(parts[0])
newValue := strings.TrimSpace(parts[1])
if old == "" || newValue == "" {
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
if old == "" {
return nil, fmt.Errorf("неверное правило замены %q: пустое старое значение", line)
}
rules = append(rules, ReplacementRule{Old: old, New: newValue})
@ -150,10 +137,18 @@ func (f *Filter) ShouldDelete(name string) bool {
return exists
}
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
func (f *Filter) applyReplacements(name string) string {
result := name
for _, rule := range f.replacements {
if rule.New == "" {
if f.ignoreCase {
result = replaceIgnoreCase(result, rule.Old, "")
} else {
result = strings.ReplaceAll(result, rule.Old, "")
}
continue
}
if f.ignoreCase {
result = replaceIgnoreCase(result, rule.Old, rule.New)
} else {
@ -163,6 +158,7 @@ func (f *Filter) applyReplacements(name string) string {
return result
}
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
func (f *Filter) Clean(name string, isDir bool) string {
name = f.applyReplacements(name)
@ -175,14 +171,6 @@ func (f *Filter) Clean(name string, isDir bool) string {
base = strings.TrimSuffix(name, ext)
}
for _, kw := range f.words {
if f.ignoreCase {
base = replaceIgnoreCase(base, kw, "")
} else {
base = strings.ReplaceAll(base, kw, "")
}
}
base = strings.TrimSpace(base)
base = strings.Join(strings.Fields(base), " ")
@ -193,6 +181,10 @@ func (f *Filter) Clean(name string, isDir bool) string {
}
func replaceIgnoreCase(s, old, replacement string) string {
if old == "" {
return s
}
lowerS := strings.ToLower(s)
lowerOld := strings.ToLower(old)

View File

@ -8,9 +8,9 @@ import (
func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
dir := t.TempDir()
path := filepath.Join(dir, "nested", "words.txt")
path := filepath.Join(dir, "nested", "replacements.txt")
if err := ensureFileExists(path, "hello\n"); err != nil {
if err := ensureFileExists(path, "[spam]\n"); err != nil {
t.Fatalf("ensureFileExists returned error: %v", err)
}
@ -18,16 +18,19 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
if err != nil {
t.Fatalf("read created file: %v", err)
}
if got := string(content); got != "hello\n" {
if got := string(content); got != "[spam]\n" {
t.Fatalf("unexpected file content: %q", got)
}
}
func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
func TestFilterCleanRemovesKeywordsWithoutReplacement(t *testing.T) {
filter := &Filter{
words: []string{"[spam]", "VIP"},
trash: map[string]struct{}{},
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
trash: map[string]struct{}{},
replacements: []ReplacementRule{
{Old: "[spam]"},
{Old: "VIP"},
},
ignoreCase: true,
}
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
@ -41,7 +44,6 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
filter := &Filter{
words: []string{},
trash: map[string]struct{}{},
replacements: []ReplacementRule{
{Old: ".mp4.mp4", New: ".mp4"},
@ -61,30 +63,26 @@ func TestFilterCleanAppliesReplacementRules(t *testing.T) {
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
dir := t.TempDir()
wordsPath := filepath.Join(dir, "words.txt")
trashPath := filepath.Join(dir, "trash.txt")
replacePath := filepath.Join(dir, "replacements.txt")
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
t.Fatalf("write words: %v", err)
}
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
t.Fatalf("write trash: %v", err)
}
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
if err := os.WriteFile(replacePath, []byte("# comment\n[spam]\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
t.Fatalf("write replacements: %v", err)
}
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
filter, err := LoadFromFiles(trashPath, replacePath, true)
if err != nil {
t.Fatalf("LoadFromFiles returned error: %v", err)
}
if len(filter.replacements) != 2 {
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
if len(filter.replacements) != 3 {
t.Fatalf("expected 3 replacement rules, got %d", len(filter.replacements))
}
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
if got := filter.Clean("movie[spam].wmv.mp4", false); got != "movie.mp4" {
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
}
}

View File

@ -1,6 +1,10 @@
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
# Формат: old -> new
# Правила удаления и замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
# Формат: "token" для удаления или "old -> new" для замены.
# Строки, начинающиеся с #, игнорируются.
[SWBAND.CO]
[SuperSliv]
[SilaSliva.biz]
[SSL.BAND]
.mp4.mp4 -> .mp4
.wmv.mp4 -> .mp4

View File

@ -5,12 +5,15 @@
Thumbs.db
desktop.ini
readme.url
00 ПРИМЕЧАНИЕ.pdf
150000 курсов ждут тебя!.url
DMC.RIP - Качай редкие курсы!.url
Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url
SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
SW.BAND - 150000 курсов ждут тебя!.url
Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
Актуальный адрес.png
Важно.png
Важно! Перед стартом курса.docx
Введение начни правильно.docx
Всё, что скрывают инфобизнесмены.url
@ -18,6 +21,7 @@ Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик,
Грабим инфобизнес ради знаний.url
Доступ к сайту БЕЗ VPN - SuperSliv.CO.url
Доступ ко всем складчинам со Skladchik_com.html
Инструкция.png
Инструкция перед началом.docx
Качай редкие курсы!.url
Клад курсов — бери сколько сможешь.url
@ -39,4 +43,5 @@ Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик,
Твой первый шаг здесь.docx
Учёба без барьеров и ценников.url
Шаг №1 — Прочти!.docx
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt
[SSL.BAND] Сначала смотрим это видео.mp4

View File

@ -1,5 +0,0 @@
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
# Строки, начинающиеся с #, игнорируются.
# Примеры типичных мусорных меток в названиях скачанных курсов.
[SWBAND.CO]