Move words to replacements
This commit is contained in:
parent
c4de8c29a7
commit
d3b4680a4b
31
README.md
31
README.md
|
|
@ -4,14 +4,14 @@ Go CLI-утилита для нормализации имён файлов и
|
|||
|
||||
## Обзор
|
||||
|
||||
Инструмент рекурсивно обходит целевую директорию, удаляет заданные ключевые слова из имён файлов и папок и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью.
|
||||
Инструмент рекурсивно обходит целевую директорию, удаляет невалидные фрагменты имён по правилам из файла замен и удаляет файлы, совпадающие с точным списком мусора, например служебные метаданные ОС или кэши превью.
|
||||
|
||||
Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов или повторяющиеся служебные строки в именах файлов.
|
||||
Подходит для задач очистки, когда в загруженных материалах встречаются рекламные подписи, названия сервисов, повторяющиеся служебные строки или дублирующиеся расширения в именах файлов.
|
||||
|
||||
## Возможности
|
||||
|
||||
- рекурсивный обход целевой директории;
|
||||
- очистка имён файлов и папок по ключевым словам;
|
||||
- удаление или замена фрагментов в именах файлов и папок через один словарь правил;
|
||||
- поиск без учёта регистра по умолчанию;
|
||||
- удаление точных имён файлов по списку мусора;
|
||||
- нормализация повторяющихся расширений через `replacements.txt`;
|
||||
|
|
@ -49,7 +49,6 @@ go build -o cleaner ./cmd/cleaner
|
|||
```bash
|
||||
./cleaner \
|
||||
--dir ./content \
|
||||
--words-file ./config/words.txt \
|
||||
--trash-file ./config/trash.txt \
|
||||
--replace-file ./config/replacements.txt
|
||||
```
|
||||
|
|
@ -65,25 +64,14 @@ go build -o cleaner ./cmd/cleaner
|
|||
Доступные параметры:
|
||||
|
||||
- `--dir` — корневая папка для обработки;
|
||||
- `--words-file` — список ключевых слов для удаления из имён;
|
||||
- `--trash-file` — список точных имён файлов для удаления;
|
||||
- `--replace-file` — список правил замены вида `old -> new`;
|
||||
- `--replace-file` — список правил вида `token` для удаления или `old -> new` для замены;
|
||||
- `--dry-run` — показать действия без изменения файлов;
|
||||
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
|
||||
- `--version` — вывести метаданные сборки.
|
||||
|
||||
## Формат словарей
|
||||
|
||||
### `words.txt`
|
||||
|
||||
```text
|
||||
# комментарии начинаются с #
|
||||
# по одному слову на строку
|
||||
[SWBAND.CO]
|
||||
```
|
||||
|
||||
Эти значения будут удаляться из имён файлов и папок.
|
||||
|
||||
### `trash.txt`
|
||||
|
||||
```text
|
||||
|
|
@ -99,14 +87,18 @@ desktop.ini
|
|||
### `replacements.txt`
|
||||
|
||||
```text
|
||||
# правила замены вида old -> new
|
||||
# правила удаления и замены
|
||||
# формат: token для удаления или old -> new для замены
|
||||
# комментарии начинаются с #
|
||||
[SWBAND.CO]
|
||||
VIP
|
||||
.mp4.mp4 -> .mp4
|
||||
.wmv.mp4 -> .mp4
|
||||
```
|
||||
|
||||
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
|
||||
|
||||
- `movie[SWBAND.CO].mp4` -> `movie.mp4`
|
||||
- `movie.mp4.mp4` -> `movie.mp4`
|
||||
- `movie.wmv.mp4` -> `movie.mp4`
|
||||
|
||||
|
|
@ -120,7 +112,6 @@ desktop.ini
|
|||
├── internal/
|
||||
│ ├── keywords/
|
||||
│ │ ├── templates/
|
||||
│ │ │ ├── words.txt
|
||||
│ │ │ ├── trash.txt
|
||||
│ │ │ └── replacements.txt
|
||||
│ │ └── keywords.go
|
||||
|
|
@ -138,9 +129,9 @@ desktop.ini
|
|||
- сначала проверяйте запуск на копии данных;
|
||||
- используйте `--dry-run` перед массовой очисткой;
|
||||
- храните пользовательские словари под контролем версий;
|
||||
- проверяйте списки ключевых слов перед запуском на больших архивах;
|
||||
- проверяйте правила удаления и замены перед запуском на больших архивах;
|
||||
- не указывайте `--dir` на важные системные папки.
|
||||
|
||||
## Примечания
|
||||
|
||||
Словари по умолчанию встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские словари.
|
||||
Шаблоны словарей встроены в бинарник через Go `embed`, но приложение создаёт локальные файлы, если они отсутствуют. Это сохраняет бинарник самодостаточным и одновременно позволяет использовать пользовательские правила удаления и замены.
|
||||
|
|
|
|||
|
|
@ -23,9 +23,8 @@ func main() {
|
|||
}
|
||||
|
||||
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
|
||||
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
|
||||
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
|
||||
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
|
||||
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new' или 'old' для удаления")
|
||||
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
|
||||
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
|
||||
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
|
||||
|
|
@ -37,7 +36,7 @@ func main() {
|
|||
return
|
||||
}
|
||||
|
||||
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
|
||||
filter, err := keywords.LoadFromFiles(*trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
|
||||
if err != nil {
|
||||
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
|
||||
os.Exit(1)
|
||||
|
|
|
|||
|
|
@ -9,9 +9,6 @@ import (
|
|||
"strings"
|
||||
)
|
||||
|
||||
//go:embed templates/words.txt
|
||||
var defaultWordsTemplate string
|
||||
|
||||
//go:embed templates/trash.txt
|
||||
var defaultTrashTemplate string
|
||||
|
||||
|
|
@ -24,7 +21,6 @@ type ReplacementRule struct {
|
|||
}
|
||||
|
||||
type Filter struct {
|
||||
words []string
|
||||
trash map[string]struct{}
|
||||
replacements []ReplacementRule
|
||||
ignoreCase bool
|
||||
|
|
@ -32,10 +28,7 @@ type Filter struct {
|
|||
|
||||
// LoadFromFiles читает списки из текстовых файлов.
|
||||
// Если файл не существует, создаёт его с шаблоном по умолчанию.
|
||||
func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
|
||||
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
|
||||
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
|
||||
}
|
||||
func LoadFromFiles(trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
|
||||
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
|
||||
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
|
||||
}
|
||||
|
|
@ -43,11 +36,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo
|
|||
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
|
||||
}
|
||||
|
||||
wordsList, err := readLines(wordsPath)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("ошибка чтения %s: %w", wordsPath, err)
|
||||
}
|
||||
|
||||
trashList, err := readLines(trashPath)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
|
||||
|
|
@ -68,7 +56,6 @@ func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase boo
|
|||
}
|
||||
|
||||
return &Filter{
|
||||
words: wordsList,
|
||||
trash: trashMap,
|
||||
replacements: replacementRules,
|
||||
ignoreCase: ignoreCase,
|
||||
|
|
@ -99,7 +86,6 @@ func readLines(path string) ([]string, error) {
|
|||
scanner := bufio.NewScanner(file)
|
||||
for scanner.Scan() {
|
||||
line := strings.TrimSpace(scanner.Text())
|
||||
// Пропускаем пустые строки и комментарии
|
||||
if line == "" || strings.HasPrefix(line, "#") {
|
||||
continue
|
||||
}
|
||||
|
|
@ -124,15 +110,16 @@ func readReplacementRules(path string) ([]ReplacementRule, error) {
|
|||
continue
|
||||
}
|
||||
|
||||
parts := strings.SplitN(line, "->", 2)
|
||||
if len(parts) != 2 {
|
||||
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
|
||||
if !strings.Contains(line, "->") {
|
||||
rules = append(rules, ReplacementRule{Old: line, New: ""})
|
||||
continue
|
||||
}
|
||||
|
||||
parts := strings.SplitN(line, "->", 2)
|
||||
old := strings.TrimSpace(parts[0])
|
||||
newValue := strings.TrimSpace(parts[1])
|
||||
if old == "" || newValue == "" {
|
||||
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
|
||||
if old == "" {
|
||||
return nil, fmt.Errorf("неверное правило замены %q: пустое старое значение", line)
|
||||
}
|
||||
|
||||
rules = append(rules, ReplacementRule{Old: old, New: newValue})
|
||||
|
|
@ -150,10 +137,18 @@ func (f *Filter) ShouldDelete(name string) bool {
|
|||
return exists
|
||||
}
|
||||
|
||||
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
|
||||
func (f *Filter) applyReplacements(name string) string {
|
||||
result := name
|
||||
for _, rule := range f.replacements {
|
||||
if rule.New == "" {
|
||||
if f.ignoreCase {
|
||||
result = replaceIgnoreCase(result, rule.Old, "")
|
||||
} else {
|
||||
result = strings.ReplaceAll(result, rule.Old, "")
|
||||
}
|
||||
continue
|
||||
}
|
||||
|
||||
if f.ignoreCase {
|
||||
result = replaceIgnoreCase(result, rule.Old, rule.New)
|
||||
} else {
|
||||
|
|
@ -163,6 +158,7 @@ func (f *Filter) applyReplacements(name string) string {
|
|||
return result
|
||||
}
|
||||
|
||||
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
|
||||
func (f *Filter) Clean(name string, isDir bool) string {
|
||||
name = f.applyReplacements(name)
|
||||
|
||||
|
|
@ -175,14 +171,6 @@ func (f *Filter) Clean(name string, isDir bool) string {
|
|||
base = strings.TrimSuffix(name, ext)
|
||||
}
|
||||
|
||||
for _, kw := range f.words {
|
||||
if f.ignoreCase {
|
||||
base = replaceIgnoreCase(base, kw, "")
|
||||
} else {
|
||||
base = strings.ReplaceAll(base, kw, "")
|
||||
}
|
||||
}
|
||||
|
||||
base = strings.TrimSpace(base)
|
||||
base = strings.Join(strings.Fields(base), " ")
|
||||
|
||||
|
|
@ -193,6 +181,10 @@ func (f *Filter) Clean(name string, isDir bool) string {
|
|||
}
|
||||
|
||||
func replaceIgnoreCase(s, old, replacement string) string {
|
||||
if old == "" {
|
||||
return s
|
||||
}
|
||||
|
||||
lowerS := strings.ToLower(s)
|
||||
lowerOld := strings.ToLower(old)
|
||||
|
||||
|
|
|
|||
|
|
@ -8,9 +8,9 @@ import (
|
|||
|
||||
func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
path := filepath.Join(dir, "nested", "words.txt")
|
||||
path := filepath.Join(dir, "nested", "replacements.txt")
|
||||
|
||||
if err := ensureFileExists(path, "hello\n"); err != nil {
|
||||
if err := ensureFileExists(path, "[spam]\n"); err != nil {
|
||||
t.Fatalf("ensureFileExists returned error: %v", err)
|
||||
}
|
||||
|
||||
|
|
@ -18,16 +18,19 @@ func TestEnsureFileExistsCreatesMissingParentDirectory(t *testing.T) {
|
|||
if err != nil {
|
||||
t.Fatalf("read created file: %v", err)
|
||||
}
|
||||
if got := string(content); got != "hello\n" {
|
||||
if got := string(content); got != "[spam]\n" {
|
||||
t.Fatalf("unexpected file content: %q", got)
|
||||
}
|
||||
}
|
||||
|
||||
func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
||||
func TestFilterCleanRemovesKeywordsWithoutReplacement(t *testing.T) {
|
||||
filter := &Filter{
|
||||
words: []string{"[spam]", "VIP"},
|
||||
trash: map[string]struct{}{},
|
||||
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
|
||||
replacements: []ReplacementRule{
|
||||
{Old: "[spam]"},
|
||||
{Old: "VIP"},
|
||||
},
|
||||
ignoreCase: true,
|
||||
}
|
||||
|
||||
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
|
||||
|
|
@ -41,7 +44,6 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
|||
|
||||
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
|
||||
filter := &Filter{
|
||||
words: []string{},
|
||||
trash: map[string]struct{}{},
|
||||
replacements: []ReplacementRule{
|
||||
{Old: ".mp4.mp4", New: ".mp4"},
|
||||
|
|
@ -61,30 +63,26 @@ func TestFilterCleanAppliesReplacementRules(t *testing.T) {
|
|||
|
||||
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
wordsPath := filepath.Join(dir, "words.txt")
|
||||
trashPath := filepath.Join(dir, "trash.txt")
|
||||
replacePath := filepath.Join(dir, "replacements.txt")
|
||||
|
||||
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
|
||||
t.Fatalf("write words: %v", err)
|
||||
}
|
||||
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
|
||||
t.Fatalf("write trash: %v", err)
|
||||
}
|
||||
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
|
||||
if err := os.WriteFile(replacePath, []byte("# comment\n[spam]\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
|
||||
t.Fatalf("write replacements: %v", err)
|
||||
}
|
||||
|
||||
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
|
||||
filter, err := LoadFromFiles(trashPath, replacePath, true)
|
||||
if err != nil {
|
||||
t.Fatalf("LoadFromFiles returned error: %v", err)
|
||||
}
|
||||
|
||||
if len(filter.replacements) != 2 {
|
||||
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
|
||||
if len(filter.replacements) != 3 {
|
||||
t.Fatalf("expected 3 replacement rules, got %d", len(filter.replacements))
|
||||
}
|
||||
|
||||
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
|
||||
if got := filter.Clean("movie[spam].wmv.mp4", false); got != "movie.mp4" {
|
||||
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -1,6 +1,9 @@
|
|||
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
|
||||
# Формат: old -> new
|
||||
# Правила удаления и замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
|
||||
# Формат: "token" для удаления или "old -> new" для замены.
|
||||
# Строки, начинающиеся с #, игнорируются.
|
||||
|
||||
[SWBAND.CO]
|
||||
[SuperSliv]
|
||||
[SilaSliva.biz]
|
||||
.mp4.mp4 -> .mp4
|
||||
.wmv.mp4 -> .mp4
|
||||
|
|
@ -11,6 +11,7 @@ Eground - Скачивай платные курсы, тренинги и дру
|
|||
SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
|
||||
SW.BAND - 150000 курсов ждут тебя!.url
|
||||
Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
|
||||
Важно.png
|
||||
Важно! Перед стартом курса.docx
|
||||
Введение начни правильно.docx
|
||||
Всё, что скрывают инфобизнесмены.url
|
||||
|
|
|
|||
|
|
@ -1,5 +0,0 @@
|
|||
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
|
||||
# Строки, начинающиеся с #, игнорируются.
|
||||
# Примеры типичных мусорных меток в названиях скачанных курсов.
|
||||
|
||||
[SWBAND.CO]
|
||||
Loading…
Reference in New Issue