Add replacemnet
This commit is contained in:
parent
b3c659373e
commit
c0e957c291
22
README.md
22
README.md
|
|
@ -14,6 +14,7 @@ Go CLI-утилита для нормализации имён файлов и
|
||||||
- очистка имён файлов и папок по ключевым словам;
|
- очистка имён файлов и папок по ключевым словам;
|
||||||
- поиск без учёта регистра по умолчанию;
|
- поиск без учёта регистра по умолчанию;
|
||||||
- удаление точных имён файлов по списку мусора;
|
- удаление точных имён файлов по списку мусора;
|
||||||
|
- нормализация повторяющихся расширений через `replacements.txt`;
|
||||||
- безопасный режим предпросмотра через `--dry-run`;
|
- безопасный режим предпросмотра через `--dry-run`;
|
||||||
- автоматическое создание файлов словарей при отсутствии.
|
- автоматическое создание файлов словарей при отсутствии.
|
||||||
|
|
||||||
|
|
@ -49,7 +50,8 @@ go build -o cleaner ./cmd/cleaner
|
||||||
./cleaner \
|
./cleaner \
|
||||||
--dir ./content \
|
--dir ./content \
|
||||||
--words-file ./config/words.txt \
|
--words-file ./config/words.txt \
|
||||||
--trash-file ./config/trash.txt
|
--trash-file ./config/trash.txt \
|
||||||
|
--replace-file ./config/replacements.txt
|
||||||
```
|
```
|
||||||
|
|
||||||
Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу.
|
Если файлы отсутствуют, программа создаёт их на основе встроенных шаблонов и продолжает работу.
|
||||||
|
|
@ -65,6 +67,7 @@ go build -o cleaner ./cmd/cleaner
|
||||||
- `--dir` — корневая папка для обработки;
|
- `--dir` — корневая папка для обработки;
|
||||||
- `--words-file` — список ключевых слов для удаления из имён;
|
- `--words-file` — список ключевых слов для удаления из имён;
|
||||||
- `--trash-file` — список точных имён файлов для удаления;
|
- `--trash-file` — список точных имён файлов для удаления;
|
||||||
|
- `--replace-file` — список правил замены вида `old -> new`;
|
||||||
- `--dry-run` — показать действия без изменения файлов;
|
- `--dry-run` — показать действия без изменения файлов;
|
||||||
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
|
- `-i` / `--ignore-case` — включить поиск без учёта регистра (по умолчанию);
|
||||||
- `--version` — вывести метаданные сборки.
|
- `--version` — вывести метаданные сборки.
|
||||||
|
|
@ -93,6 +96,20 @@ desktop.ini
|
||||||
|
|
||||||
Совпадающие имена будут удалены с диска.
|
Совпадающие имена будут удалены с диска.
|
||||||
|
|
||||||
|
### `replacements.txt`
|
||||||
|
|
||||||
|
```text
|
||||||
|
# правила замены вида old -> new
|
||||||
|
# комментарии начинаются с #
|
||||||
|
.mp4.mp4 -> .mp4
|
||||||
|
.wmv.mp4 -> .mp4
|
||||||
|
```
|
||||||
|
|
||||||
|
Это удобно для исправления повторяющихся расширений и типовых мусорных суффиксов, например:
|
||||||
|
|
||||||
|
- `movie.mp4.mp4` -> `movie.mp4`
|
||||||
|
- `movie.wmv.mp4` -> `movie.mp4`
|
||||||
|
|
||||||
## Структура проекта
|
## Структура проекта
|
||||||
|
|
||||||
```text
|
```text
|
||||||
|
|
@ -104,7 +121,8 @@ desktop.ini
|
||||||
│ ├── keywords/
|
│ ├── keywords/
|
||||||
│ │ ├── templates/
|
│ │ ├── templates/
|
||||||
│ │ │ ├── words.txt
|
│ │ │ ├── words.txt
|
||||||
│ │ │ └── trash.txt
|
│ │ │ ├── trash.txt
|
||||||
|
│ │ │ └── replacements.txt
|
||||||
│ │ └── keywords.go
|
│ │ └── keywords.go
|
||||||
│ └── renamer/
|
│ └── renamer/
|
||||||
│ └── renamer.go
|
│ └── renamer.go
|
||||||
|
|
|
||||||
|
|
@ -25,6 +25,7 @@ func main() {
|
||||||
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
|
dirFlag := flag.String("dir", ".", "Путь к корневой папке для обработки")
|
||||||
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
|
wordsFileFlag := flag.String("words-file", filepath.Join(workingDir, "words.txt"), "Путь к файлу со списком ключевых слов")
|
||||||
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
|
trashFileFlag := flag.String("trash-file", filepath.Join(workingDir, "trash.txt"), "Путь к файлу со списком удаляемых файлов")
|
||||||
|
replaceFileFlag := flag.String("replace-file", filepath.Join(workingDir, "replacements.txt"), "Путь к файлу со списком замен вида 'old -> new'")
|
||||||
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
|
dryRunFlag := flag.Bool("dry-run", false, "Пробный запуск без изменения и удаления файлов")
|
||||||
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
|
ignoreCaseFlag := flag.Bool("i", true, "Игнорировать регистр при поиске")
|
||||||
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
|
versionFlag := flag.Bool("version", false, "Показать версию утилиты")
|
||||||
|
|
@ -36,7 +37,7 @@ func main() {
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *ignoreCaseFlag)
|
filter, err := keywords.LoadFromFiles(*wordsFileFlag, *trashFileFlag, *replaceFileFlag, *ignoreCaseFlag)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
|
fmt.Fprintf(os.Stderr, "Ошибка загрузки списков: %v\n", err)
|
||||||
os.Exit(1)
|
os.Exit(1)
|
||||||
|
|
|
||||||
|
|
@ -15,21 +15,33 @@ var defaultWordsTemplate string
|
||||||
//go:embed templates/trash.txt
|
//go:embed templates/trash.txt
|
||||||
var defaultTrashTemplate string
|
var defaultTrashTemplate string
|
||||||
|
|
||||||
|
//go:embed templates/replacements.txt
|
||||||
|
var defaultReplacementTemplate string
|
||||||
|
|
||||||
|
type ReplacementRule struct {
|
||||||
|
Old string
|
||||||
|
New string
|
||||||
|
}
|
||||||
|
|
||||||
type Filter struct {
|
type Filter struct {
|
||||||
words []string
|
words []string
|
||||||
trash map[string]struct{}
|
trash map[string]struct{}
|
||||||
|
replacements []ReplacementRule
|
||||||
ignoreCase bool
|
ignoreCase bool
|
||||||
}
|
}
|
||||||
|
|
||||||
// LoadFromFiles читает списки из текстовых файлов.
|
// LoadFromFiles читает списки из текстовых файлов.
|
||||||
// Если файл не существует, создаёт его с шаблоном по умолчанию.
|
// Если файл не существует, создаёт его с шаблоном по умолчанию.
|
||||||
func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error) {
|
func LoadFromFiles(wordsPath, trashPath, replacementsPath string, ignoreCase bool) (*Filter, error) {
|
||||||
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
|
if err := ensureFileExists(wordsPath, defaultWordsTemplate); err != nil {
|
||||||
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
|
return nil, fmt.Errorf("не удалось подготовить файл слов %s: %w", wordsPath, err)
|
||||||
}
|
}
|
||||||
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
|
if err := ensureFileExists(trashPath, defaultTrashTemplate); err != nil {
|
||||||
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
|
return nil, fmt.Errorf("не удалось подготовить файл мусора %s: %w", trashPath, err)
|
||||||
}
|
}
|
||||||
|
if err := ensureFileExists(replacementsPath, defaultReplacementTemplate); err != nil {
|
||||||
|
return nil, fmt.Errorf("не удалось подготовить файл замен %s: %w", replacementsPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
wordsList, err := readLines(wordsPath)
|
wordsList, err := readLines(wordsPath)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
|
@ -41,6 +53,11 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
|
||||||
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
|
return nil, fmt.Errorf("ошибка чтения %s: %w", trashPath, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
replacementRules, err := readReplacementRules(replacementsPath)
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("ошибка чтения %s: %w", replacementsPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
trashMap := make(map[string]struct{}, len(trashList))
|
trashMap := make(map[string]struct{}, len(trashList))
|
||||||
for _, tf := range trashList {
|
for _, tf := range trashList {
|
||||||
key := tf
|
key := tf
|
||||||
|
|
@ -53,6 +70,7 @@ func LoadFromFiles(wordsPath, trashPath string, ignoreCase bool) (*Filter, error
|
||||||
return &Filter{
|
return &Filter{
|
||||||
words: wordsList,
|
words: wordsList,
|
||||||
trash: trashMap,
|
trash: trashMap,
|
||||||
|
replacements: replacementRules,
|
||||||
ignoreCase: ignoreCase,
|
ignoreCase: ignoreCase,
|
||||||
}, nil
|
}, nil
|
||||||
}
|
}
|
||||||
|
|
@ -91,6 +109,38 @@ func readLines(path string) ([]string, error) {
|
||||||
return lines, scanner.Err()
|
return lines, scanner.Err()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func readReplacementRules(path string) ([]ReplacementRule, error) {
|
||||||
|
file, err := os.Open(path)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
defer file.Close()
|
||||||
|
|
||||||
|
var rules []ReplacementRule
|
||||||
|
scanner := bufio.NewScanner(file)
|
||||||
|
for scanner.Scan() {
|
||||||
|
line := strings.TrimSpace(scanner.Text())
|
||||||
|
if line == "" || strings.HasPrefix(line, "#") {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
parts := strings.SplitN(line, "->", 2)
|
||||||
|
if len(parts) != 2 {
|
||||||
|
return nil, fmt.Errorf("неверное правило замены %q: ожидается формат 'old -> new'", line)
|
||||||
|
}
|
||||||
|
|
||||||
|
old := strings.TrimSpace(parts[0])
|
||||||
|
newValue := strings.TrimSpace(parts[1])
|
||||||
|
if old == "" || newValue == "" {
|
||||||
|
return nil, fmt.Errorf("неверное правило замены %q: пустое значение", line)
|
||||||
|
}
|
||||||
|
|
||||||
|
rules = append(rules, ReplacementRule{Old: old, New: newValue})
|
||||||
|
}
|
||||||
|
|
||||||
|
return rules, scanner.Err()
|
||||||
|
}
|
||||||
|
|
||||||
func (f *Filter) ShouldDelete(name string) bool {
|
func (f *Filter) ShouldDelete(name string) bool {
|
||||||
target := name
|
target := name
|
||||||
if f.ignoreCase {
|
if f.ignoreCase {
|
||||||
|
|
@ -101,7 +151,21 @@ func (f *Filter) ShouldDelete(name string) bool {
|
||||||
}
|
}
|
||||||
|
|
||||||
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
|
// Clean очищает имя. Для папок (isDir = true) имя обрабатывается целиком без отделения расширения.
|
||||||
|
func (f *Filter) applyReplacements(name string) string {
|
||||||
|
result := name
|
||||||
|
for _, rule := range f.replacements {
|
||||||
|
if f.ignoreCase {
|
||||||
|
result = replaceIgnoreCase(result, rule.Old, rule.New)
|
||||||
|
} else {
|
||||||
|
result = strings.ReplaceAll(result, rule.Old, rule.New)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return result
|
||||||
|
}
|
||||||
|
|
||||||
func (f *Filter) Clean(name string, isDir bool) string {
|
func (f *Filter) Clean(name string, isDir bool) string {
|
||||||
|
name = f.applyReplacements(name)
|
||||||
|
|
||||||
var base, ext string
|
var base, ext string
|
||||||
|
|
||||||
if isDir {
|
if isDir {
|
||||||
|
|
|
||||||
|
|
@ -27,6 +27,7 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
||||||
filter := &Filter{
|
filter := &Filter{
|
||||||
words: []string{"[spam]", "VIP"},
|
words: []string{"[spam]", "VIP"},
|
||||||
trash: map[string]struct{}{},
|
trash: map[string]struct{}{},
|
||||||
|
replacements: []ReplacementRule{{Old: ".wmv.mp4", New: ".mp4"}},
|
||||||
}
|
}
|
||||||
|
|
||||||
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
|
if got := filter.Clean("Movie [spam] Title", false); got != "Movie Title" {
|
||||||
|
|
@ -37,3 +38,53 @@ func TestFilterCleanRemovesKeywordsWithoutBreakingWordBoundaries(t *testing.T) {
|
||||||
t.Fatalf("Clean() = %q, want %q", got, "Movie")
|
t.Fatalf("Clean() = %q, want %q", got, "Movie")
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestFilterCleanAppliesReplacementRules(t *testing.T) {
|
||||||
|
filter := &Filter{
|
||||||
|
words: []string{},
|
||||||
|
trash: map[string]struct{}{},
|
||||||
|
replacements: []ReplacementRule{
|
||||||
|
{Old: ".mp4.mp4", New: ".mp4"},
|
||||||
|
{Old: ".wmv.mp4", New: ".mp4"},
|
||||||
|
},
|
||||||
|
ignoreCase: true,
|
||||||
|
}
|
||||||
|
|
||||||
|
if got := filter.Clean("video.mp4.mp4", false); got != "video.mp4" {
|
||||||
|
t.Fatalf("Clean() = %q, want %q", got, "video.mp4")
|
||||||
|
}
|
||||||
|
|
||||||
|
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
|
||||||
|
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLoadFromFilesParsesReplacementRules(t *testing.T) {
|
||||||
|
dir := t.TempDir()
|
||||||
|
wordsPath := filepath.Join(dir, "words.txt")
|
||||||
|
trashPath := filepath.Join(dir, "trash.txt")
|
||||||
|
replacePath := filepath.Join(dir, "replacements.txt")
|
||||||
|
|
||||||
|
if err := os.WriteFile(wordsPath, []byte("[spam]\n"), 0o644); err != nil {
|
||||||
|
t.Fatalf("write words: %v", err)
|
||||||
|
}
|
||||||
|
if err := os.WriteFile(trashPath, []byte("Thumbs.db\n"), 0o644); err != nil {
|
||||||
|
t.Fatalf("write trash: %v", err)
|
||||||
|
}
|
||||||
|
if err := os.WriteFile(replacePath, []byte("# comment\n.mp4.mp4 -> .mp4\n.wmv.mp4 -> .mp4\n"), 0o644); err != nil {
|
||||||
|
t.Fatalf("write replacements: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
filter, err := LoadFromFiles(wordsPath, trashPath, replacePath, true)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("LoadFromFiles returned error: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(filter.replacements) != 2 {
|
||||||
|
t.Fatalf("expected 2 replacement rules, got %d", len(filter.replacements))
|
||||||
|
}
|
||||||
|
|
||||||
|
if got := filter.Clean("movie.wmv.mp4", false); got != "movie.mp4" {
|
||||||
|
t.Fatalf("Clean() = %q, want %q", got, "movie.mp4")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
||||||
|
|
@ -0,0 +1,6 @@
|
||||||
|
# Правила замены для исправления повторяющихся расширений и типовых мусорных суффиксов.
|
||||||
|
# Формат: old -> new
|
||||||
|
# Строки, начинающиеся с #, игнорируются.
|
||||||
|
|
||||||
|
.mp4.mp4 -> .mp4
|
||||||
|
.wmv.mp4 -> .mp4
|
||||||
|
|
@ -5,13 +5,38 @@
|
||||||
Thumbs.db
|
Thumbs.db
|
||||||
desktop.ini
|
desktop.ini
|
||||||
readme.url
|
readme.url
|
||||||
Прочти перед изучением!.docx
|
150000 курсов ждут тебя!.url
|
||||||
Введение начни правильно.docx
|
DMC.RIP - Качай редкие курсы!.url
|
||||||
Не пропусти этот шаг!.docx
|
Eground - Скачивай платные курсы, тренинги и другие материалы бесплатно!.url
|
||||||
Твой первый шаг здесь.docx
|
SHAREWOOD_ZERKALO_COM_90000_курсов_на_нашем_форуме!.url
|
||||||
Шаг №1 — Прочти!.docx
|
SW.BAND - 150000 курсов ждут тебя!.url
|
||||||
Обязательно к прочтению.docx
|
Topkursy.com - Удаленные курсы Skillbox, GeekBrains, Герчик, Левчик, Вердикт и др.url
|
||||||
Важно! Перед стартом курса.docx
|
Важно! Перед стартом курса.docx
|
||||||
Ключ к успешному старту.docx
|
Введение начни правильно.docx
|
||||||
|
Всё, что скрывают инфобизнесмены.url
|
||||||
Главное перед изучением.docx
|
Главное перед изучением.docx
|
||||||
|
Грабим инфобизнес ради знаний.url
|
||||||
|
Доступ к сайту БЕЗ VPN - SuperSliv.CO.url
|
||||||
|
Доступ ко всем складчинам со Skladchik_com.html
|
||||||
Инструкция перед началом.docx
|
Инструкция перед началом.docx
|
||||||
|
Качай редкие курсы!.url
|
||||||
|
Клад курсов — бери сколько сможешь.url
|
||||||
|
Ключ к успешному старту.docx
|
||||||
|
Курсы без ценников и ограничений.url
|
||||||
|
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz.url
|
||||||
|
Курсы,_Тренинги,_Книги,_Семинары,_Качаем_ТУТ_SuperSliv_biz — копия.url
|
||||||
|
Начни от сюда!.png
|
||||||
|
Не пропусти этот шаг!.docx
|
||||||
|
Новинки_курсов_каждый_день!_Качай_курсы_тут_sliv_site.url
|
||||||
|
Обязательно к прочтению.docx
|
||||||
|
Открой_сокровищницу_ИНФО_пиратов_Boominfo_CO.url
|
||||||
|
Присоединяйся в Telegram - @eground_live.url
|
||||||
|
Прочти перед изучением!.docx
|
||||||
|
Рабочий Адрес сайта Boominfo.org.url
|
||||||
|
Робин Гуд в мире знаний.url
|
||||||
|
Сначала смотрим это видео.mp4
|
||||||
|
Тайный клад знаний в одном месте.url
|
||||||
|
Твой первый шаг здесь.docx
|
||||||
|
Учёба без барьеров и ценников.url
|
||||||
|
Шаг №1 — Прочти!.docx
|
||||||
|
‼️⚠️‼️Доступ на САЙТ SuperSliv.biz в России ТОЛЬКО ЧЕРЕЗ VPN!‼️⚠️‼️.txt
|
||||||
|
|
@ -1,4 +1,5 @@
|
||||||
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
|
# Список ключевых слов и тегов для удаления из имён файлов и папок (по одному на строку).
|
||||||
# Строки, начинающиеся с #, игнорируются.
|
# Строки, начинающиеся с #, игнорируются.
|
||||||
|
# Примеры типичных мусорных меток в названиях скачанных курсов.
|
||||||
|
|
||||||
[SWBAND.CO]
|
[SWBAND.CO]
|
||||||
Loading…
Reference in New Issue