Список дерева каталогов в Python

Ответы:

615

Это способ обойти каждый файл и каталог в дереве каталогов:

import os

for dirname, dirnames, filenames in os.walk('.'):
    # print path to all subdirectories first.
    for subdirname in dirnames:
        print(os.path.join(dirname, subdirname))

    # print path to all filenames.
    for filename in filenames:
        print(os.path.join(dirname, filename))

    # Advanced usage:
    # editing the 'dirnames' list will stop os.walk() from recursing into there.
    if '.git' in dirnames:
        # don't go into any .git directories.
        dirnames.remove('.git')
Jerub
источник
19
И если вы запустите этот код (как есть) из оболочки Python, вспомните, что Ctrl + C остановит вывод в указанную оболочку. ;)
Гари
41
Это будет рекурсивно перечислять файлы и каталоги
rds
Вы даже можете отредактировать список dirnames, чтобы он не повторялся по некоторым путям.
bugloaf
8
@ Clément "Когда topdown имеет значение True, вызывающая сторона может изменить список dirnames на месте (возможно, используя назначение del или slice), а walk () будет возвращаться только в подкаталоги, имена которых остаются в dirnames; это можно использовать для удаления выполнять поиск, навязывать определенный порядок посещения или даже сообщать walk () о каталогах, которые вызывающая сторона создает или переименовывает, прежде чем возобновить walk () снова. " от docs.python.org/2/library/os.html#os.walk
bugloaf
Самый простой способ игнорировать некоторые каталоги - это не добавлять их в имена каталоговfor subdirname in dirnames: if subdirname != '.git'
smci
537

Ты можешь использовать

os.listdir(path)

Для справки и других функций ОС смотрите здесь:

rslite
источник
1
Ну, первоначальный вопрос достаточно расплывчат, чтобы не знать, хотели ли они рекурсивного решения. «все файлы в каталоге» могут быть интерпретированы как рекурсивные.
Томми
3
@Tommy, «каталог» - это четко определенная структура данных, которая ссылается на «ls», а не на «ls -R». Кроме того, почти все инструменты UNIX по умолчанию не работают рекурсивно. Я не знаю, что имел в виду спрашивающий, но то, что он написал, было ясно.
Торстен Бронджер
Однако документы Python 3 рекомендуют вам использовать os.scandirвместо этого, поскольку во многих случаях это позволяет предотвращать системные вызовы, обеспечивая бесплатное ускорение (как IPC, так и IO работают медленно).
Джаппи Керк
5
listdir дает вам единственное имя файла в каталоге, есть ли способ получить полный путь?
greperror
1
@greperror Вы можете использовать os.path.abspath для получения полного пути. Также, чтобы проверить, является ли данный путь файлом, используйте os.path.isfile или os.path.isdir.
Александар
112

Вот вспомогательная функция, которую я использую довольно часто:

import os

def listdir_fullpath(d):
    return [os.path.join(d, f) for f in os.listdir(d)]
Гильтая
источник
3
Генератор будет лучше.
Роберт Симер
1
@RobertSiemer, который зависит от использования. Во многих случаях список будет лучше, но я думаю, генератор более универсален, поскольку его можно преобразовать в список. Это зависит от того, ищете ли вы, универсальность или что-то более упорядоченное.
Джеймс Мчуг
4
Прошло десять лет, но я думаю, что сделал это таким образом, потому что os.listdir () возвращает список, и я имитировал это.
Гилтай
82
import os

for filename in os.listdir("C:\\temp"):
    print  filename
curtisk
источник
16
r'C:\temp'является более ясным и предпочтительным, чем "C:\\temp"Rawstrings предпочтительнее, чем выходящие обратные слеши.
smci
13

Если вам нужны способности к сбору, для этого также есть модуль. Например:

import glob
glob.glob('./[0-9].*')

вернет что-то вроде:

['./1.gif', './2.txt']

Смотрите документацию здесь .

Kenny
источник
10

Попробуй это:

import os
for top, dirs, files in os.walk('./'):
    for nm in files:       
        print os.path.join(top, nm)
paxdiablo
источник
В одной строке: [top + os.sep + f для top, dirs, файлы в os.walk ('./') для f в файлах]
J. Peterson,
9

Для файлов в текущем рабочем каталоге без указания пути

Python 2.7:

import os
os.listdir(os.getcwd())

Python 3.x:

import os
os.listdir()

Спасибо Стаму Кали за комментарий к python 3.x

Дейв Инженер
источник
5
os.listdir()перечисляет элементы в текущем каталоге по умолчанию! Так что не надо os.getcwd():)
Стам
Как бы я это сделал? Когда я использую >>> os.listdir () без аргумента, я получаю: TypeError: listdir () принимает ровно 1 аргумент (дано 0)
Dave Engineer
2
Я полагаю, вы работаете на 2.7. Это было добавлено в 3.x
Stam
5

Рекурсивная реализация

import os

def scan_dir(dir):
    for name in os.listdir(dir):
        path = os.path.join(dir, name)
        if os.path.isfile(path):
            print path
        else:
            scan_dir(path)
Арнальдо П. Фигейра Фигейра
источник
3

Я написал длинную версию со всеми необходимыми опциями: http://sam.nipl.net/code/python/find.py

Я думаю, что это будет соответствовать и здесь:

#!/usr/bin/env python

import os
import sys

def ls(dir, hidden=False, relative=True):
    nodes = []
    for nm in os.listdir(dir):
        if not hidden and nm.startswith('.'):
            continue
        if not relative:
            nm = os.path.join(dir, nm)
        nodes.append(nm)
    nodes.sort()
    return nodes

def find(root, files=True, dirs=False, hidden=False, relative=True, topdown=True):
    root = os.path.join(root, '')  # add slash if not there
    for parent, ldirs, lfiles in os.walk(root, topdown=topdown):
        if relative:
            parent = parent[len(root):]
        if dirs and parent:
            yield os.path.join(parent, '')
        if not hidden:
            lfiles   = [nm for nm in lfiles if not nm.startswith('.')]
            ldirs[:] = [nm for nm in ldirs  if not nm.startswith('.')]  # in place
        if files:
            lfiles.sort()
            for nm in lfiles:
                nm = os.path.join(parent, nm)
                yield nm

def test(root):
    print "* directory listing, with hidden files:"
    print ls(root, hidden=True)
    print
    print "* recursive listing, with dirs, but no hidden files:"
    for f in find(root, dirs=True):
        print f
    print

if __name__ == "__main__":
    test(*sys.argv[1:])
Сэм Уоткинс
источник
3

Вот еще один вариант.

os.scandir(path='.')

Он возвращает итератор объектов os.DirEntry, соответствующих записям (вместе с информацией об атрибутах файла) в каталоге, заданном путем.

Пример:

with os.scandir(path) as it:
    for entry in it:
        if not entry.name.startswith('.'):
            print(entry.name)

Использование scandir () вместо listdir () может значительно повысить производительность кода, который также требует информацию о типе файла или атрибуте файла , поскольку объекты os.DirEntry предоставляют эту информацию, если операционная система предоставляет ее при сканировании каталога. Все методы os.DirEntry могут выполнять системный вызов, но для is_dir () и is_file () обычно требуется только системный вызов для символических ссылок; os.DirEntry.stat () всегда требует системного вызова в Unix, но требует только одного для символических ссылок в Windows.

Python Docs

Khaino
источник
3

Хотя os.listdir()это хорошо для создания списка имен файлов и каталогов, часто вы хотите делать больше, когда у вас есть эти имена - а в Python3 pathlib упрощает эти другие задачи . Давайте посмотрим, понравится ли вам это так же, как и мне.

Чтобы вывести содержимое каталога, создайте объект Path и возьмите итератор:

In [16]: Path('/etc').iterdir()
Out[16]: <generator object Path.iterdir at 0x110853fc0>

Если мы хотим просто список имен вещей:

In [17]: [x.name for x in Path('/etc').iterdir()]
Out[17]:
['emond.d',
 'ntp-restrict.conf',
 'periodic',

Если вы хотите только dirs:

In [18]: [x.name for x in Path('/etc').iterdir() if x.is_dir()]
Out[18]:
['emond.d',
 'periodic',
 'mach_init.d',

Если вам нужны имена всех файлов conf в этом дереве:

In [20]: [x.name for x in Path('/etc').glob('**/*.conf')]
Out[20]:
['ntp-restrict.conf',
 'dnsextd.conf',
 'syslog.conf',

Если вы хотите список conf файлов в дереве> = 1K:

In [23]: [x.name for x in Path('/etc').glob('**/*.conf') if x.stat().st_size > 1024]
Out[23]:
['dnsextd.conf',
 'pf.conf',
 'autofs.conf',

Разрешить относительные пути легко:

In [32]: Path('../Operational Metrics.md').resolve()
Out[32]: PosixPath('/Users/starver/code/xxxx/Operational Metrics.md')

Навигация с помощью Path довольно понятна (хотя и неожиданна):

In [10]: p = Path('.')

In [11]: core = p / 'web' / 'core'

In [13]: [x for x in core.iterdir() if x.is_file()]
Out[13]:
[PosixPath('web/core/metrics.py'),
 PosixPath('web/core/services.py'),
 PosixPath('web/core/querysets.py'),
Стив Тарвер
источник
1

Хороший лайнер, чтобы перечислять только файлы рекурсивно. Я использовал это в моей директиве setup.py package_data:

import os

[os.path.join(x[0],y) for x in os.walk('<some_directory>') for y in x[2]]

Я знаю, что это не ответ на вопрос, но может пригодиться

fivetentaylor
источник
1

Для Python 2

#!/bin/python2

import os

def scan_dir(path):
    print map(os.path.abspath, os.listdir(pwd))

Для Python 3

Для фильтра и карты вам нужно обернуть их списком ()

#!/bin/python3

import os

def scan_dir(path):
    print(list(map(os.path.abspath, os.listdir(pwd))))

В настоящее время рекомендуется заменить использование карты и фильтра выражениями генераторов или списками:

#!/bin/python

import os

def scan_dir(path):
    print([os.path.abspath(f) for f in os.listdir(path)])
Алехандро Бласко
источник
1

Вот однострочная версия Pythonic:

import os
dir = 'given_directory_name'
filenames = [os.path.join(os.path.dirname(os.path.abspath(__file__)),dir,i) for i in os.listdir(dir)]

В этом коде указывается полный путь ко всем файлам и каталогам в указанном имени каталога.

salehinejad
источник
Спасибо Салеху, но ваш код не работал полностью, и тот, который работал, был изменен следующим образом: 'dir =' Given_directory_name 'filenames = [os.path.abspath (os.path.join (dir, i)) для i в os.listdir (dir)] '
HassanSh__3571619
1

Я знаю, что это старый вопрос. Это аккуратный способ, с которым я столкнулся, если вы работаете на машине liunx.

import subprocess
print(subprocess.check_output(["ls", "/"]).decode("utf8"))
apeter
источник
0
#import modules
import os

_CURRENT_DIR = '.'


def rec_tree_traverse(curr_dir, indent):
    "recurcive function to traverse the directory"
    #print "[traverse_tree]"

    try :
        dfList = [os.path.join(curr_dir, f_or_d) for f_or_d in os.listdir(curr_dir)]
    except:
        print "wrong path name/directory name"
        return

    for file_or_dir in dfList:

        if os.path.isdir(file_or_dir):
            #print "dir  : ",
            print indent, file_or_dir,"\\"
            rec_tree_traverse(file_or_dir, indent*2)

        if os.path.isfile(file_or_dir):
            #print "file : ",
            print indent, file_or_dir

    #end if for loop
#end of traverse_tree()

def main():

    base_dir = _CURRENT_DIR

    rec_tree_traverse(base_dir," ")

    raw_input("enter any key to exit....")
#end of main()


if __name__ == '__main__':
    main()
Alok
источник
5
На этот вопрос уже есть очень хороший ответ, нет необходимости отвечать снова
Майк Пеннингтон
0

FYI Добавить фильтр расширения или расширения файла импорта ОС

path = '.'
for dirname, dirnames, filenames in os.walk(path):
    # print path to all filenames with extension py.
    for filename in filenames:
        fname_path = os.path.join(dirname, filename)
        fext = os.path.splitext(fname_path)[1]
        if fext == '.py':
            print fname_path
        else:
            continue
moylop260
источник
0

Если бы я понял, я бы добавил это. Простой и грязный способ поиска по шаблону.

import re
import os

[a for a in os.listdir(".") if re.search("^.*\.py$",a)]
bng44270
источник
0

Ниже приведен список каталогов и файлов в каталоге

def print_directory_contents(sPath):
        import os                                       
        for sChild in os.listdir(sPath):                
            sChildPath = os.path.join(sPath,sChild)
            if os.path.isdir(sChildPath):
                print_directory_contents(sChildPath)
            else:
                print(sChildPath)
Хинашри Кхандельвал
источник
0

Тот, который работал со мной, является своего рода измененной версией ответа Салеха выше.

Код выглядит следующим образом:

"dir = 'заданное_каталог_имя' filenames = [os.path.abspath (os.path.join (dir, i)) для i в os.listdir (dir)]"

HassanSh__3571619
источник