Jak wykonać zapytanie do folderu plików za pomocą SQL: 13 łączników folderów

Zestaw łączników plików · przewodnik rodzinny

Zmień dowolny folder plików w Tabele SQL które pozostają aktualne

Trzynaście łączników folderów, jeden pomysł: skieruj agenta Query Streams na folder w Twojej sieci, a on zbuduje tabele, oznaczy każdy wiersz plikiem, z którego pochodzi, i będzie je aktualizował w miarę pojawiania się, zmiany lub znikania plików. Możesz je przeszukiwać z poziomu Excela, Arkuszy Google, Nova, Claude lub REST API. Nic nie jest przesyłane, konwertowane ani edytowane.

13 typów folderów Nie potrzeba kodowania Pliki pozostają w Twojej sieci Bezpłatny plan obejmuje to

Utknąłeś w jakimś momencie? Po prostu zapytaj nas. Otwórz Wsparcie w Query Streams (menu w prawym górnym rogu → Wsparcie) i wyślij nam wiadomość. Przeczytają ją prawdziwi ludzie, a pytanie „Nie wiem, o co pyta ten ekran” jest jak najbardziej trafne.

Wybierz przewodnik dla swoich plików

Każda karta poniżej to jeden łącznik i jeden przewodnik. Każdy przewodnik obejmuje te same pięć kroków – instalację agenta, wskazanie folderu, sprawdzenie, co skompiluje, wybór częstotliwości skanowania, przegląd tabel – a następnie wyświetla tabele, zapytania i problemy specyficzne dla danego typu pliku. Nie wiesz, który z nich pasuje? W Portalu wybierz Pliki w folderze:Agent pobiera próbkę folderu i otwiera dla Ciebie odpowiednią kartę.

System plików

możliwy do zapytania spis wszystkich plików w Twoich folderach, wraz z rozmiarami, datami, historią zmian i wzrostem folderów, bez konieczności czytania zawartości plików.

Folder CSV

każdy plik CSV w folderze został scalony w jedną tabelę lub jedną tabelę na układ, a każdy wiersz został oznaczony tagiem pliku, z którego pochodzi.

Folder parkietowy

folder plików Parquet w postaci jednej tabeli z kolumnami i typami pobranymi ze stopek plików.

Folder Excela

arkusze każdego skoroszytu połączone w jedną tabelę na arkusz, np. zamówienia_danychlub jedną tabelę na układ w przypadku skoroszytów mieszanych.

Folder SQLite

wiele plików SQLite przeszukiwanych jako jedna baza danych, z połączonymi tabelami o tych samych nazwach i każdym wierszem oznaczonym tagiem odpowiadającym plikowi.

Folder JSONL

Pliki wierszy JSON spłaszczone do kolumn w jednej tabeli lub jednej tabeli na kształt.

Wielorekordowy plik CSV

jedna tabela na typ rekordu, np. dane_hdr oraz data_itm, dołączane według pliku i numeru sekwencyjnego.

Dzienniki maszynowe

Dzienniki CNC, PLC i robotów podłączone do wydarzenia tabela, a także tabele alarmów, cykli i przestojów dla obsługiwanych kontrolerów.

Dzienniki serwera WWW

jeden wiersz na żądanie z logów nginx, Apache, IIS lub Caddy, z adresem IP klienta, ścieżką, statusem i bajtami w postaci kolumn.

Dzienniki kontenerowe

Rejestry kontenerów Docker są wyświetlane w wierszach, a nazwa kontenera, strumień i komunikat w kolumnach.

Dzienniki aplikacji

Rejestry aplikacji w formacie JSON i tekstowym jako wiersze z poziomem, rejestratorem i komunikatem, ze śladami stosu przechowywanymi wraz ze zdarzeniem.

Dzienniki systemowe

Pliki syslog i journald jako wiersze zawierające dane hosta, programu, PID i komunikatu.

Niestandardowe dzienniki

dowolny dziennik tekstowy podzielony na kolumny, które opisujesz, przy czym nieprzetworzone wiersze są przechowywane w tabeli surowych wierszy.

Jak działa każdy łącznik folderów

Agent odczytuje folder na swoim komputerze, przechowuje wiersze w zaszyfrowanej pamięci podręcznej i uruchamia każde zapytanie w tej pamięci. Tylko wiersze zwrócone przez zapytanie są przesyłane na zewnątrz, przez jedno połączenie wychodzące. Nie ma portu do otwarcia, nie ma VPN, nie ma przesyłania.

Łącznik bazy danych wskazuje na serwer, który już ma tabele. Łącznik folderów wskazuje na foldery na komputerze agenta. Agent odczytuje pliki, przypina układ z próbki zawierającej do 64 plików, buduje tabele w zaszyfrowanej lokalnej pamięci podręcznej (jeden schemat DuckDB o nazwie zestaw plików) i odświeża je według wybranego harmonogramu. Pliki, które nie pasują do układu, są odkładane na bok i zgłaszane, nigdy nie są automatycznie usuwane ani zmieniane w niestandardowy kształt. Jeden łącznik odczytuje jeden typ pliku; folder z plikami CSV i Parquet to dwa łączniki w tym samym folderze.

Każdy łącznik folderów obsługuje również te same tabele księgowe, wszystkie w zestaw plików schemat:

Tabela	Co zawiera
`akta`	Każdy plik aktualnie w folderze: ścieżka, nazwa, rozszerzenie, rozmiar, czas utworzenia i modyfikacji, data pierwszego i ostatniego wyświetlenia. Widok `pliki_bieżące`, w którym przechowywane są również pliki, które zniknęły.
`pliki_wydarzenia`	Historia zmian: jeden wiersz na plik, który `pojawił się`, był `zmodyfikowany`, `zniknął`, został odłożony (`dryf`) lub był `odrzucony`, z czasem w `wydarzenie_w`, jak to zostało zauważone w `wykryte przez` i powód w `szczegół`.
`katalogi`, `migawki katalogów`, `kłęby`	Liczba i rozmiar folderów, sposób ich rozwoju oraz dyski lub udziały, na których są przechowywane.
`_plik_źródłowy`, `_id_wiersza`	Dwie kolumny w każdym wierszu danych: z którego pliku pochodzi wiersz i identyfikator stabilnego wiersza w tym pliku. Grupuj według `_plik_źródłowy` aby porównać pliki.

Czego będziesz potrzebować

Konto Query Streams

Łączniki folderów są dostępne w każdym planie, również w wersji darmowej. Wersja darmowa to plan, który można zachować, a nie okres próbny, który wygasa. Nie ma limitu liczby plików, które może zawierać folder.

Agent 2.6.0 lub nowszy

Zainstalowany na komputerze, który może otworzyć folder: na samym serwerze plików, komputerze biurowym lub komputerze, na którym znajdują się pliki. Starszy Agent wyświetla karty folderów jako wyszarzone z ikoną Agent 2.6.0+ odznaka. Windows, Mac lub Linux.

Ścieżka folderu, tak jak widzi ją Agent

Ścieżka lokalna lub udział sieciowy zapisany jako \\serwer\udział\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt lub /głoska bezdźwięczna, a Mac under /Volumes).

Gdzie odbywa się praca? Na komputerze, na którym działa Agent. Skanuje folder, kopiuje wiersze do zaszyfrowanej pamięci podręcznej (jeden schemat o nazwie zestaw plików) i uruchamia każde zapytanie w tej pamięci podręcznej. Twoje pliki są odczytywane, nigdy modyfikowane, przenoszone ani przesyłane.

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

Folders on a share? On Windows, one login covers every folder you add from the same server. Obserwuj folder pod kątem zmian works on a share too, on a best-effort basis; the scheduled scan is what guarantees every change is picked up.

Jak wyświetlają się nowe, zmienione i usunięte pliki

Nowe i zmienione pliki

Na każdym Interwał skanowania (lub w ciągu kilku sekund z Folder obserwowanych (włączone) Do nowego pliku, który pasuje do układu, dodawane są wiersze i pobierany jest pojawił się zdarzenie. Zmieniony plik jest ponownie odczytywany w jednej transakcji: stare wiersze odchodzą, nowe przychodzą i otrzymuje zmodyfikowany wydarzenie.

Usunięte pliki

Plik, który znika, domyślnie usuwa swoje wiersze lub pozostawia je oznaczone jako usunięte, jeśli wybrano opcję nagrobka, i otrzymuje zniknął Jeśli ponad połowa plików zniknie jednocześnie, skanowanie zostanie odrzucone, a poprzednia inwentaryzacja pozostanie: udostępnienie offline wygląda dokładnie tak samo.

Pliki odłożone

Plik, który nie pasuje do układu, nie może zostać otwarty lub przekracza limit, zostaje odrzucony w całości: żaden z jego wierszy nie zostanie załadowany, a pliki_wydarzenia dostaje dryf wiersz z nazwą pliku i kolumną. Napraw plik i zapisz go; następne skanowanie spróbuje ponownie.

Jak świeże jest to, co widzę?

Zapytania odpowiadają na pytania z ostatniego skanowania. Nie ma przycisków „Skanuj ponownie” ani „Synchronizuj teraz”. Interwał skanowania, monitor folderów i Odśwież przed udzieleniem odpowiedzi na zapytanie są trzema elementami sterującymi. MAX(ostatnio_widziany_utc) od pliki_bieżące informuje, kiedy Agent ostatni raz sprawdzał.

Pliki, które są odkładane

Na etapie „Sprawdź” i karcie „Manifest” pojawiają się trzy słowa. Oznaczają one różne rzeczy:

Odłożyć (zaparkować): Plik nie pasuje do przypiętego układu, jest nieczytelny, podarty, zablokowany lub zasłania nakładkę. Obowiązuje zasada „wszystko albo nic” dla każdego pliku: zaparkowany plik nie dodaje żadnych wierszy. pliki_wydarzenia rejestruje dryf rząd, którego szczegół nadaje nazwę plikowi i kolumnie. Plik jest pomijany, dopóki jego rozmiar i czas modyfikacji pozostają takie same, a próba jego pobrania jest podejmowana ponownie, gdy tylko nastąpi zmiana.
Nieczytelny: Agent nie mógł otworzyć ani przeanalizować pliku pod kątem jego typu: nie był to prawdziwy skoroszyt, zablokowany przez inny program, symbol zastępczy w chmurze, niemożliwy do zdekodowania bajt. Plik parkuje się sam, a reszta folderu kontynuuje działanie. Tylko folder z zerową liczbą plików do odczytu odrzuca cały zestaw.
Odrzucony: Agent nie mógł przypiąć żadnego układu, na przykład dlatego, że pliki nie zgadzają się co do typu kolumny. Żadna tabela danych jeszcze nie istnieje. pliki_wydarzenia dostaje odrzucony kłótnia z powodem szczegół, a Agent ponawia próby przy każdym skanowaniu, aż do momentu przypięcia układu. Napraw lub wyklucz plik, którego nazwę wskazuje, a komunikat zniknie.

Gdzie szukać: bursztynowy baner na Sprawdzać (Pokaż, które pliki i dlaczego), złącze Oczywisty Następnie kliknij kartę. W SQL: WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegół Z fileset.files_events GDZIE typ_zdarzenia W ('drift','refused') ZAMÓW WEDŁUG event_at DESC.

Używaj tabel wszędzie

Łącznik jest źródłem danych takim jak każde inne w strumieniach zapytań. Zapisz zapytanie raz w Kreator zapytań (dialekt to DuckDB) i użyj go z:

Excel

Dodatek Przesyłanie strumieniowe zapytania upuszcza wiersze do arkusza i uruchamia go ponownie po kliknięciu. Uruchamianie SQL w programie Excel.

Arkusze Google

Ten Streamer zapytań dodatek wypełnia wybraną przez Ciebie kartę. Power Query dla Arkuszy Google.

Claude, Cursor i inni klienci AI

Poprzez serwer MCP Query Streams Claude zna model folderów, w tym _plik_źródłowy oraz pliki_wydarzenia. Folder CSV z Claude'em przez MCP.

Interfejs API REST

Każde zapisane zapytanie staje się punktem końcowym przeznaczonym tylko do odczytu, mającym własny klucz, w każdym planie. Interfejs API REST folderu CSV.

Nova

Zapytaj prostym językiem w planie biznesowym; Nova rozpoznaje każdą tabelę i kolumnę folderu dzięki wbudowanym opisom.

Automatyzacje

Synchronizuj wiersze z Airtable, Smartsheet, Baserow, SeaTable lub arkuszem według harmonogramu. Przewodniki po automatyzacji.

Tabele folderów łączą się również z innymi łącznikami: zapytanie federacyjne może pasować _plik_źródłowy nazwy lub identyfikatory zamówień w folderze plików CSV w bazie danych na tym samym Agencie.

Granice, które warto znać

Plan nie nakłada limitu na foldery ani liczbę plików. Wiersze są wliczane do domeny danych, tak jak w przypadku każdego innego łącznika. Wartości domyślne łącznika można podwyższyć lub obniżyć:

Ustawienie	Domyślny	Co to robi
Maksymalna głębokość	8	Liczba poziomów folderów poniżej każdego katalogu głównego, które są skanowane (1–64).
Maksymalna liczba plików na skanowanie	100,000	Pliki rozpatrywane za jednym zamachem.
Maksymalny rozmiar pliku do hashowania	32 MiB	Tylko sprawy z Zawartość pliku hash NA.
Przechowywanie dziennika zdarzeń	30 dni	Jak długo `pliki_wydarzenia` rzędy są zachowane.
Paralelizm skanowania na pierwiastek	2	Foldery odczytywane są jednocześnie przez każdy katalog główny.

Limity zawartości, które parkują plik zamiast go skracać: 2 000 000 wierszy lub 512 MiB na plik, 10 000 000 wierszy lub 2 GiB na skanowanie. Folder może pomieścić maksymalnie 25 różnych układów. Jeden stół na układ tryb.

Pytania, które zadają ludzie

Czy moje pliki są gdzieś przesyłane?

Nie. Agent odczytuje je na swoim komputerze i przechowuje wiersze w zaszyfrowanej, lokalnej pamięci podręcznej. Zapytanie jest uruchamiane w tej pamięci podręcznej i tylko zwrócone wiersze opuszczają maszynę, poprzez jedno połączenie wychodzące. Pliki nigdy nie są modyfikowane, przenoszone ani konwertowane.

Czy muszę otworzyć port lub uruchomić sieć VPN?

Nie. Agent nawiązuje jedno połączenie wychodzące na porcie 443 i zarówno żądania, jak i wiersze są przez nie przesyłane. Jeśli połączenie wychodzące HTTPS działa, to to zadziała.

Czy folder może znajdować się w udziale sieciowym, OneDrive lub Dropbox?

Yes. Type a share as \\serwer\udział\folder, because the Agent runs as a service and cannot see drives mapped at your login. On Windows, store a login for the server if the share lets in only named people; without one the Agent reads as its own service account. On Linux or a Mac, mount the share first. A synced OneDrive or Dropbox folder works when its files are stored on the computer: set the folder to Zawsze trzymaj na tym urządzeniuAgent nie pobiera plików wyłącznie z chmury.

Folder zawiera więcej niż jeden rodzaj pliku. Jeden łącznik czy dwa?

Jeden łącznik odczytuje jeden typ pliku. Folder z plikami CSV i Parquet to dwa łączniki w tym samym katalogu głównym, po jednym dla każdego typu. Pliki, które nie pasują do wzorca dołączania, są ignorowane, a nie odkładane na bok.

Czy jest przycisk Skanuj ponownie?

Nie. Agent skanuje na Interwał skanowania, reaguje na zmiany, gdy Folder obserwowanych jest włączony i może ponownie skanować przed udzieleniem odpowiedzi na zapytanie po jego włączeniu. Edytuj łącznik, aby zmienić dowolną z trzech opcji.

Czy plan darmowy naprawdę to obejmuje?

Tak. Darmowy plan to taki, który można zachować, a nie okres próbny, który wygasa. Łączniki folderów nie mają własnego limitu plików; wiersze są wliczane do Twojego obszaru danych, tak jak w przypadku każdego innego łącznika. Sprawdź, co obejmuje każdy plan na stronie. strona z cenami.

Inne foldery Query Streams zamieniają się w tabeleJak wykonać zapytanie do folderu plików za pomocą SQL Wszystkie przewodniki po zestawach plików

Nadal masz problem? Otwórz Wsparcie w Query Streams i powiedz nam, na jakim etapie jesteś i co widzisz. Połączymy Cię.

Setup trouble?

Agent shows Offline, or Test connection and Browse are greyed out? Check that the Agent is online → Is the Agent online?