Zapytaj pliki CSV z wieloma rekordami za pomocą SQL

Łącznik folderów · Wiele rekordów

Przekształć pliki CSV, które łączą kilka typów rekordów w Tabele SQL możesz zapytać gdziekolwiek

Skieruj agenta strumieni zapytań na folder. Odczytuje on pliki na własnym komputerze, tworzy tabele w lokalnej pamięci podręcznej i aktualizuje je w miarę pojawiania się, zmiany lub znikania plików. Możesz przeszukiwać je z poziomu Excela, Arkuszy Google, Nova, Claude lub interfejsu API REST. Nic nie jest przesyłane, a żaden plik nie jest konwertowany ani edytowany.

Około 15 minut Nie potrzeba kodowania Pliki pozostają w Twojej sieci Bezpłatny plan obejmuje to

Co z tego wyjdzie?

W rezultacie powstaje jedna tabela SQL na typ rekordu. Plik CSV, którego wiersze są oznaczone tagami HDR, ITM i TRL, staje się zestaw_plików.data_hdr, zestaw_plików.data_itm oraz zestaw_plików.data_trl, z których każda zawiera ten typ rekordu z każdego pliku w folderze. Kolumny są numerowane według pozycji, pole_1 do pole_Ni każdy rząd niesie _plik_źródłowy oraz _sekw., dzięki czemu można połączyć nagłówek z jego szczegółami za pomocą dwóch kolumn. Agent odczytuje folder na swoim komputerze, buforuje wiersze w zaszyfrowanym magazynie lokalnym i udostępnia je jako dane SQL w Excelu, Arkuszach Google, Kreatorze zapytań lub dowolnym innym kliencie. Pliki pozostają w sieci.

Każda tabela znajduje się w jednym schemacie o nazwie zestaw plikówTabele są nazywane dla Ciebie, jedna na tag rekordu: dane_<znacznik>, więc tag HDR staje się zestaw_plików.data_hdr. Z Zakres tabeli zabierać się do pracy Jedna tabela na rozszerzenie pliku i tag, nazwa staje się data_<rozszerzenie>_<znacznik>, który oddziela ten sam tag od różnych typów plików. Kolumny są pole_1 do pole_N według pozycji, z pominięciem kolumny z tagiem. Każdy wiersz zawiera również _sekw., wystąpienie tego znacznika w pliku od 0 i klucz połączenia między typami rekordów, plus _plik_źródłowy i _id_wiersza formularza ścieżka:linia.

Każdy łącznik folderów udostępnia również tabele księgowe akta, pliki_wydarzenia, katalogi, migawki katalogów oraz kłęby.

Gdzie zarabia na swoje utrzymanie:

• Pliki wsadowe do banku zapytań, listy płac lub EDI, które łączą w sobie wiersze nagłówkowe, szczegółowe i końcowe.
• Uzgadnianie sum całkowitych każdego zwiastuna pliku z jego wierszami szczegółowymi w jednym zapytaniu.
• Załaduj pliki wsadowe do programu Excel lub Arkuszy Google jako odpowiednie tabele zamiast dzielić je ręcznie.

Czego będziesz potrzebować

Konto Query Streams

Łączniki folderów są dostępne w każdym planie, również w wersji darmowej. Wersja darmowa to plan, który można zachować, a nie okres próbny, który wygasa. Nie ma limitu liczby plików, które może zawierać folder.

Agent 2.6.0 lub nowszy

Zainstalowany na komputerze, który może otworzyć folder: na samym serwerze plików, komputerze biurowym lub komputerze, na którym znajdują się pliki. Starszy Agent wyświetla karty folderów jako wyszarzone z ikoną Agent 2.6.0+ odznaka. Windows, Mac lub Linux.

Ścieżka folderu, tak jak widzi ją Agent

Ścieżka lokalna lub udział sieciowy zapisany jako \\serwer\udział\folderAgent działa jako usługa, więc nie widzi dysków zmapowanych podczas logowania (Z: i podobnych). W systemie Linux należy zamontować udziały w /mnt lub /głoska bezdźwięczna.

Skonfiguruj w pięciu krokach

1. Zainstaluj agenta na komputerze, który może otworzyć folder

   Zaloguj się, otwórz Pobieraći zainstaluj agenta dla swojego systemu na komputerze, który może otwierać pliki CSV łączące kilka typów rekordów: na serwerze plików lub na dowolnym komputerze stale aktywnym, który ma dostęp do udziału. Zajmie to minutę i od tego momentu uruchomi się automatycznie. Wymagana jest wersja 2.6.0 lub nowsza; strona pobierania zawsze zawiera aktualną wersję.

   Dlaczego mały program, a nie sterownik? Agent wymaga jednej instalacji dla systemów Windows, Mac lub Linux (około 85 MB w systemie Windows, nieco ponad 100 MB w systemach Mac i Linux). Otwiera jedno szyfrowane połączenie wychodzące do strumieni zapytań i jest to jedyna ścieżka sieciowa, której potrzebuje: nie otwiera portu przychodzącego ani nie używa VPN. Odczytuje folder, w którym się znajduje, dzięki czemu pliki pozostają na swoim miejscu, a przez internet do dodatku, przeglądarki lub klienta AI po Twojej stronie przesyłane są tylko wiersze zwrócone przez zapytanie.

   Strona pobierania pokazuje Twój klucz dostępuWklej to do agenta, gdy o to poprosi i poczekaj, aż odznaka zostanie odczytana Połączono ze strumieniami zapytańTo jest jedyna czynność, którą wykonujesz na komputerze Agenta; cała reszta odbywa się w Twojej przeglądarce.

   Pełne opisy przejść, jeśli ich potrzebujesz: Okna, Prochowiec, Linux.

2. Skieruj go do plików CSV, które łączą kilka typów rekordów

   Wróć do swojej przeglądarki i otwórz Dane → Agenci danych, znajdź agenta, którego właśnie zainstalowałeś i kliknij jego Dodaj złącze przycisk. Otwórz Pliki i foldery pigułkę i wybierz Wielorekordowy plik CSV Karta. Nie wiesz, która karta pasuje? Wybierz Pliki w folderze Zamiast tego: Agent pobiera próbkę folderu, podaje nazwę jego zawartości na stronie „Co znaleźliśmy” i otwiera dla Ciebie odpowiednią, wstępnie wypełnioną kartę.

   Czarodziej biegnie Foldery → Sprawdź → Ustawienia → Królestwo → Przejrzyj. NA Lornetka składana:

   Foldery główne

   Jedna ścieżka w wierszu, tak jak widzi ją komputer agenta. Każdy folder wyświetla status (dostępny, odrzucony, brakujący, niedostępny) zaraz po dodaniu. Jeśli udział wymaga logowania, dodaj je w wierszu folderu; jest ono przechowywane raz na serwerze.

   Skanuj podfoldery, maksymalna głębokość

   Włączone i 8 poziomów domyślnie.

   Uwzględnij wzorce, Wyklucz wzorce

   Które pliki się liczą. Wzorzec dołączania zaczyna się od właściwego globu dla tej karty. Jeden konektor odczytuje jeden typ pliku: folder z plikiem CSV. oraz Pliki Parquet to dwa łączniki w tym samym folderze, po jednym dla każdego typu.

   Podążaj za dowiązaniami symbolicznymi i połączeniami

   Domyślnie wyłączone. Agent nie będzie śledził skrótów ani symboli zastępczych w chmurze, jeśli tej opcji nie włączysz.

   Zainstaluj agenta Query Streams (wersja 2.6.0 lub nowsza) na komputerze, który może otworzyć folder. Z poziomu tego agenta Dodaj złącze przycisk, otwórz Pliki i foldery i wybierz Wielorekordowy plik CSV karta.

   • Foldery główne:foldery na komputerze agenta do przeskanowania, po jednym w wierszu. Wpisz udziały sieciowe jako \\serwer\udział\folder, nie jest to zmapowana litera dysku.
   • Uwzględnij wzorce zaczyna się jako **/*.csv.
   • Układ pliku, Kolumna znacznika rekordu (numer) oraz Rozgranicznik: która kolumna zawiera tag rekordu i co oddziela pola.
   • Zakres tabeli: pozostaw wartość domyślną dla jednej tabeli na tag. Wybierz Jedna tabela na rozszerzenie pliku i tag aby zachować ten sam tag z różnych rodzajów plików w oddzielnych tabelach.

   Nie ma Nazwa tabeli pole i nie Układ tabeli wybór. Tabele są nazwane dane_<znacznik>W notatce wyjaśniono, że wszystkie dopasowane pliki muszą współdzielić jeden układ, przypięty z próbki podczas pierwszej synchronizacji; pliki, które później nie będą zgodne, zostaną odłożone na bok i zgłoszone.

3. Sprawdź co zbuduje

   NA Sprawdzać Agent odczytuje próbkę do 64 plików i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Przycisk wyświetla Połączenie testowe dopóki nie zostanie wydany wyrok, Następny; Przetestuj ponownie Ponownie uruchamia próbkę po wprowadzeniu zmian. Zobaczysz jeden z czterech nagłówków:

   Gotowy do stworzenia

   Każdy z wybranych plików pasuje. Chipy pod nim wskazują, ile folderów było dostępnych, ile plików i wierszy oraz które tabele będą istnieć.

   Gotowe, z notatkami

   Niektóre pliki zostaną odłożone na bok lub odrzucona zostanie próba odczytania układu. Bursztynowy baner dokładnie informuje, który z nich: „{n} z {m} plików zostanie odłożonych na bok” z Pokaż, które pliki i dlaczego listę i „Możesz ją utworzyć mimo wszystko — łącznik będzie ją sprawdzał i raportował przyczynę na karcie Manifest”.

   Wymaga uwagi

   Agent jest offline lub brakuje folderu. Napraw to przed kontynuacją. Strona informuje o tym, gdy Agent jest offline i nadal pozwala kontynuować.

   Odmowa lub odłożenie plików nigdy Cię nie zablokuje: kliknij NastępnyZakończ działanie kreatora i napraw niepotrzebne pliki później. Tylko agent offline lub brakujący folder mogą zatrzymać działanie kreatora.

   NA SprawdzaćAgent odczytuje próbkę do 64 plików i wyświetla liczbę plików, rozmiar, szacunkową liczbę wierszy oraz tabele, które utworzy, po jednej na każdy znaleziony tag rekordu, w układzie takim jak „3 tabele: data_hdr, data_itm, data_trl”. Nic jeszcze nie zostało utworzone. Jeśli kolumna tagów jest ustawiona nieprawidłowo, tagi wyświetlane przez Agenta nie będą wyglądać jak Twoje typy rekordów, co jest sygnałem do powrotu i zmiany. Kolumna znacznika rekordu (numer) lub RozgranicznikPliki, których Agent nie mógł odczytać jako CSV, pojawiają się w sekcji Pokaż, które pliki i dlaczego jako odłożone, z banerem „1 z 12 plików zostanie odłożony”, a reszta nadal się ładuje. Możesz utworzyć łącznik w dowolny sposób; sprawdza on ponownie i zgłasza przyczynę na swoim Oczywisty patka.

4. Wybierz częstotliwość skanowania, a następnie utwórz skanowanie

   Domyślne ustawienia Ustawienia Odpowiedni dla folderu, który otrzymuje kilka plików dziennie. Cztery rzeczy, które możesz chcieć zmienić:

   Interwał skanowania

   Co godzinę Domyślnie; wybierz od co 5 minut do codziennie. Każde przeszukanie porównuje rozmiar i czas modyfikacji, aby znaleźć nowe, zmienione i usunięte pliki.

   Obserwuj folder pod kątem zmian (w czasie niemal rzeczywistym)

   Domyślnie wyłączone. Włączone, agent reaguje w ciągu kilku sekund na dyskach lokalnych; w przypadku udziałów sieciowych jest to działanie z zachowaniem najwyższej staranności, a zaplanowane skanowanie pozostaje gwarantowane. Okres ciszy (15 sekund) czeka na zakończenie zapisywania pliku.

   Odśwież przed udzieleniem odpowiedzi na zapytanie

   Domyślnie wyłączone. Włączone, zapytanie najpierw ponownie skanuje, gdy ostatnie skanowanie jest starsze niż Okno nieaktualności (60 sekund), czekając maksymalnie Limit oczekiwania na zapytanie (5 sekund). Dotyczy to osób i dodatków, a nie sondowania alertów.

   Kiedy plik znika

   Upuść jego wiersze domyślnie lub Zachowaj rzędy, zaznacz usunięte (nagrobek). Ten Współczynnik ochrony Vanish (0,5) odrzuca skanowanie, które powoduje jednorazową utratę ponad połowy plików i zachowuje poprzedni inwentarz, co jest typowe dla udostępniania offline.

   Następnie wybierz Obszar danych wiersze liczą się względem siebie, sprawdź Recenzja i kliknij Utwórz łącznikPierwsze skanowanie rozpocznie się natychmiast. Złącze Oczywisty Karta pokazuje, co zostało zbudowane i jakie pliki zostało odłożone.

5. Spójrz na swoje tabele

   Otwórz złącze: Oczywisty Karta zawiera listę utworzonych tabel. W Kreator zapytań te same stoły siedzą pod zestaw plików Schemat. Trzy zapytania, które działają od pierwszego dnia:

   Rekordy nagłówkowe w kolejności plików

   WYBIERZ _plik_źródłowy, _sekw., pole_1, pole_2 Z fileset.data_hdr ZAMÓW WEDŁUG _plik_źródłowy, _sekw. LIMIT 100

   Każdy wiersz nagłówka z każdego pliku, wraz z nazwą pliku, z którego pochodzi, oraz jego pozycją wśród nagłówków w tym pliku.

   Nagłówek każdego pliku obok jego zwiastuna

   WYBIERZ h._source_file, h._seq, h.field_1 JAK header_field_1, t.field_1 JAK trailer_field_1 Z fileset.data_hdr JAK h DOŁĄCZ do fileset.data_trl JAK t NA t._source_file = h._source_file ORAZ t._seq = h._seq ZAMÓW WEDŁUG h._source_file, h._seq LIMIT 100

   Łączy dwa typy rekordów w dwóch współdzielonych kolumnach, _source_file i _seq, tak aby n-ty nagłówek spotykał się z n-tym zwiastunem w tym samym pliku.

   Pliki zarezerwowane dla nieznanego znacznika lub niewłaściwej szerokości

   WYBIERZ ścieżkę_względną, typ_zdarzenia, wykryty_przez, szczegół, zdarzenie_w_wydarzeniu Z fileset.files_events GDZIE typ_zdarzenia W ('odmowa', 'dryf') ZAMÓW WEDŁUG zdarzenia_w_wydarzeniu OPIS LIMIT 20

   Każdy plik, którego wiersze zostały pominięte, ze szczegółowym powodem.

   Każdy łącznik folderów obsługuje również te same tabele księgowe, wszystkie w zestaw plików schemat:

   Tabela	Co zawiera
   akta	Każdy plik aktualnie w folderze: ścieżka, nazwa, rozszerzenie, rozmiar, czas utworzenia i modyfikacji, data pierwszego i ostatniego wyświetlenia. Widok pliki_bieżące, w którym przechowywane są również pliki, które zniknęły.
   pliki_wydarzenia	Historia zmian: jeden wiersz na plik, który pojawił się, był zmodyfikowany, zniknął, został odłożony (dryf) lub był odrzucony, z czasem w wydarzenie_w, jak to zostało zauważone w wykryte przez i powód w szczegół.
   katalogi, migawki katalogów, kłęby	Liczba i rozmiar folderów, sposób ich rozwoju oraz dyski lub udziały, na których są przechowywane.
   _plik_źródłowy, _id_wiersza	Dwie kolumny w każdym wierszu danych: z którego pliku pochodzi wiersz i identyfikator stabilnego wiersza w tym pliku. Grupuj według _plik_źródłowy aby porównać pliki.

Używaj wszędzie

Łącznik jest źródłem danych takim jak każde inne w strumieniach zapytań. Zapisz zapytanie raz w Kreator zapytań (dialekt to DuckDB) i użyj go z:

Excel

Dodatek Przesyłanie strumieniowe zapytania upuszcza wiersze do arkusza i uruchamia go ponownie po kliknięciu. Uruchamianie SQL w programie Excel.

Arkusze Google

Ten Streamer zapytań dodatek wypełnia wybraną przez Ciebie kartę. Power Query dla Arkuszy Google.

Claude, Cursor i inni klienci AI

Poprzez serwer MCP Query Streams Claude zna model folderów, w tym _plik_źródłowy oraz pliki_wydarzenia. Multi-record z Claude'em przez MCP.

Interfejs API REST

Każde zapisane zapytanie staje się punktem końcowym przeznaczonym tylko do odczytu, mającym własny klucz, w każdym planie. Wielorekordowy interfejs API REST.

Nova

Zapytaj prostym językiem w planie biznesowym; Nova rozpoznaje każdą tabelę i kolumnę folderu dzięki wbudowanym opisom.

Automatyzacje

Synchronizuj wiersze z Airtable, Smartsheet, Baserow, SeaTable lub arkuszem według harmonogramu. Przewodniki po automatyzacji.

Tabele folderów łączą się również z innymi łącznikami: zapytanie federacyjne może pasować _plik_źródłowy nazwy lub identyfikatory zamówień w plikach CSV, które łączą kilka typów rekordów w bazie danych na tym samym Agencie.

Jak wyświetlają się nowe, zmienione i usunięte pliki

Pliki, które są odkładane

Na etapie „Sprawdź” i karcie „Manifest” pojawiają się trzy słowa. Oznaczają one różne rzeczy:

Odłożyć (zaparkować)

Plik nie pasuje do przypiętego układu, jest nieczytelny, podarty, zablokowany lub zasłania nakładkę. Obowiązuje zasada „wszystko albo nic” dla każdego pliku: zaparkowany plik nie dodaje żadnych wierszy. pliki_wydarzenia rejestruje dryf rząd, którego szczegół nadaje nazwę plikowi i kolumnie. Plik jest pomijany, dopóki jego rozmiar i czas modyfikacji pozostają takie same, a próba jego pobrania jest podejmowana ponownie, gdy tylko nastąpi zmiana.

Nieczytelny

Agent nie mógł otworzyć ani przeanalizować pliku pod kątem jego typu: nie był to prawdziwy skoroszyt, zablokowany przez inny program, symbol zastępczy w chmurze, niemożliwy do zdekodowania bajt. Plik parkuje się sam, a reszta folderu kontynuuje działanie. Tylko folder z zerową liczbą plików do odczytu odrzuca cały zestaw.

Odrzucony

Agent nie mógł przypiąć żadnego układu, na przykład dlatego, że pliki nie zgadzają się co do typu kolumny. Żadna tabela danych jeszcze nie istnieje. pliki_wydarzenia dostaje odrzucony kłótnia z powodem szczegół, a Agent ponawia próby przy każdym skanowaniu, aż do momentu przypięcia układu. Napraw lub wyklucz plik, którego nazwę wskazuje, a komunikat zniknie.

Gdzie szukać: bursztynowy baner na Sprawdzać (Pokaż, które pliki i dlaczego), złącze Oczywisty Następnie kliknij kartę. W SQL: WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegół Z fileset.files_events GDZIE typ_zdarzenia W ('drift','refused') ZAMÓW WEDŁUG event_at DESC.

Granice, które warto znać

Plan nie nakłada limitu na foldery ani liczbę plików. Wiersze są wliczane do domeny danych, tak jak w przypadku każdego innego łącznika. Wartości domyślne łącznika można podwyższyć lub obniżyć:

Limity zawartości, które parkują plik zamiast go skracać: 2 000 000 wierszy lub 512 MiB na plik, 10 000 000 wierszy lub 2 GiB na skanowanie. Folder może pomieścić maksymalnie 25 różnych układów. Jeden stół na układ tryb.

Pytania, które zadają ludzie

• System plików
• Folder CSV
• Folder parkietowy
• Folder Excela
• Folder SQLite
• Folder JSONL
• Dzienniki maszynowe
• Dzienniki serwera WWW
• Dzienniki kontenerowe
• Dzienniki aplikacji
• Dzienniki systemowe
• Niestandardowe dzienniki