Łączenie wielu plików bazy danych SQLite w jedną tabelę

Łącznik folderów · Folder SQLite

Zmień folder plików bazy danych SQLite na Tabele SQL możesz zapytać gdziekolwiek

Skieruj agenta strumieni zapytań na folder. Odczytuje on pliki na własnym komputerze, tworzy tabele w lokalnej pamięci podręcznej i aktualizuje je w miarę pojawiania się, zmiany lub znikania plików. Możesz przeszukiwać je z poziomu Excela, Arkuszy Google, Nova, Claude lub interfejsu API REST. Nic nie jest przesyłane, a żaden plik nie jest konwertowany ani edytowany.

Około 15 minut Nie potrzeba kodowania Pliki pozostają w Twojej sieci Bezpłatny plan obejmuje to

Co z tego wyjdzie?

W rezultacie powstaje jedna baza danych zbudowana z każdego pliku SQLite w folderze. Tabela o nazwie wydarzenia w każdym pliku powstaje jedna scalona tabela, zbiór_plików.data_events, a każdy rząd niesie _plik_źródłowy kolumna z nazwą pliku, z którego pochodzi. Nie ma skryptu ATTACH ani ręcznego scalania. Agent otwiera każdy plik tylko do odczytu, kopiuje wiersze do zaszyfrowanej pamięci podręcznej na swoim komputerze i udostępnia je jako dane SQL w programach Excel, Arkuszach Google, Kreatorze zapytań, alertach lub innych aplikacjach, które odpytują strumienie zapytań. Pliki nigdy nie opuszczają sieci.

Każda tabela znajduje się w jednym schemacie o nazwie zestaw plikówTabele są za Ciebie nazywane. Każda tabela członkowska znaleziona w bazach danych staje się data_<członek>, więc tabela zwana wydarzenia staje się zbiór_plików.data_events i stół o nazwie użytkownicy staje się zestaw_plików.data_usersJedna scalona tabela zawiera wiersze tej tabeli członkowskiej z każdego dopasowanego pliku. Zadeklarowane typy kolumn muszą być zgodne w różnych plikach; jeśli nie, Agent nadaje nazwę plikowi, który się nie zgadza, i nie tworzy żadnej tabeli, dopóki go nie poprawisz lub nie wykluczysz. Każdy wiersz zawiera _plik_źródłowy i stajnia _id_wiersza.

Każdy łącznik folderów udostępnia również tabele księgowe akta, pliki_wydarzenia, katalogi, migawki katalogów oraz kłęby, dzięki czemu możesz zobaczyć, które pliki są obecne i co zostało zmienione.

Gdzie zarabia na swoje utrzymanie:

• Twórz raporty obejmujące jedną bazę danych SQLite dla danego sklepu, placówki lub urządzenia, bez konieczności kopiowania ich do bazy danych serwera.
• Porównuj tę samą tabelę w wielu aplikacjach lub bazach danych czujników, uporządkowaną według pliku.
• Zachowaj folder z eksportowanymi danymi SQLite w programie Excel lub Arkuszach Google i odświeżaj go w miarę pojawiania się nowych plików.

Czego będziesz potrzebować

Konto Query Streams

Łączniki folderów są dostępne w każdym planie, również w wersji darmowej. Wersja darmowa to plan, który można zachować, a nie okres próbny, który wygasa. Nie ma limitu liczby plików, które może zawierać folder.

Agent 2.6.0 lub nowszy

Zainstalowany na komputerze, który może otworzyć folder: na samym serwerze plików, komputerze biurowym lub komputerze, na którym znajdują się pliki. Starszy Agent wyświetla karty folderów jako wyszarzone z ikoną Agent 2.6.0+ odznaka. Windows, Mac lub Linux.

Ścieżka folderu, tak jak widzi ją Agent

Ścieżka lokalna lub udział sieciowy zapisany jako \\serwer\udział\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt lub /głoska bezdźwięczna, a Mac under /Volumes).

Skonfiguruj w pięciu krokach

1. Zainstaluj agenta na komputerze, który może otworzyć folder

   Zaloguj się, otwórz Pobieraći zainstaluj agenta dla swojego systemu na komputerze, który może otworzyć folder z plikami bazy danych SQLite: serwerze plików lub dowolnym komputerze stale aktywnym, który ma dostęp do udziału. Zajmie to minutę i od tego momentu uruchomi się automatycznie. Wymagana jest wersja 2.6.0 lub nowsza; strona pobierania zawsze zawiera aktualną wersję.

   Dlaczego mały program, a nie sterownik? Agent wymaga jednej instalacji dla systemów Windows, Mac lub Linux (około 85 MB w systemie Windows, nieco ponad 100 MB w systemach Mac i Linux). Otwiera jedno szyfrowane połączenie wychodzące do strumieni zapytań i jest to jedyna ścieżka sieciowa, której potrzebuje: nie otwiera portu przychodzącego ani nie używa VPN. Odczytuje folder, w którym się znajduje, dzięki czemu pliki pozostają na swoim miejscu, a przez internet do dodatku, przeglądarki lub klienta AI po Twojej stronie przesyłane są tylko wiersze zwrócone przez zapytanie.

   Strona pobierania pokazuje Twój klucz dostępuWklej to do agenta, gdy o to poprosi i poczekaj, aż odznaka zostanie odczytana Połączono ze strumieniami zapytańTo jest jedyna czynność, którą wykonujesz na komputerze Agenta; cała reszta odbywa się w Twojej przeglądarce.

   Pełne opisy przejść, jeśli ich potrzebujesz: Okna, Prochowiec, Linux.

2. Wskaż folder z plikami bazy danych SQLite

   Wróć do swojej przeglądarki i otwórz Dane → Agenci danych, znajdź agenta, którego właśnie zainstalowałeś i kliknij jego Dodaj złącze przycisk. Otwórz Pliki i foldery pigułkę i wybierz Folder SQLite Karta. Nie wiesz, która karta pasuje? Wybierz Pliki w folderze Zamiast tego: Agent pobiera próbkę folderu, podaje nazwę jego zawartości na stronie „Co znaleźliśmy” i otwiera dla Ciebie odpowiednią, wstępnie wypełnioną kartę.

   Czarodziej biegnie Foldery → Sprawdź → Ustawienia → Królestwo → Przejrzyj. NA Lornetka składana:

   Foldery główne

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Skanuj podfoldery, maksymalna głębokość

   Włączone i 8 poziomów domyślnie.

   Uwzględnij wzorce, Wyklucz wzorce

   Które pliki się liczą. Wzorzec dołączania zaczyna się od właściwego globu dla tej karty. Jeden konektor odczytuje jeden typ pliku: folder z plikiem CSV. oraz Pliki Parquet to dwa łączniki w tym samym folderze, po jednym dla każdego typu.

   Podążaj za dowiązaniami symbolicznymi i połączeniami

   Domyślnie wyłączone. Agent nie będzie śledził skrótów ani symboli zastępczych w chmurze, jeśli tej opcji nie włączysz.

   Zainstaluj agenta Query Streams na komputerze, który może otworzyć folder. Wymagany jest agent w wersji 2.6.0 lub nowszej. Z poziomu tego agenta Dodaj złącze przycisk, otwórz Pliki i foldery i wybierz Folder SQLite karta.

   • Foldery główne:foldery na komputerze agenta do przeskanowania, po jednym w wierszu. Wpisz udziały sieciowe jako \\serwer\udział\folder, a nie zmapowana litera dysku. Agent działa jako usługa i nie widzi zmapowanych dysków podczas logowania.
   • Uwzględnij wzorce zaczyna się jako **/*.db oraz **/*.sqlite. Ten -wal oraz -dziennik pliki znajdujące się obok bazy danych nigdy nie pasują.
   • Tabele: wybierz tabele członkowskie do odczytania. Pozostaw puste, aby odczytać wszystkie.

   Nie ma Nazwa tabeli pole i nie Układ tabeli wybór. Tabele są nazwane data_<członek>W notatce wyjaśniono, że wszystkie dopasowane pliki muszą mieć wspólny układ: pierwsze synchronizowane piny mają układ z próbki, a pliki, które później nie będą się zgadzać, są odkładane na bok i zgłaszane.

3. Sprawdź co zbuduje

   NA Sprawdzać Agent odczytuje próbkę do 64 plików i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Przycisk wyświetla Połączenie testowe dopóki nie zostanie wydany wyrok, Następny; Przetestuj ponownie Ponownie uruchamia próbkę po wprowadzeniu zmian. Zobaczysz jeden z czterech nagłówków:

   Gotowy do stworzenia

   Każdy z wybranych plików pasuje. Chipy pod nim wskazują, ile folderów było dostępnych, ile plików i wierszy oraz które tabele będą istnieć.

   Gotowe, z notatkami

   Niektóre pliki zostaną odłożone na bok lub odrzucona zostanie próba odczytania układu. Bursztynowy baner dokładnie informuje, który z nich: „{n} z {m} plików zostanie odłożonych na bok” z Pokaż, które pliki i dlaczego listę i „Możesz ją utworzyć mimo wszystko — łącznik będzie ją sprawdzał i raportował przyczynę na karcie Manifest”.

   Wymaga uwagi

   Agent jest offline lub brakuje folderu. Napraw to przed kontynuacją. Strona informuje o tym, gdy Agent jest offline i nadal pozwala kontynuować.

   Odmowa lub odłożenie plików nigdy Cię nie zablokuje: kliknij NastępnyZakończ działanie kreatora i napraw niepotrzebne pliki później. Tylko agent offline lub brakujący folder mogą zatrzymać działanie kreatora.

   NA SprawdzaćAgent odczytuje próbkę do 64 plików z folderów i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Z czystym folderem zobaczysz Gotowy do stworzenia i układ taki jak „3 tabele: data_events, data_users, data_settings”. Problem, który to źródło najczęściej zgłasza, to niezgodność zadeklarowanego typu: jeden plik przechowuje kolumnę jako TEXT, podczas gdy inne deklarują ją jako REAL. Następnie bursztynowy baner wyświetla komunikat „Odmówiono odczytania schematu:…” z nazwą pliku i kolumny, a żadna tabela danych nie zostanie utworzona, dopóki nie naprawisz lub nie wykluczysz tego pliku. Zamiast tego pojawia się pojedyncza zablokowana lub uszkodzona baza danych. Pokaż, które pliki i dlaczego odłożone, a reszta plików nadal się ładuje. Możesz utworzyć łącznik w dowolny sposób; będzie on stale sprawdzał i zgłaszał przyczynę na swoim Oczywisty patka.

4. Wybierz częstotliwość skanowania, a następnie utwórz skanowanie

   Domyślne ustawienia Ustawienia Odpowiedni dla folderu, który otrzymuje kilka plików dziennie. Cztery rzeczy, które możesz chcieć zmienić:

   Interwał skanowania

   Co godzinę Domyślnie; wybierz od co 5 minut do codziennie. Każde przeszukanie porównuje rozmiar i czas modyfikacji, aby znaleźć nowe, zmienione i usunięte pliki.

   Obserwuj folder pod kątem zmian (w czasie niemal rzeczywistym)

   Domyślnie wyłączone. Włączone, agent reaguje w ciągu kilku sekund na dyskach lokalnych; w przypadku udziałów sieciowych jest to działanie z zachowaniem najwyższej staranności, a zaplanowane skanowanie pozostaje gwarantowane. Okres ciszy (15 sekund) czeka na zakończenie zapisywania pliku.

   Odśwież przed udzieleniem odpowiedzi na zapytanie

   Domyślnie wyłączone. Włączone, zapytanie najpierw ponownie skanuje, gdy ostatnie skanowanie jest starsze niż Okno nieaktualności (60 sekund), czekając maksymalnie Limit oczekiwania na zapytanie (5 sekund). Dotyczy to osób i dodatków, a nie sondowania alertów.

   Kiedy plik znika

   Upuść jego wiersze domyślnie lub Zachowaj rzędy, zaznacz usunięte (nagrobek). Ten Współczynnik ochrony Vanish (0,5) odrzuca skanowanie, które powoduje jednorazową utratę ponad połowy plików i zachowuje poprzedni inwentarz, co jest typowe dla udostępniania offline.

   Następnie wybierz Obszar danych wiersze liczą się względem siebie, sprawdź Recenzja i kliknij Utwórz łącznikPierwsze skanowanie rozpocznie się natychmiast. Złącze Oczywisty Karta pokazuje, co zostało zbudowane i jakie pliki zostało odłożone.

5. Spójrz na swoje tabele

   Otwórz złącze: Oczywisty Karta zawiera listę utworzonych tabel. W Kreator zapytań te same stoły siedzą pod zestaw plików Schemat. Trzy zapytania, które działają od pierwszego dnia:

   Wierszy na plik bazy danych

   WYBIERZ _plik_źródłowy, LICZ(*) JAK liczba_wierszy Z fileset.data_events GRUPUJ WEDŁUG _plik_źródłowy ZAMÓW WEDŁUG liczby_wierszy OPIS LIMIT 100

   Jeden wiersz na plik SQLite, dzięki czemu można zobaczyć, jaki jest udział każdej bazy danych w scalonej tabeli.

   Które pliki bazy danych znajdują się obecnie w folderze

   WYBIERZ ścieżkę_względną, rozmiar_bajtów, zmodyfikowany_utc Z pliku fileset.files ZAMÓW WEDŁUG zmodyfikowany_utc OPIS LIMIT 100

   Bieżący rejestr plików, najnowsze zmiany na początku, wraz z rozmiarem każdej bazy danych.

   Pliki odrzucone lub odrzucone i dlaczego

   WYBIERZ ścieżkę_względną, typ_zdarzenia, wykryty_przez, szczegół, zdarzenie_w_wydarzeniu Z fileset.files_events GDZIE typ_zdarzenia W ('odmowa', 'dryf') ZAMÓW WEDŁUG zdarzenia_w_wydarzeniu OPIS LIMIT 20

   Każdy plik, którego wiersze zostały pominięte, ze szczegółowym powodem.

   Każdy łącznik folderów obsługuje również te same tabele księgowe, wszystkie w zestaw plików schemat:

   Tabela	Co zawiera
   akta	Każdy plik aktualnie w folderze: ścieżka, nazwa, rozszerzenie, rozmiar, czas utworzenia i modyfikacji, data pierwszego i ostatniego wyświetlenia. Widok pliki_bieżące, w którym przechowywane są również pliki, które zniknęły.
   pliki_wydarzenia	Historia zmian: jeden wiersz na plik, który pojawił się, był zmodyfikowany, zniknął, został odłożony (dryf) lub był odrzucony, z czasem w wydarzenie_w, jak to zostało zauważone w wykryte przez i powód w szczegół.
   katalogi, migawki katalogów, kłęby	Liczba i rozmiar folderów, sposób ich rozwoju oraz dyski lub udziały, na których są przechowywane.
   _plik_źródłowy, _id_wiersza	Dwie kolumny w każdym wierszu danych: z którego pliku pochodzi wiersz i identyfikator stabilnego wiersza w tym pliku. Grupuj według _plik_źródłowy aby porównać pliki.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Lornetka składana step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Używaj wszędzie

Łącznik jest źródłem danych takim jak każde inne w strumieniach zapytań. Zapisz zapytanie raz w Kreator zapytań (dialekt to DuckDB) i użyj go z:

Excel

Dodatek Przesyłanie strumieniowe zapytania upuszcza wiersze do arkusza i uruchamia go ponownie po kliknięciu. Uruchamianie SQL w programie Excel.

Arkusze Google

Ten Streamer zapytań dodatek wypełnia wybraną przez Ciebie kartę. Power Query dla Arkuszy Google.

Claude, Cursor i inni klienci AI

Poprzez serwer MCP Query Streams Claude zna model folderów, w tym _plik_źródłowy oraz pliki_wydarzenia. Folder SQLite z Claude'em przez MCP.

Interfejs API REST

Każde zapisane zapytanie staje się punktem końcowym przeznaczonym tylko do odczytu, mającym własny klucz, w każdym planie. Interfejs API REST folderu SQLite.

Nova

Zapytaj prostym językiem w planie biznesowym; Nova rozpoznaje każdą tabelę i kolumnę folderu dzięki wbudowanym opisom.

Automatyzacje

Synchronizuj wiersze z Airtable, Smartsheet, Baserow, SeaTable lub arkuszem według harmonogramu. Przewodniki po automatyzacji.

Tabele folderów łączą się również z innymi łącznikami: zapytanie federacyjne może pasować _plik_źródłowy nazwy lub identyfikatory zamówień w folderze plików bazy danych SQLite w bazie danych na tym samym Agencie.

Jak wyświetlają się nowe, zmienione i usunięte pliki

Pliki, które są odkładane

Na etapie „Sprawdź” i karcie „Manifest” pojawiają się trzy słowa. Oznaczają one różne rzeczy:

Odłożyć (zaparkować)

Plik nie pasuje do przypiętego układu, jest nieczytelny, podarty, zablokowany lub zasłania nakładkę. Obowiązuje zasada „wszystko albo nic” dla każdego pliku: zaparkowany plik nie dodaje żadnych wierszy. pliki_wydarzenia rejestruje dryf rząd, którego szczegół nadaje nazwę plikowi i kolumnie. Plik jest pomijany, dopóki jego rozmiar i czas modyfikacji pozostają takie same, a próba jego pobrania jest podejmowana ponownie, gdy tylko nastąpi zmiana.

Nieczytelny

Agent nie mógł otworzyć ani przeanalizować pliku pod kątem jego typu: nie był to prawdziwy skoroszyt, zablokowany przez inny program, symbol zastępczy w chmurze, niemożliwy do zdekodowania bajt. Plik parkuje się sam, a reszta folderu kontynuuje działanie. Tylko folder z zerową liczbą plików do odczytu odrzuca cały zestaw.

Odrzucony

Agent nie mógł przypiąć żadnego układu, na przykład dlatego, że pliki nie zgadzają się co do typu kolumny. Żadna tabela danych jeszcze nie istnieje. pliki_wydarzenia dostaje odrzucony kłótnia z powodem szczegół, a Agent ponawia próby przy każdym skanowaniu, aż do momentu przypięcia układu. Napraw lub wyklucz plik, którego nazwę wskazuje, a komunikat zniknie.

Gdzie szukać: bursztynowy baner na Sprawdzać (Pokaż, które pliki i dlaczego), złącze Oczywisty Następnie kliknij kartę. W SQL: WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegół Z fileset.files_events GDZIE typ_zdarzenia W ('drift','refused') ZAMÓW WEDŁUG event_at DESC.

Granice, które warto znać

Plan nie nakłada limitu na foldery ani liczbę plików. Wiersze są wliczane do domeny danych, tak jak w przypadku każdego innego łącznika. Wartości domyślne łącznika można podwyższyć lub obniżyć:

Limity zawartości, które parkują plik zamiast go skracać: 2 000 000 wierszy lub 512 MiB na plik, 10 000 000 wierszy lub 2 GiB na skanowanie. Folder może pomieścić maksymalnie 25 różnych układów. Jeden stół na układ tryb.

Pytania, które zadają ludzie

• System plików
• Folder CSV
• Folder parkietowy
• Folder Excela
• Folder JSONL
• Wielorekordowy plik CSV
• Dzienniki maszynowe
• Dzienniki serwera WWW
• Dzienniki kontenerowe
• Dzienniki aplikacji
• Dzienniki systemowe
• Niestandardowe dzienniki