Zamień CSV Folder w tabele, do których można wysyłać zapytania.

Skąd pochodzą kolumny

• Próbkowanie zamiast założeń — agent sprawdza rzeczywiste pliki, zamiast ufać pierwszemu wierszowi pierwszego pliku.
• Obsługa kodowań — UTF-8, UTF-16, Windows-1252 i Latin-1, dzięki czemu nazwy ze znakami diakrytycznymi i europejskie eksporty nie są wyświetlane jako nieczytelny tekst.
• Kwoty pozostają kwotami — kolumna zawierająca wyłącznie wartości dziesiętne jest zapisywana jako dokładna liczba dziesiętna, a nie liczba zmiennoprzecinkowa, więc sumy nie różnią się o grosz.
• Kolumna, która występuje tylko w niektórych plikach, staje się pustą kolumną w innych plikach, zamiast być powodem niepowodzenia.

-- Cały folder jako jedna tabela, następnie dla każdego pliku SELECT _source_file, COUNT(*) AS wiersze, SUM(total) AS przychód Z danych GROUP BY _source_file ORDER BY przychód DESC

Gdy plik się nie zgadza

Jeśli już pierwsze pliki są ze sobą sprzeczne – dwa różne ograniczniki lub kolumna zawierająca datę w jednym pliku i dowolny tekst w drugim – łącznik odmawia przypięcia czegokolwiek i informuje, które pliki i kolumny się nie zgadzają. Nie wybierze zwycięzcy po cichu i nie pozwoli Ci się o tym przekonać pod koniec miesiąca.

• Później zamiast uszkodzić tabelę, zachowywany jest jeden błędny plik: zmieniony nagłówek, dodatkowa kolumna, niepasująca wartość lub ucięty ostatni wiersz.
• Jego wiersze pozostają na zewnątrz, a files_events rejestruje dokładnie, który plik i która kolumna spowodowała zdarzenie.
• Wszystkie inne pliki w folderze nadal się ładują. Jeden nieudany eksport nie powoduje usunięcia raportu.

Jeden stół lub jeden na układ

Cykliczne eksporty tego samego raportu powinny znajdować się w jednej tabeli i jest to ustawienie domyślne. Jeśli folder faktycznie zawiera różne pliki CSV — listę klientów obok zrzutu zamówień — przełącz się na tryb „per layout”, a każdy odrębny układ otrzyma własną tabelę, maksymalnie 25.

Każdy łącznik folderów zapewnia również

• files_current — bieżący wykaz: każdy plik, który łącznik może teraz zobaczyć, wraz ze ścieżką, rozmiarem i datą modyfikacji.
• files_events — ścieżka audytu: co się pojawiło, co się zmieniło, co zniknęło i co zostało pominięte, wraz z nazwą pliku i przyczyną.
• katalogi i woluminy — sumy dla poszczególnych folderów, historia dziennego przyrostu oraz ilość wolnego miejsca na dysku.
• Tylko pliki, które faktycznie uległy zmianie, są odczytywane ponownie podczas każdej synchronizacji, więc folder zawierający 50 000 plików nie jest ponownie analizowany, ponieważ pojawił się nowy eksport.

Dobrze wiedzieć

• Wymuszony dostęp tylko do odczytu — jedna instrukcja naraz, wyłącznie SELECT i podobne. Pliki nigdy nie są zapisywane, przenoszone ani zmieniane.
• Nic nie jest przesyłane — dane są buforowane i szyfrowane na Twoim komputerze, obok agenta. Poza Twoją sieć wychodzą tylko wyniki zapytań.
• Rozsądne ustawienia domyślne — do 250 000 plików, głębokość do 16 folderów, pliki do 512 MB; wszystkie limity można zmienić. Kosze, .git i node_modules są zawsze pomijane.
• Dialektem SQL jest DuckDB — ten sam SQL, którego używasz w przypadku dowolnego innego łącznika.