Zamień Custom Logs w tabele, do których można kierować zapytania.
Niektóre dzienniki tworzy oprogramowanie używane wyłącznie przez Twoją firmę. Wystarczy raz określić, gdzie zaczyna się rekord, jakiej gramatyki używa, gdzie znajduje się znacznik czasu i jak nazywają się kolumny — a dane staną się tabelą jak każda inna.
Korzystaj z wyników w Excelu, Arkuszach Google, narzędziach AI i aplikacjach za pośrednictwem Database REST API.
Każdy typ konektora jest dostępny w planie Free. Zacznij od 2 źródeł danych i 1 agenta.
Odczytuj, porządkuj i odpytuj dane na swojej maszynie.
Zapytania tylko do odczytu · połączenie wychodzącePliki źródłowe pozostają na miejscu. Twoje narzędzia otrzymują wyniki zapytań.
Query Streams odczytuje dowolne dzienniki tekstowe, w tym tworzone przez oprogramowanie używane wyłącznie przez Twoją firmę, i zamienia folder w aktualizowaną na bieżąco tabelę SQL, którą można odczytać w Microsoft Excel, Google Sheets, asystentach AI przez MCP, REST API i Power BI. Opisujesz format tylko raz — granice rekordów, gramatykę, znacznik czasu, kolumny i rotację — a agent od tej pory zachowuje ten opis bez zmian. Dostępnych jest sześć gramatyk: rozdzielana, key = value, grok, JSON lines, dyrektywa nagłówka #Fields oraz stała szerokość. Linie niepasujące do opisu są zachowywane jako surowe wiersze, a nie odrzucane, więc nieprzewidziany format nic Cię nie kosztuje.
- Sześć gramatyk, opisanych tylko raz
- Niedopasowane linie zachowywane, nigdy nieodrzucane
- Żadne dane nie są wysyłane gdzie indziej do interpretacji
Połącz Custom Logs z odpowiednimi ustawieniami.
Utrzymuj połączenie w agencie sieciowym. Oto szczegóły dotyczące Custom Logs.
- Falcówka
- Dowolny folder z dziennikami tekstowymi — dysk lokalny lub udział sieciowy wpisany jako \\server\share (nigdy jako zmapowana litera dysku; w systemie Linux lub na Macu najpierw zamontuj udział); uwzględniane są podfoldery, obsługiwane są wzorce uwzględniania i wykluczania
- Gramatyki
- Rozdzielana, key = value, grok, JSON lines, dyrektywa nagłówka #Fields oraz stała szerokość
- Granica rekordu
- Do skonfigurowania według własnych potrzeb — jedna linia na rekord albo wzorzec, stała liczba linii, pusty wiersz lub znacznik, tak aby rekordy wieloliniowe pozostały w całości
- Znaczniki czasu
- Określa się położenie i format; gdy w linii brakuje roku, można go pobrać z czasu modyfikacji pliku lub jego nazwy
- Rotacja
- Dziesięć nazwanych wzorców rotacji oraz zwykłe pliki bez rotacji; skompresowane archiwa są odczytywane bezpośrednio
- Niedopasowane wiersze
- Zachowywane dosłownie w events_raw_lines, nigdy nie są odrzucane
- Dane uwierzytelniające
- Brak — nie ma serwera; agent odczytuje pliki na miejscu
To jedyny profil dziennika, który możesz edytować — i właśnie o to chodzi: wszystkie pozostałe są przez nas przypięte, aby nie ulegały zmianom. Kompromis polega na tym, że nie da się z góry potwierdzić poprawności niestandardowego opisu tak, jak w przypadku dostarczonego profilu. Zastępuje to podgląd, który stosuje Twój opis do własnych plików i pokazuje wiersze, zanim cokolwiek zostanie zatwierdzone.
Stworzone z myślą o działaniu Custom Logs.
Pięć elementów formatu
Zablokowany profil określa te elementy za Ciebie. Profil niestandardowy udostępnia wszystkie pięć — składają się one na cały opis, nie ma niczego więcej do skonfigurowania ani niczego ukrytego.
- Granica rekordu — miejsce, w którym kończy się jeden rekord, a zaczyna następny; dzięki temu wieloliniowy ślad stosu pozostaje w jednym wierszu.
- Gramatyka — rozdzielana, key = value, grok, JSON lines, dyrektywa nagłówka #Fields albo stała szerokość.
- Znacznik czasu — jego położenie i format zapisu, w tym źródło roku, gdy nie ma go w linii.
- Kolumny — nazwa i typ każdego pola, dzięki czemu liczby są sortowane jak liczby, a daty filtrowane jak daty.
- Model wzrostu — jak plik rośnie i jest rotowany, dzięki czemu wczorajsze archiwum i dzisiejszy plik bieżący tworzą jedną tabelę.
-- Niezależnie od tego, jak nazwano kolumny, to po prostu SQL
SELECT file_name, severity, COUNT(*) AS lines
FROM fileset.events
WHERE severity IN ('WARN','ERROR')
GROUP BY file_name, severity
ORDER BY lines DESCNajpierw wypróbuj wbudowane profile
Test connection porównuje znalezione dane z dostarczonymi profilami i proponuje najlepiej dopasowany. To dopasowanie sygnatur, a nie model analizujący Twoje logi — żadne informacje o Twoich plikach nie są nigdzie wysyłane do interpretacji. Jeśli pasuje profil wbudowany, użyj go: przypięty profil wymaga mniej utrzymania niż własny opis. Opisz format samodzielnie, jeśli żaden profil nie pasuje, a jeśli wolisz profil wbudowany, zgłoś nam taką potrzebę.
Szczegółowe informacje o formatach i działaniu.
Otwórz potrzebną dokumentację Custom Logs.
Jeśli jest to plik tekstowy, może to być tabela.
Jeśli jest to plik tekstowy, może to być tabela.
Trzy pliki o trzech zupełnie różnych formatach — jeden utworzony przez aplikację biznesową, drugi przez zadanie wsadowe, trzeci przez maszynę, której nikt nie obsługuje od 2011 roku. Opisz każdy z nich raz, a nazwane przez Ciebie kolumny będą kolumnami, których używasz w zapytaniach. Bez uruchamiania kolektora, utrzymywania indeksu ani drugiej kopii danych.
Rotacje, skompresowane archiwa i ponownie odczytywane pliki — wszystko obsłużone
SELECT nazwa_pliku, powaga,
liczyć(*) AS kwestia
Z zestaw_plików.zdarzenia
GDZIE powaga W ('OSTRZEGAĆ','BŁĄD')
GROUP BY nazwa_pliku, powaga
ORDER BY kwestia DESCJest powaga kolumna, bo powiedziałeś, że jest jedna
Przykładowe wartości — pokazują formę odpowiedzi, a nie wyniki benchmarku
Sześć sposobów na opisanie znaczenia linii
Sześć sposobów na opisanie znaczenia linii
Prawie każdy kiedykolwiek napisany dziennik tekstowy ma jeden z tych sześciu kształtów. Znajdź swój poniżej, a przykładowy wiersz zazwyczaj pomoże ci go rozwiązać szybciej niż czytanie opisu.
Gramatyki, które możesz wybrać
6 gramatyk- Określ separator — przecinek, tabulator, średnik, pionowa kreska lub dowolny inny używany w pliku
- Pola w cudzysłowie są respektowane, więc przecinek w wiadomości pozostaje w niej
- Wiersz nagłówka może nadać kolumnom nazwy zamiast ich wpisywania
- Możesz ustawić separator dziesiętny dla plików, w których jest to przecinek
- Klucze w wierszu stają się kolumnami — nie musisz ich ponownie deklarować
- Oba separatory są Twoje: to, co znajduje się między kluczem a wartością i między parami
- Można pominąć prefiks przed parami — znacznik czasu, etykietę itp.
- Często spotykane w dziennikach aplikacji i maszyn, które zostały zapisane w celu analizy
- Nazwane grupy przechwytujące stają się kolumnami — rozwiązanie awaryjne, gdy nic innego nie pasuje
- Biblioteki wzorców, z których korzystają wbudowane profile, są dostępne do pożyczania
- W przypadku pliku zawierającego więcej niż jeden kształt linii można wypróbować kolejno kilka wzorów
- Wartość domyślna na początek — jeden
wiadomośćkolumnę, a następnie ją zawężasz
- Pola stają się kolumnami, a Ty wybierasz, które z nich faktycznie chcesz
- Zagnieżdżony obiekt jest zachowywany w całości jako JSON, a nie spłaszczany lub usuwany
- Opakowanie dodane przez środowisko uruchomieniowe kontenera można zdjąć, aby można było odpytywać wewnętrzny rekord
- Co większość nowoczesnych bibliotek rejestrujących zapisuje, gdy ma być ustrukturyzowane
- Wiersz w górnej części deklaruje pola, a kolumny następują po nim
- Rozszerzony format W3C i wszystko inne, co zapożyczyło ten pomysł
- Podajesz nazwę dyrektywy, więc nie trzeba jej pisać
#Pola - Nie trzeba niczego synchronizować — lista kolumn pochodzi z pliku
- Podaj nazwę, pozycję początkową i długość każdej kolumny — separator nie jest potrzebny
- Prawidłowa odpowiedź dla plików, w których pole może zawierać ogranicznik
- Nadal to, co piszą komputery mainframe, kontrolery i wiele urządzeń przemysłowych
- Wypełnienie jest przycinane, więc wartość nie jest umieszczana w spacjach
Samodzielny opis to najszybsza droga. Jeśli z danego formatu korzysta wiele osób, wolimy udostępnić go jako wbudowany profil przypinany przez Agenta dla wszystkich — złącze prowadzi bezpośrednio do formularza zgłoszenia, a profil pojawi się wraz z aktualizacją Agenta.
Opisz raz, używaj wszędzie, gdzie uruchomisz usługę
Opisz to raz, używaj go wszędzie, gdzie biegasz
Opis jest częścią złącza, a nie maszyny. Te same pięć elementów, które odczytują plik audytu w centrali, odczytują go też w zakładzie i w drugim regionie — w każdej lokalizacji działa Network Agent, który odczytuje pliki na miejscu i łączy się wychodząco z Query Streams. Z perspektywy zapory jest to zwykłe połączenie wychodzące, więc nie trzeba otwierać portów ani konfigurować VPN.
Trzy połączenia wychodzące, jedno miejsce do wysyłania zapytań — bez portów przychodzących, VPN i zmian w zaporze
Podajesz nazwę tożsamości
Każdy wiersz jest oznaczony informacją o swoim pochodzeniu. Domyślnie jest to nazwa pliku. Jeśli maszyna lub lokalizacja jest polem w wierszu — albo częścią nazwy pliku — możesz zamiast tego użyć tej wartości jako etykiety i grupować według niej.
nazwa pliku · kolumna · część nazwy pliku
Nic do otwarcia
Agent nawiązuje jedno szyfrowane połączenie wychodzące. Zarówno żądanie, jak i zwracane wiersze przesyłane są przez to połączenie. Nie trzeba otwierać portu przychodzącego, konfigurować VPN ani zmieniać zapory sieciowej — nie dodaje się też demona zbierającego dane na serwerze, na którym taki demon już działa.
jedno połączenie, w obu kierunkach
Jedno zapytanie obejmujące wszystkie regiony
Każde źródło w zapytanie federacyjne nazywa własnego Agenta, dzięki czemu jedno zapytanie może umieścić niestandardowy log obok objaśniającej go bazy danych — plik wsadowy obok zamówienia, którego dotyczy. Dostępne w planach Business i Enterprise.
1 log + 1 baza danych → 1 zestaw wyników
Napisane raz, nie na stronie
Opisanie formatu to zadanie jednorazowe. Drugi folder o tym samym kształcie to drugi łącznik z tym samym opisem, więc przeniesienie go do innej lokalizacji to etap konfiguracji, a nie kolejne badanie.
1 opis → każdy taki folder
Cztery pytania, na które nie odpowie plik tekstowy
Cztery pytania, na które nie odpowie plik tekstowy
Analiza wiersza to łatwa połowa. To są rzeczy, których plik dziennika nie mówi o sobie, a każda z nich to coś, co stwierdzasz, a nie coś, co zgadujemy.
Gdzie zaczyna się i kończy rekord
Ślad stosu to jedno zdarzenie w dwudziestu wierszach, a odczytanie go jako dwudziestu zdarzeń powoduje, że liczby są błędne. Sześć sposobów na oznaczenie granicy: jeden wiersz, wzór otwierający rekord, pusty wiersz, znacznik otwierający i zamykający, reguła kontynuacji lub stała liczba.
1 rekord nie zawsze jest 1 linią
Kodowanie nie ma wartości domyślnej
To jedyne pole celowo pozostawione puste. Użycie kodowania UTF-8 dla pliku w Latin-1 nie powoduje błędu — po cichu zniekształca wszystkie znaki diakrytyczne, a Ty dowiadujesz się o tym dopiero po kilku miesiącach. Dlatego pytamy o kodowanie raz, przed pierwszą synchronizacją, zamiast zgadywać.
wybrany, nigdy nie zakładany
Rok, w którym linia nie ma żadnej
Wiele formatów podaje miesiąc i dzień, ale nie rok. Można to rozwiązać na trzy sposoby: rok znajduje się w wierszu, pochodzi z czasu modyfikacji pliku albo jest odczytywany z nazwy pliku — tam zwykle zapisany jest w archiwach z datami.
w wierszu · z pliku · z nazwy
Nic nie liczyło się dwa razy
Odcisk palca każdego pliku jest tworzony na podstawie pierwszych 4 KB, dzięki czemu plik o zmienionej nazwie lub po rotacji jest rozpoznawany, a nie odczytywany ponownie od początku. System rozpoznaje po nazwie dziesięć wzorców rotacji — oraz brak rotacji, w przypadku plików, które po prostu rosną.
Skrót prefiksu 4 KB · okno 20 000 rekordów
Pięć części i już jest tabela
Pięć części i już jest tabela
To wszystko, co trzeba wypełnić. Każdy wbudowany profil na pozostałych stronach logów składa się z tych samych pięciu części, wypełnionych przez nas i przypiętych przez Agenta — tutaj należą do Ciebie.
wiadomość kolumna na wiersz, a czas zdarzenia pobierany z czasu modyfikacji pliku. To wystarczy, by pierwsza synchronizacja powiodła się w przypadku niemal każdego formatu — później dopracuj ustawienia na podstawie podglądu, aż kolumny będą zgodne z Twoimi oczekiwaniami. Każdy wiersz zawiera też informację o pliku, z którego pochodzi, a wszystkie dane trafiają do jednej tabeli, zestaw_plików.zdarzenia.Czego to celowo nie robi
Czego to celowo nie robi
Najpierw powiedz największą: wypróbuj wbudowane profile, zanim sięgniesz po to. Uruchom Test connection, a Agent zaproponuje najbliższy rozpoznany profil wbudowany — taki profil jest przypięty przez Agenta i przetestowany na rzeczywistych plikach, w przeciwieństwie do opisu napisanego dziś po południu. To ustawienie jest rozwiązaniem awaryjnym dla formatów, których nikt inny nie używa, a nie domyślnym punktem wyjścia.
Nic nie odczytuje Twoich logów, aby samodzielnie ustalić ich format. Propozycja najlepszego dopasowania wynika z porównania struktury pliku z dostarczonymi profilami — to dopasowywanie wzorców do znanych formatów, a nie model analizujący Twoje dane. Jeśli żaden profil nie pasuje, napisz własny opis i sprawdź go w podglądzie.
To nie jest żywy ogon. Query Streams odczytuje pliki w stanie, w jakim znajdują się na dysku podczas uruchamiania zapytania, więc nieudane zadanie jest wyświetlane jako wiersze, a nie jako strumień, który można obserwować. Jeśli potrzebujesz alertów na temat wiersza w trakcie jego drukowania, potok logów jest odpowiednim narzędziem do tego zadania.
Odczytuje wyłącznie tekst. Archiwa i binarne bazy danych znajdujące się w folderze — .zamek błyskawiczny, .taksówka, surowy plik dziennika — są pomijane, a nie otwierane i analizowane. Skompresowane pliki z rotacjami logu tekstowego są odczytywane; kontener zawierający coś innego — nie.
Opis może być błędny, dlatego nic nie jest odrzucane. Wiersz, do którego gramatyka nie pasuje, jest przechowywany jako surowy wiersz z dołączonym uzasadnieniem, dzięki czemu błąd jest widoczny i widoczny, a nie jako ukryta luka. Popraw opis i ponownie zsynchronizuj. Reszta działa zgodnie ze standardową procedurą: agent łączy się z serwerem i odczytuje pliki, nic nie jest instalowane na serwerze, nic nie jest zapisywane z powrotem, a dostęp jest tylko do odczytu.
Od połączenia do przydatnych wyników.
- Zainstaluj Network Agent w miejscu, z którego ma dostęp do folderu, i wskaż go w złączu.
- Najpierw uruchom Test connection. Agent tworzy odciski palców znalezionych plików i proponuje najlepiej dopasowany profil wbudowany — jeśli któryś pasuje, wybierz go i nie musisz niczego opisywać.
- Jeśli żaden nie pasuje, opisz format samodzielnie: gdzie zaczyna się rekord, której z sześciu gramatyk używa, gdzie znajduje się znacznik czasu i jak nazwać kolumny.
- Wybierz wzorzec rotacji, a w przypadku formatów, których znaczniki czasu nie zawierają roku — wskaż, skąd go pobrać. Następnie opis zostanie przypięty.
- Wykonuj zapytania. Tabela działa dokładnie tak samo jak w przypadku każdego innego złącza logów, ponieważ ten sam sterownik odczytuje format podany przez Ciebie zamiast formatu dostarczonego przez nas.
Wykorzystaj wyniki Custom Logs.
Jedno połączenie obsługuje arkusze kalkulacyjne, aplikacje i narzędzia AI. Udostępnij uprawnienie do uruchomienia zapisanego zapytania; odbiorcy zobaczą dozwolone wyniki, a SQL i dane logowania do źródła pozostaną ukryte.
Dla Twojego zespołu, dostawców i partnerów
Pobieraj wyniki Custom Logs na żywo bezpośrednio do arkusza i odświeżaj je na żądanie — Excel na komputerze, Excel Online, Microsoft 365.
Poznaj ExcelUruchom zapisane zapytanie Custom Logs z panelu bocznego i wstaw wiersze do arkusza. Współpracownicy, którym je udostępnisz, mogą samodzielnie je odświeżać.
Poznaj Google SheetsZadaj pytanie zwykłym językiem angielskim. Nova zna już tabele Custom Logs, tworzy i uruchamia SQL, wyjaśnia odpowiedź i przedstawia ją na wykresie — bez pisania zapytań i przekazywania danych uwierzytelniających.
Jak działa NovaUdostępnij komukolwiek aktualny wynik Custom Logs — współpracownikowi, dostawcy lub partnerowi — jako siatkę, którą można dodać do zakładek i która po otwarciu pobiera najnowsze dane na telefonie, tablecie lub komputerze. Odbiorcy widzą wyniki, nigdy SQL ani pliki.
Jak działa Przeglądarka danychDo aplikacji i systemów
Opublikuj zapytanie Custom Logs jako uwierzytelniony punkt końcowy JSON, z którego może korzystać dowolna aplikacja, wraz ze specyfikacją OpenAPI 3.1 i gotowymi kolekcjami Postman, Insomnia i Hoppscotch. Żaden port bazy danych nie jest otwierany.
Poznaj REST APIWklej wygenerowany kod Power Query M do edytora zaawansowanego Power BI, a raport będzie pobierał wyniki Custom Logs na żywo przez HTTPS — bez sterownika ODBC i bez otwierania portu bazy danych.
Poznaj Power BISynchronizuj wiersze Custom Logs z bazą Airtable według harmonogramu albo pobieraj je w skrypcie automatyzacji Airtable.
Poznaj AirtableZasilaj tabelę Baserow danymi Custom Logs przez punkt końcowy REST — we własnym hostingu lub w chmurze Baserow.
Poznaj BaserowDbaj o aktualność bazy SeaTable z danymi Custom Logs bez eksportowania pliku ani ujawniania bazy danych.
Poznaj SeaTablePrzesyłaj wyniki Custom Logs do siatki Smartsheet, aby plany i raporty korzystały z danych w systemie źródłowym, a nie z eksportu sprzed tygodnia.
Poznaj SmartsheetKorzystaj z danych Custom Logs w aplikacji Python Anvil za pośrednictwem punktu końcowego REST, zamiast umieszczać dane uwierzytelniające bazy danych w aplikacji.
Poznaj AnvilDla narzędzi AI
Zapewnij asystentowi AI dostęp tylko do odczytu do Custom Logs i schematu potrzebnego do tworzenia poprawnych zapytań SQL — bez danych uwierzytelniających na czacie.
Odkryj MCPDostarczone do ludzi
Ustaw harmonogram zapytania Custom Logs i dostarczaj wiersze do Slacka, Discorda, poczty e-mail lub podpisanego webhooka — albo wstrzymaj wysyłkę wiadomości, dopóki liczba wierszy, wartość progowa lub zmiana procentowa nie przekroczy ustalonej granicy.
Jak działają alerty i raportyPołącz Custom Logs z pozostałymi danymi.
Połącz bazy danych, biznesowe interfejsy API, pliki i dzienniki w jednym zapytaniu tylko do odczytu. Każdy konektor obsługuje zapytania federacyjne.
Podaj nazwy połączeń i tabel. Query Streams obsługuje zapytania do źródeł i łączy wyniki.
Poznaj zapytania federacyjne-- nic nie zostało skopiowane, nic nie zostało połączone, nic nie zostało zaplanowane
SELECT c.region, COUNT(*) AS zamówienia, SUM(i.amount_due) AS fakturowane
Z customlogs.fileset.orders1 f
JOIN pg_crm.publiczni.klienci2 c WŁĄCZONY c.id = f.customer_id
JOIN rozliczenia.stripe.invoices3 i WŁĄCZONY i.customer = c.stripe_id
GROUP BY c.region
ORDER BY fakturowany DESC;Użyj własnych nazw połączeń, schematów, tabel i kolumn.
Wspólne dla całej rodziny konektorów.
Każde złącze dzienników udostępnia również
- events — po jednym wierszu na każdą przeanalizowaną linię, z sygnaturą czasową, polami nazwanymi przez gramatykę oraz polem _source_file wskazującym plik, z którego pochodzi.
- events_raw_lines — linie, które nie pasowały do gramatyki, zachowane w oryginalnej postaci zamiast odrzucenia, dzięki czemu nadal można uzyskać odpowiedź na pytanie dotyczące nieprzewidzianego formatu.
- files_current i files_events — bieżący wykaz plików i ścieżka audytu: co się pojawiło, co podlegało rotacji, co zniknęło i co zostało wstrzymane, wraz z nazwą pliku i przyczyną.
- Rotacja jest rozpoznawana, a nie obchodzona — dziesięć nazwanych wzorców rotacji oraz zwykłe pliki bez rotacji, dzięki czemu wczorajszy log i jego skompresowane archiwum są tą samą tabelą co log z dzisiaj.
Dobrze wiedzieć
- Wymuszony tryb tylko do odczytu — jedno zapytanie naraz, wyłącznie SELECT i podobne polecenia. Nigdy nie zapisujemy, nie przenosimy, nie rotujemy ani nie skracamy Twoich logów.
- Żadne dane nie są przesyłane — wiersze są analizowane i przechowywane w pamięci podręcznej w postaci zaszyfrowanej na Twoim komputerze, obok agenta. Twoją sieć opuszcza wyłącznie wynik zapytania.
- Odczytywane są tylko nowe bajty — agent w każdym pliku wznawia pracę od miejsca, w którym ją przerwał, zamiast czytać go ponownie, więc intensywnie używany log nie kosztuje więcej każdego dnia.
- Dialektem SQL jest DuckDB — ten sam SQL, którego używasz w przypadku dowolnego innego łącznika.
Pytania dotyczące Custom Logs
Gdzie mogę używać wyników zapytań Custom Logs?
Używaj wyników Custom Logs w Excelu, Arkuszach Google, Data Viewer, swoich aplikacjach za pośrednictwem Database REST API oraz narzędziach AI przez MCP lub Nova. Zapisane wyniki zasilają również obsługiwane miejsca docelowe Automation, raporty i alerty. Dostępność miejsc docelowych i limity zależą od Twojego planu.
Czy muszę otworzyć port przychodzący dla Custom Logs?
Nie. Zainstaluj Network Agent na komputerze, który ma dostęp do Custom Logs. Agent łączy się wychodząco z Query Streams; nie jest potrzebny port przychodzący ani VPN. Źródło musi jednak zezwalać komputerowi z Agentem na połączenie zgodnie z własnymi regułami dostępu.
Czy moje pliki Custom Logs są przesyłane?
Network Agent odczytuje pliki w ich bieżącej lokalizacji, a pamięć podręczną przechowuje na maszynie agenta. Pliki źródłowe nie są przesyłane, przenoszone ani modyfikowane. Tylko żądane wyniki zapytań opuszczają Twoją sieć przez szyfrowane połączenie wychodzące.
Czego potrzebuję, aby połączyć Custom Logs?
Folder: dowolny folder z logami tekstowymi — na dysku lokalnym lub w udziale sieciowym podanym jako \\server\share (nigdy jako zamapowana litera dysku; w systemie Linux lub na Macu należy go najpierw zamontować); uwzględniane są podfoldery, obsługiwane są wzorce uwzględniania i wykluczania. Gramatyki: rozdzielane separatorami, klucz = wartość, grok, wiersze JSON, dyrektywa nagłówka #Fields oraz format o stałej szerokości. Granice rekordów: do wyboru — jeden wiersz na rekord albo wzorzec, stała liczba, pusty wiersz lub znacznik, dzięki czemu rekordy wielowierszowe pozostają w całości. Znaczniki czasu: określa się ich położenie i format; jeśli wiersz nie zawiera roku, można go pobrać z daty modyfikacji pliku lub jego nazwy
Czy mogę łączyć Custom Logs z innymi podłączonymi źródłami?
Tak. Zapytania federacyjne obsługują wszystkie typy konektorów, w tym bazy danych, biznesowe interfejsy API, pliki i dzienniki. W jednym zapytaniu tylko do odczytu podaj nazwy połączeń i tabel. Query Streams w razie potrzeby tłumaczy części zapytania dotyczące źródeł i łączy ich wyniki. Zobacz, jak działają zapytania federacyjne.
Kiedy powinienem użyć tego zamiast wbudowanego profilu?
Gdy żadne inne rozwiązanie nie pasuje. Wbudowane profile obejmują sterowniki maszyn, serwery WWW, kontenery, frameworki aplikacyjne i logi systemowe. Każdy z nich został opracowany i przetestowany na rzeczywistych plikach — jeśli więc Twój log jest jednym z tych formatów, wybór profilu wymaga mniej pracy i jest lepiej przetestowany niż samodzielne opisywanie formatu.
Przetestuj połączenie przed podjęciem decyzji. Agent porównuje kształt pliku z dostarczonymi profilami i proponuje najbardziej zbliżony, jaki rozpoznaje, dzięki czemu odpowiedź pochodzi z rzeczywistych plików, a nie z domysłów. Sięgnij po opis, gdy nie otrzymasz odpowiedzi.
Czy muszę znać wyrażenia regularne?
Zazwyczaj nie. Pięć z sześciu gramatyk nie wymaga żadnego wzorca: plik rozdzielony potrzebuje separatora, plik typu klucz=wartość opisuje sam siebie, wiersze JSON opisują same siebie, dyrektywa nagłówka nadaje nazwy własnym kolumnom, a stała szerokość wymaga początku i długości dla każdej kolumny.
Grok to szósta gramatyka i rozwiązanie awaryjne dla naprawdę kłopotliwych wierszy. Nawet wtedy głównie składasz nazwane elementy — znacznik czasu, poziom, resztę — a biblioteki wzorców stojące za wbudowanymi profilami są dostępne do wykorzystania, więc nie musisz zaczynać od pustego wiersza.
Czy opis muszę podać poprawnie od razu?
Nie, a ustawienia domyślne są ustawione tak, że nie musisz tego robić. Pierwsza synchronizacja od razu po wyjęciu z pudełka działa z niemal każdym plikiem tekstowym: jednym wiadomość jedna kolumna na wiersz, a czas zdarzenia pobierany z daty modyfikacji pliku. Otrzymujesz działającą tabelę, którą możesz od razu obejrzeć.
Następnie dopracowujesz opis. Podgląd pokazuje, jak wpływa on na Twoje wiersze, więc możesz wyodrębnić poziom ważności lub numer zadania do osobnej kolumny i zobaczyć wynik przed zatwierdzeniem. Możesz zmienić opis później i ponownie zsynchronizować dane — w międzyczasie nic nie zostanie utracone.
Moje zdarzenia obejmują kilka linii. Czy obsłuży ślad stosu?
Tak, i to ustawienie jest najczęściej potrzebne. Rekord nie musi być pojedynczym wierszem: możesz określić, że rekord zaczyna się, gdy wiersz pasuje do wzorca — zwykle jest to znacznik czasu przy lewym marginesie — a wszystko, co następuje po nim, należy do tego rekordu aż do kolejnego dopasowania.
Istnieje pięć innych sposobów na narysowanie granicy, jeśli kształt jest inny: pusta linia między rekordami, znacznik otwierający i zamykający, reguła określająca, co jest uznawane za linię kontynuacji, lub ustalona liczba linii. Wyjątek dwudziestu linii pojawia się wtedy jako jeden wiersz z całym śladem.
A co jeśli linie nie mają żadnego znacznika czasu?
To ustawienie domyślne i działa poprawnie. Jeśli żadne pole nie zostanie wskazane jako czas, czas zdarzenia pobierany jest z daty modyfikacji pliku — wiersze nadal można sortować i nadal podlegają okresowi przechowywania, ale ich czas jest zgodny z czasem pliku, a nie wiersza.
Jeśli czas w wierszu jest podzielony na dwa pola — kolumnę z datą i kolumnę z godziną, co często zdarza się w plikach o stałej szerokości i plikach rozdzielanych separatorami — możesz wskazać oba pola, aby połączyć je w jeden znacznik czasu.
Jakie kodowanie powinienem wybrać?
UTF-8 to prawidłowa odpowiedź dla większości plików utworzonych w tej dekadzie. To jedyne pole bez wartości domyślnej, i to celowo: zakładając, że UTF-8 w pliku Latin-1 nie generuje błędu, po cichu zniekształca każdy znak akcentowany, a ukryte uszkodzenie jest znacznie gorsze niż pytanie zadane raz.
Jeśli nie masz pewności, podgląd Ci to pokaże — nieprawidłowe kodowanie natychmiast ujawni się jako zniekształcone znaki w przykładowych wierszach. Starsze oprogramowanie Windows i sprzęt przemysłowy to typowe powody, dla których właściwą odpowiedzią nie jest UTF-8.
Czy możesz po prostu dodać mój format jako wbudowany?
Daj nam znać. Jeśli jest to format używany przez rozsądną liczbę osób — komercyjny produkt, popularny framework lub urządzenie przemysłowe — zdecydowanie wolimy dodać go jako wbudowany profil, zamiast zmuszać każdego klienta do opisywania tego samego formatu. Łącze w konektorze prowadzi bezpośrednio do formularza zgłoszenia.
Wbudowana funkcja jest lepsza zarówno dla Ciebie, jak i dla nas: jest przypinana przez Agenta, testowana na rzeczywistych przechwyceniach i trafia na Twoje serwery wraz z aktualizacją Agenta, bez konieczności ingerencji w złącze.
Co się dzieje z liniami, które nie pasują?
Są one zachowywane, a nie usuwane. Wiersz, do którego nie pasuje gramatyka, jest zachowywany jako surowy wiersz z dołączonym uzasadnieniem, więc nietypowy wpis, format, który zmienił się pod Twoimi ustawieniami, lub opis, który nie jest jeszcze do końca poprawny, wyświetla się jako coś, co możesz zobaczyć i sprawdzić, a nie jako cicha luka w liczbach.
To zabezpieczenie sprawia, że dopracowywanie opisu jest bezpieczne. Nie musisz wybierać między ścisłym parserem, który odrzuca dane, a luźnym, który zwraca ścianę tekstu — sparsowane wiersze mają określone typy, a wszystko, czego nie udało się sparsować, nadal jest dostępne obok nich.
Umieść Custom Logs tam, gdzie odbywa się praca.
Zacznij od planu Free: wszystkie typy konektorów, 2 źródła danych i 1 Network Agent. W miarę wzrostu potrzeb zwiększ limity planu.

