SQL을 이용한 사용자 지정 로그 분석: 모든 텍스트 로그 파싱

폴더 커넥터 · 사용자 지정 로그

설명하신 텍스트 로그를 다음으로 변환하세요. SQL 테이블 어디서든 조회할 수 있습니다

쿼리 스트림 에이전트를 해당 폴더로 지정하세요. 에이전트는 자체 컴퓨터에서 로그 파일을 읽고 로컬 캐시에 테이블을 구축한 다음 파일이 도착, 변경 또는 삭제될 때마다 최신 상태로 유지합니다. Excel, Google Sheets, Nova, Claude 또는 REST API를 통해 해당 테이블을 쿼리할 수 있습니다. 아무것도 업로드되지 않으며 파일이 변환되거나 편집되지도 않습니다.

약 15분 코딩이 필요 없습니다 파일은 네트워크에 저장됩니다. 무료 플랜에서 해당 내용을 다룹니다.

당신이 최종적으로 얻게 될 것

사용자 지정 로그 폴더는 내장 카드가 인식하지 못하는 모든 텍스트 로그를 저장하는 데 사용됩니다. 형식을 한 번만 지정하거나 Nova에서 형식을 제안하도록 하면 모든 줄이 해당 이름의 표에 행으로 저장됩니다. 이벤트열을 정의하기 전까지는 각 행이 해당 줄의 행입니다. 메시지 태그됨 파일 이름 해당 데이터는 어디에서 왔는지 알 수 있습니다. 형식이 일치하지 않는 행은 이유와 함께 원시 행 테이블에 저장되므로 데이터가 손실되지 않습니다. Excel, Google Sheets 또는 대시보드에서 SQL을 사용하여 행을 쿼리할 수 있으며, 파일은 에이전트가 실행되는 컴퓨터에 남아 있습니다.

파싱된 줄은 다음과 같습니다. 파일셋.이벤트또는 ~에서 테이블 이름 사용자가 선택한 방식입니다. 에이전트는 해당 행을 에이전트 컴퓨터의 로컬 캐시에 복사하고 SQL 형식으로 제공합니다.

모든 폴더 커넥터는 또한 다음을 제공합니다. 파일, 파일_이벤트, 디렉토리, 디렉토리 스냅샷 그리고 볼륨그리고 로그 커넥터는 다음과 같이 추가됩니다. 로그 커서 각 파일의 읽기 위치와 함께. 항상 이벤트 시간 순으로 정렬.

생계를 유지하는 곳:

• 파서를 작성하지 않고 스프레드시트에서 사내 애플리케이션의 로그를 조회하는 방법.
• 일반 텍스트 로그에서 대시보드를 통해 야간 배치 작업 오류를 차트로 표시합니다.
• 기존 장치의 텍스트 로그를 다른 데이터와 함께 SQL을 사용하여 검색할 수 있도록 보관하세요.

필요한 것

Query Streams 계정

폴더 연결 기능은 무료 플랜을 포함한 모든 플랜에서 사용할 수 있습니다. 무료 플랜은 체험 기간이 만료되는 것이 아니라 계속 사용할 수 있는 플랜입니다. 폴더에 저장할 수 있는 파일 수에는 제한이 없습니다.

에이전트, 버전 2.6.0 이상

폴더를 열 수 있는 컴퓨터(파일 서버 자체, 사무실 컴퓨터 또는 파일이 저장된 컴퓨터)에 설치해야 합니다. 이전 버전의 에이전트는 폴더 카드가 회색으로 표시됩니다. 에이전트 2.6.0+ 배지. Windows, Mac 또는 Linux.

에이전트가 인식하는 폴더 경로

로컬 경로 또는 네트워크 공유는 다음과 같이 작성됩니다. \\서버\공유\폴더. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt 또는 /메디아, a Mac under /Volumes).

5단계로 설정하세요

1. 해당 폴더를 열 수 있는 컴퓨터에 에이전트를 설치하세요.

   로그인, 열기 다운로드그리고 설명하신 텍스트 로그 파일을 열 수 있는 컴퓨터(파일 서버 또는 공유 폴더에 접근할 수 있는 상시 작동 컴퓨터)에 시스템용 에이전트를 설치하십시오. 설치에는 약 1분 정도 소요되며, 이후에는 자동으로 시작됩니다. 버전 2.6.0 이상이 필요하며, 다운로드 페이지에서 항상 최신 버전을 확인할 수 있습니다.

   드라이버 대신 작은 프로그램을 사용하는 이유는 무엇인가요? 에이전트는 Windows, Mac 또는 Linux에 한 번만 설치하면 됩니다(Windows에서는 약 85MB, Mac 및 Linux에서는 100MB 조금 넘습니다). 에이전트는 Query Streams에 대한 암호화된 아웃바운드 연결을 하나만 생성하며, 필요한 네트워크 경로는 이것뿐입니다. 인바운드 포트를 열거나 VPN을 사용할 필요가 없습니다. 에이전트는 설치된 폴더에서 데이터를 읽기 때문에 파일은 제자리에 유지되고, 쿼리 결과가 반환된 행만 인터넷을 통해 사용자의 추가 기능, 브라우저 또는 AI 클라이언트로 전송됩니다.

   다운로드 페이지가 표시됩니다 액세스 키에이전트가 요청할 때 해당 코드를 붙여넣고 배지가 인식될 때까지 기다리세요. 쿼리 스트림에 연결됨에이전트 컴퓨터에서 하는 작업은 그게 전부입니다. 나머지 모든 작업은 브라우저에서 이루어집니다.

   자세한 공략이 필요하시면 보여드리겠습니다. 윈도우, 스코틀랜드 사람, 리눅스.

2. 설명하신 텍스트 로그를 가리키도록 하세요.

   브라우저를 다시 열어주세요 데이터 → 데이터 에이전트방금 설치한 에이전트를 찾아서 클릭하세요. 커넥터 추가 버튼을 누르세요. 열기 파일 및 폴더 약을 고르세요 사용자 지정 로그 폴더 카드. 어떤 카드가 맞는지 모르시겠나요? 선택하세요 폴더 안의 파일들 대신 에이전트가 폴더를 샘플링하고 "찾은 내용" 페이지에 폴더 안의 내용을 표시한 다음 미리 채워진 해당 카드를 열어줍니다.

   마법사가 달린다 폴더 → 확인 → 설정 → Realm → 검토. 에 폴더:

   루트 폴더

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   하위 폴더 스캔, 최대 깊이

   기본적으로 켜져 있고 8단계로 설정되어 있습니다.

   패턴 포함, 패턴 제외

   어떤 파일이 포함되는지 알아봅니다. 포함 패턴은 이 카드에 맞는 글로브 패턴으로 시작합니다. 하나의 커넥터는 하나의 파일 형식, 즉 CSV 파일이 있는 폴더를 읽습니다. 그리고 Parquet 파일은 동일 폴더에 파일 형식별로 하나씩, 총 두 개의 커넥터로 구성됩니다.

   심볼릭 링크와 접합점을 따라가세요

   기본적으로 비활성화되어 있습니다. 이 기능을 활성화하지 않으면 에이전트는 바로 가기나 클라우드 자리 표시자를 따라가지 않습니다.

   포털에서 폴더를 볼 수 있는 에이전트를 열고 클릭합니다. 커넥터 추가. 아래에 파일 및 폴더 선택하다 사용자 지정 로그 폴더생성되면 커넥터 목록에 표시됩니다. 로그 파일.

   • 폴더를 아래에 추가하세요 루트 폴더네트워크 공유를 다음과 같이 입력하세요. \\서버\공유\폴더매핑된 드라이브 문자가 아닙니다.
   • 세트 패턴을 포함하세요 파일과 일치하도록 로그 드라이버의 기본 설정은 다음과 같습니다. **/*.통나무 그리고 **/*.txt.
   • 형식을 설명하세요. 사용자 지정 로그 폴더는 편집 가능한 유일한 로그 카드입니다. 타임스탬프가 행의 어느 위치에 오는지, 어떤 부분이 열로 변환되는지 등을 지정할 수 있습니다. 또는 클릭하세요. Nova가 형식을 제안하도록 하세요 일일 사용 한도가 있습니다.
   • 테이블 이름 선택 사항이며 기본값은 입니다. 이벤트.
   • 되메우기(일) 30입니다. N일 동안 이벤트를 유지합니다. 설정하지 않는 한 모든 것을 유지합니다.

   일반적인 형식의 로그를 사용하는 경우, 목록에는 다음과 같은 내용도 표시됩니다. "목록에 없는 로그 유형이 필요하신가요? 지원 요청을 제출해 주시면 며칠 내로 추가해 드리겠습니다."

3. 무엇이 생성될지 확인해 보세요

   ~에 확인하다 에이전트는 최대 64개의 파일 샘플을 읽고 빌드할 내용을 보여줍니다. 아직 아무것도 생성되지 않았습니다. 버튼에는 다음과 같이 표시됩니다. 테스트 연결 판결이 나올 때까지, 다음; 다시 테스트해 보세요 변경 사항을 적용하면 샘플을 다시 실행합니다. 다음 네 가지 제목 중 하나가 표시됩니다.

   만들 준비가 되었습니다

   샘플링된 모든 파일이 들어맞습니다. 그 아래 칩에는 접근 가능한 폴더 수, 파일 및 행 수, 그리고 존재할 테이블의 정보가 표시됩니다.

   준비 완료, 메모 포함

   일부 파일은 보류되거나 레이아웃 스니프가 거부될 수 있습니다. 어떤 파일인지 정확히 알려주는 주황색 배너가 표시됩니다. "{m}개 파일 중 {n}개가 보류됩니다." 어떤 파일인지, 그리고 그 이유는 무엇인지 보여주세요. 목록에는 "그래도 생성할 수 있습니다. 커넥터가 계속 재확인하고 매니페스트 탭에 이유를 보고합니다."라고 표시됩니다.

   이 파일들은 해당 로그 유형이 아닙니다.

   샘플이 이 카드의 로그 형식으로 구문 분석되지 않았습니다. 올바른 카드를 선택했는지 확인하거나 다음을 사용하십시오. 사용자 지정 로그 폴더 카드의 형식을 설명해 주세요.

   거절이나 보류 파일은 절대 당신을 막지 않습니다. 클릭하세요. 다음마법사를 완료하고 나중에 문제가 있는 파일을 수정하세요. 에이전트가 오프라인 상태이거나 폴더가 누락된 경우에만 마법사가 중지됩니다.

   ~에 확인하다에이전트가 샘플을 읽고 어떤 결과물을 생성할지 보여줍니다. 아직 아무것도 생성되지 않았습니다. 샘플이 사용자가 설명한 형식과 맞지 않으면 다음과 같은 헤드라인이 표시됩니다. 이 파일들은 아닙니다 그 뒤에 유형이 표시되고, 주황색 배너에 "스키마 스니프가 거부되었습니다:"라는 이유와 함께 메시지가 나타납니다. 열기 어떤 파일인지, 그리고 그 이유는 무엇인지 보여주세요. 파일 및 이유 표를 보려면 형식을 조정하거나 압축하세요. 패턴을 포함하세요 그러면 불필요한 파일들이 남게 됩니다. 다시 테스트해 보세요또는 어쨌든 생성할 수도 있습니다. 커넥터는 계속해서 재확인하고 그 이유를 보고합니다. 명백한 탭, 그리고 일치하지 않는 줄은 땅에 있습니다. events_raw_lines 여기에서 내용을 읽고 형식을 다듬을 수 있습니다.

4. 스캔 빈도를 선택한 다음 생성하세요.

   기본 설정 설정 하루에 몇 개의 파일만 받는 폴더에 적합합니다. 변경하고 싶은 네 가지 사항은 다음과 같습니다.

   스캔 간격

   매시간 기본 설정은 5분 간격부터 매일까지 다양합니다. 각 스캔은 파일 크기와 수정 시간을 비교하여 새로 생성되거나 변경되었거나 사라진 파일을 찾습니다.

   폴더 변경 사항을 실시간으로 감시합니다.

   기본적으로 비활성화되어 있습니다. 활성화하면 에이전트가 로컬 디스크에서는 몇 초 내에 반응하고, 네트워크 공유에서는 최선을 다해 반응하며 예약된 검사가 가장 확실한 반응을 보장합니다. 조용한 기간 (15초) 파일 쓰기가 완료될 때까지 기다립니다.

   질문에 답변하기 전에 새로고침하세요.

   기본적으로 비활성화되어 있습니다. 활성화하면 마지막 스캔이 설정된 시간보다 오래되었을 때 쿼리가 먼저 다시 스캔합니다. 정체 창 (60초), 최대 대기 시간 쿼리 대기 제한 (5초). 이는 알림 폴링이 아닌 사람 및 추가 기능에 적용됩니다.

   파일이 사라졌을 때

   행을 내려놓으세요 기본적으로 또는 행은 유지하고 삭제된 항목은 표시(묘비 표시)합니다.그. 바니쉬 가드 비율 (0.5) 한 번에 절반 이상의 파일을 손실하는 스캔을 거부하고 이전 인벤토리를 유지합니다. 이것이 오프라인 공유의 모습입니다.

   그런 다음 선택하세요 데이터 영역 행 수를 세어보세요. 검토 클릭하고 클릭하세요 커넥터를 생성합니다.첫 번째 스캔은 즉시 시작됩니다. 커넥터의 명백한 탭에는 빌드된 내용과 따로 저장해 둔 파일이 표시됩니다.

5. 테이블을 보세요

   커넥터를 여세요: 명백한 탭에는 생성된 테이블 목록이 표시됩니다. 파일 대화 상자에는 모든 로그 파일과 해당 상태가 나열됩니다. 쿼리 빌더 같은 테이블들이 그 아래에 놓여 있습니다. 파일셋 스키마. 첫날부터 작동하는 세 가지 쿼리:

   해당 파일이 포함된 최신 줄입니다.

   SELECT event_time, file_name, message FROM fileset.events ORDER BY event_time DESC LIMIT 100

   폴더 내 모든 파일에서 가장 최근 100개 레코드를 가져옵니다. 열을 정의하기 전에도 작동합니다.

   지난 하루 동안 파일별로 오류를 언급하는 줄 수

   SELECT file_name, COUNT(*) AS errors FROM fileset.events WHERE message ILIKE '%error%' AND event_time >= now() - INTERVAL 1 DAY GROUP BY file_name ORDER BY errors DESC LIMIT 100

   텍스트 일치 메시지형식이 레벨 열을 정의했으면 해당 열을 기준으로 필터링하세요.

   형식이 일치하지 않는 줄이 있습니다. 이유는 다음과 같습니다.

   SELECT reason, COUNT(*) AS lines, MIN(line) AS example FROM fileset.events_raw_lines GROUP BY reason ORDER BY lines DESC

   읽기 events_raw_lines예시를 참고하여 형식을 다듬은 후 커넥터와 에이전트 재샘플링을 저장하세요.

   모든 폴더 커넥터는 동일한 회계 테이블을 제공하며, 모든 기능은 여기에 있습니다. 파일셋 개요:

   테이블	그것이 담고 있는 것
   파일	폴더에 현재 있는 모든 파일의 경로, 이름, 확장자, 크기, 생성 및 수정 시간, 최초 및 마지막 확인 시간 정보를 한눈에 볼 수 있습니다. 파일_현재또한 사라진 파일도 보관합니다.
   파일_이벤트	변경 내역: 파일당 한 행씩 나타났다, 였다 수정됨, 사라졌다, 따로 떼어 놓았습니다.경향) 또는 ~였다 거부됨시간과 함께 이벤트_at어떻게 그것이 발견되었는지 감지됨_ 그리고 그 이유는 다음과 같습니다. 세부 사항.
   디렉토리, 디렉토리 스냅샷, 볼륨	폴더 개수 및 크기, 증가 추세, 그리고 루트 폴더가 위치한 디스크 또는 공유 폴더 정보입니다.
   _소스_파일, _row_id	각 데이터 행에는 두 개의 열이 있습니다. 하나는 행이 가져온 파일이고, 다른 하나는 해당 파일 내의 고정된 행 ID입니다. 그룹화 기준은 다음과 같습니다. _소스_파일 파일을 비교하기 위해.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the 폴더 step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

어디에서든 사용하세요

커넥터는 쿼리 스트림의 다른 데이터 소스와 마찬가지입니다. 쿼리는 한 번만 저장하면 됩니다. 쿼리 빌더 (DuckDB 방언입니다) 다음에서 사용하세요:

Excel

추가 기능의 쿼리를 스트리밍하세요 행들을 시트에 추가하고 클릭 한 번으로 다시 실행합니다. Excel에서 SQL 실행하기.

Google 스프레드시트

그만큼 쿼리 스트리머 추가 기능은 사용자가 선택한 탭을 채웁니다. Google 스프레드시트용 파워 쿼리.

Claude, Cursor 및 기타 AI 클라이언트

클로드는 Query Streams MCP 서버를 통해 폴더 모델을 알고 있습니다. _소스_파일 그리고 파일_이벤트. MCP를 통해 Claude와 함께하는 맞춤 로그.

REST API

저장된 모든 쿼리는 모든 플랜에서 자체 키를 가진 읽기 전용 엔드포인트가 됩니다. 사용자 지정 로그 REST API.

Nova

비즈니스 플랜에 대해 쉬운 말로 질문해 보세요. Nova는 내장된 설명 덕분에 모든 폴더, 테이블, 열을 알고 있습니다.

자동화

Airtable, Smartsheet, Baserow, SeaTable 또는 지정된 시트에 행을 동기화하세요. 자동화 가이드.

폴더 테이블은 다른 커넥터와도 조인할 수 있습니다. 연합 쿼리는 일치시킬 수 있습니다. _소스_파일 동일한 에이전트의 데이터베이스에 대해 기술하신 텍스트 로그에 있는 이름이나 주문 ID.

새로 생성되거나 변경되거나 삭제된 파일이 표시되는 방식

따로 보관해둔 파일들

점검 단계와 매니페스트 탭에 세 단어가 나타납니다. 이 단어들은 서로 다른 의미를 지닙니다.

(주차된) 자리를 비워 두세요

해당 파일은 고정된 레이아웃과 일치하지 않거나, 읽을 수 없거나, 찢어졌거나, 잠겨 있거나, 덮개로 가려져 있습니다. 파일별로 모든 행이 처리되거나 전혀 처리되지 않습니다. 파킹된 파일은 행을 전혀 처리하지 않습니다. 파일_이벤트 기록하다 경향 줄 세부 사항 파일 이름과 열 이름을 지정합니다. 파일의 크기와 수정 시간이 변하지 않으면 해당 파일은 건너뛰고, 변경되는 즉시 다시 시도합니다.

읽을 수 없음

에이전트가 해당 파일의 형식을 인식하지 못해 파일을 열거나 구문 분석할 수 없습니다. 실제 통합 문서가 아니거나, 다른 프로그램에 의해 잠겨 있거나, 클라우드 자리 표시자이거나, 디코딩할 수 없는 바이트 형식일 수 있습니다. 에이전트는 자동으로 대기 상태에 들어가고 폴더의 나머지 파일은 계속 처리됩니다. 읽을 수 있는 파일이 하나도 없는 폴더만 전체 파일 처리를 거부합니다.

거부됨

에이전트가 레이아웃을 전혀 고정할 수 없습니다. 예를 들어 파일 간에 열 유형이 일치하지 않기 때문입니다. 데이터 테이블이 아직 존재하지 않습니다. 파일_이벤트 얻다 거부됨 이유가 있는 줄 세부 사항에이전트는 레이아웃이 고정될 때까지 모든 스캔에서 다시 시도합니다. 해당 파일을 수정하거나 제외하면 메시지가 사라집니다.

찾아보실 곳: 황색 배너 확인하다 (어떤 파일인지, 그리고 그 이유는 무엇인지 보여주세요.), 커넥터의 명백한 그 후에 탭을 누르고, 로그 커넥터의 경우 파일 보류된 파일과 그 이유를 나열하는 대화 상자입니다. 마지막 오류SQL에서: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

알아두면 유용한 한계점

폴더 수나 파일 수에는 플랜 제한이 없습니다. 행 수는 다른 커넥터와 마찬가지로 데이터 영역에 포함됩니다. 커넥터에서 기본값을 높이거나 낮출 수 있습니다.

파일 내용을 자르지 않고 저장하는 콘텐츠 제한은 파일당 200만 행(512MiB), 스캔당 1,000만 행(2GiB)입니다. 폴더에는 최대 25개의 서로 다른 레이아웃을 저장할 수 있습니다. 레이아웃당 테이블 하나 방법.

사람들이 묻는 질문

• 파일 시스템
• CSV 폴더
• 마루 폴더
• 엑셀 폴더
• SQLite 폴더
• JSONL 폴더
• 다중 레코드 CSV
• 기계 로그
• 웹 서버 로그
• 컨테이너 로그
• 애플리케이션 로그
• 시스템 로그