AGS 방법론: AI Grading System | AI Labs Audit
AGS는 AI 응답을 평가하는 자체 방법들의 체계입니다. 이 페이지는 기준 P/I/Q 경로와 계산식4를 설명하며, 해당 경로의 존재가 모든 분석에서 같은 버전을 사용함을 뜻하지는 않습니다.
30초 안에
응답 코퍼스에서 브랜드 존재, 관련 정보 및 품질을 평가할 수 있습니다. 점수 해석 전에 방법, 버전, 모델, 모드 및 범위를 확인하세요. AGS, 기술 준비도와 등급은 하나의 보편적 지표가 아닙니다.
이 방법은 여러 수준에서 읽을 수 있습니다: 30초 정의, 다이어그램, 차원 설명, 공식, 마지막으로 재현성 부록. 마케팅 이사, GEO 컨설턴트 및 연구원은 각자에게 맞는 세부 수준에서 길을 찾을 수 있어야 합니다.
다이어그램
유효한 응답과 관측
|
v
사용 가능한 평가
|
v
P / I / Q (0..100)
|
v
기준 계산식4(모든 차원이 있는 경우)
AGS = (P x I x Q) ^ (1/3)
누락: 부분 결과 또는 측정 불가
P/I/Q가 모두 있는 기준 사례의 도식입니다. 차원이 누락되면 부분 결과가 되며, 존재하는0은0으로 취급합니다. 모든 과거 분석을 자동으로 설명하는 도식이 아닙니다.
AGS란 무엇입니까?
AGS는 확인된 방법으로 응답 코퍼스를 평가합니다. 평가자의 높은 일치만으로 사실 정확성이나 코퍼스 대표성이 입증되지는 않습니다.
P/I/Q 경로의 평가 차원
- P(존재)는 유효 관측의 언급, 순위 역수 및 브랜드 관련 단어 비율을 조합합니다. 전체 AI 이용의 실제 점유율을 측정하는 것은 아닙니다.
- I(영향력): 브랜드가 인용될 때 답변이 유용하고 고유하며 관련성 높은 정보를 제공하는가? 정보량, 고유성, 관련성을 결합합니다.
- Q(품질): 언급이 긍정적이고 사실적으로 정확한가? 감정과 정확성을 결합합니다.
이 결과에 적용되는 방법은 무엇인가요?
AGS P/I/Q, AEO 준비도, 기술 복합 지표 및 Hero Grades는 서로 다른 측정입니다. 저장, 재계산 및 대체 경로는 누락과0에 다른 규칙을 사용합니다. 대시보드와 보고서 비교 전에 출처, 방법, 버전 및 범위를 확인하세요.
문서 기준은2026년11월16일 코드 확인입니다. 경로의 존재가 특정 분석의 장애를 입증하지는 않습니다. 출처나 버전이 없으면 비교는 미확인이며, 내부 지표는 Google 공식 지표가 아닙니다.
기준 P/I/Q 경로: 계산식4
계산식4는 사용 가능한 각 차원의 점수(0~100점)를 기하평균으로 집계합니다. 세 차원일 때 AGS = (P x I x Q) ^ (1/3)입니다. 존재하는 차원이0이면 결과는0, 모두 누락되면 측정 불가입니다. 부분 결과는 구분해서 표시해야 합니다.
- P: 언급(M), 순위 역수(RP) 및 단어 비율(WC)의 조합.
- I: 영향력 = 정보성(INF), 고유성(UNQ) 및 관련성(REL)의 조합입니다.
- Q: 품질 = 감정(SENT) 및 정확성(ACC)의 조합입니다.
기준 계산은 하위 지표에 가중치를 적용합니다. 설정 설명이나 해시만으로 실제 적용 가중치를 입증할 수는 없습니다. 재현에는 계산 버전, 실제 파라미터 및 유효 관측이 필요합니다.
배심원 및 재현성
다중 평가 절차는 주 평가자를 두고 일부 표본에 이중 평가를 수행할 수 있습니다. 평가자, 범위 및 이중 평가율은 실제 코퍼스에 대해 기록하며, 모든 분석에 고정된 구성이나 비율을 가정하지 마세요.
judge_config_hash는 사용 가능한 평가자 및 평가 기준 요소를 식별하는 단서입니다. 파라미터 적용이나 비교 가능성을 보장하지 않습니다. 질문, 코퍼스, 언어, 시장, 모델, 모드, 날짜, 버전 및 범위도 확인하세요.
- GRC: 평가자 간 신뢰도(맥도날드 오메가, 스피어먼-브라운형 ω₂ = 2r/(1+r)). 두 명의 다른 평가자가 이중 채점한 항목으로 계산합니다. 쌍이 5개 이상일 때 공개합니다.
- 기준 AGS 구간은 관측이 허용할 때 부트스트랩으로 추정합니다. 없을 수도 있으므로 불확실성 해석 전에 방법과 모집단을 확인하세요.
- 보정과 기준 브랜드 패널은 변동 연구에 도움이 될 수 있습니다. 해당 기간의 이용 여부와 효과를 기록해야 하며, 모든 모델 변화가 자동 보정된다는 증거는 아닙니다.
평가 프로토콜
평가는 선택한 경로와 버전에 따라 집계됩니다. 기준 P/I/Q 경로는 관측에서 부트스트랩 구간을 추정할 수 있지만, 특히 관측이5개 미만이면 없을 수 있습니다. 공급업체나 실행 간 모든 변동을 포함하지는 않습니다.
평가자 간 신뢰도(GRC)
GRC는 데이터가 충분할 때 이중 평가한 응답의 평가자 간 일치를 설명합니다. 정확성 확률이나 시간적 안정성 보장이 아닙니다. 쌍의 수와 코퍼스 한계를 공개하세요.
투명성 및 재현성
해시는 설정 식별에 도움이 되지만 무결성, 조작 없음 또는 비교 가능성의 충분한 증거가 아닙니다. 원본 응답, 실제 파라미터, 버전, 날짜 및 범위를 보관해 검증하세요.
AGS 약어
- GRC
- GRC: 평가자 간 신뢰도(맥도날드 오메가, 스피어먼-브라운형 ω₂ = 2r/(1+r)). 두 명의 다른 평가자가 이중 채점한 항목으로 계산합니다. 쌍이 5개 이상일 때 공개합니다.
- GIS
- Generative Inclusion Score: 응답에서 브랜드 위치를 기반으로 한 가중 평균 점수(첫 번째 언급 = 100%, 마지막 = 0%)입니다.
- ASR
- Answer Sentiment Rating: -1에서 +1 척도로 언급의 어조(긍정적/중립적/부정적)입니다.
- BVI
- BVI(Brand Variance Index): 점수 분산의 ANOVA 분해(신호, 평가자, 프롬프트, 모델). 가시성 비율이 아니라 무엇이 점수를 움직이는지 보여 줍니다.
- CIA
- CIA(Citation-Influence Asymmetry): 브랜드 URL이 소스로 인용되는 비율과, 답변이 브랜드를 말하는 비율의 차이입니다. +20을 넘으면 추천 없이 AI에 정보만 공급하는 상태이고, -20 아래면 소스 인용 없이 추천만 받는 상태입니다.
보완적 기술 신호
고급 신호는 AGS와 별개인 기술 복합 지표에 사용됩니다. 한 버전에서는 advanced_signals가 있을 때 명목15%를 할당하지만, 존재하는 구성 요소와 재정규화가 실제 가중치를 결정합니다. 버전과 범위를 공개하세요.
검토하는 신호의 예
- A08: 구체성 점수 (Princeton GEO 2024): 1등급 출처 통계의 밀도(Princeton GEO KDD 2024: LLM 인용 최대 +40%).
- A09: 반론 마커: 이 검사는 균형 잡힌 논증의 표지를 찾습니다. 존재한다고 정확성, 엔진 선호 또는 경쟁사 대비 독점성이 입증되지는 않습니다.
- A07: 날짜 표시 진술
- S05: Common Crawl 포함
- S08: llms.txt RFC 검증
- B10: Stack Overflow 브랜드 언급
모듈 6: 외부 권위성 신호
외부 권위성 신호 전용 새 모듈: LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.
GEO 모듈별 검사
- SSR / 크롤링 가능성
- mainEntity | QAPage | 비디오 트랜스크립트 | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | 검증 | HTTP/3 | Brotli
- 엔티티 건전성
- Wikidata | DBpedia
- 인용 준비도
- 출처 있는 통계 | 균형 잡힌 논증 | 인라인 날짜 표시 | ItemList | Dataset | Blockquote cite | 내부 링크 | 앵커 엔트로피 | 뉴스 사이트맵
- 외부 권위성
- Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B 리뷰 | 뉴스레터
고급 검사는 상태, 날짜 및 범위와 함께 해석하세요. 미설정, 데이터 없음, 오류 또는 시간 초과는 측정된 품질 실패가 아닙니다.
블로그의 전체 기사: 30개의 새로운 GEO/AEO 2026 신호: 최신 기술 분석.
측정 대상: 그리고 측정하지 않는 대상
측정 대상
설정된 절차에 따라 API로 응답을 수집합니다. 요청 모드와 증거로 확인되는 실행을 구분하고 정확한 질문, 모델, 언어, 날짜 및 가능한 출처를 보관하세요. 해시만으로 두 분석을 비교할 수 있는 것은 아닙니다.
대상 모델은 고객의 선택에 따라 달라집니다. 가중평균은 실제 적용 가중치와 출처를 명시해야 하며, 추정 이용자 규모가 고객의 실제 이용을 자동으로 나타내지는 않습니다.
측정하지 않는 대상
API를 통해 얻은 답변은 동일한 제품의 소비자 인터페이스와 다를 수 있습니다: 대화 메모리, 독점 지침, 지리적 위치 또는 제공자 측 A/B 테스트. 로그인한 사용자의 개인화된 세션이 아닌 엔진을 측정합니다.
같은 질문도 변형된 응답을 만들 수 있습니다. 표본 수와 모집단을 기록하세요. 단일 시험과 여러 질문의 코퍼스는 같은 정보를 제공하지 않습니다.
이용자 규모 가중치를 사용한다면 출처, 날짜 및 한계를 명시하고, 분석 응답을 생성한 모집단의 직접 측정과 혼동하지 마세요.
한계를 문서화하는 이유는 무엇입니까? 범위를 알 수 없는 측정은 가치가 없기 때문입니다. 이것이 고객 앞에서 우리의 점수를 방어할 수 있게 만드는 것입니다.
한계 및 변동성
AI 가시성 측정은 정확한 과학이 아닙니다. 우리는 한계와 방법이 이를 어떻게 설명하는지 문서화합니다.
읽기단계별 증명
AI 응답이 실제로 AGS 점수가 되는 방법을 보여주는 익명화된 예입니다.
읽기