멋진 문장과 사실에 맞는 문장이 충돌할 때 무엇을 고를지, 가상 A·B 결과 두 개에 같은 기준을 적용합니다. 모델 순위가 아닌 평가 방식의 실습입니다.
이번 비교의 목적과 표본
AI 비교 화면에 모델 이름이 먼저 보이면 자신이 좋아하는 도구를 더 좋게 평가할 수 있습니다. 그렇다고 이름만 숨기면 공정한 실험이 완성되는 것은 아닙니다. 입력 자료, 출력 형식, 검수 항목, 시간과 비용 범위가 함께 정해져야 합니다. 이번에는 외부 모델을 호출하지 않고, 오류가 들어간 A와 수정된 B라는 편집 예시를 만들어 판단 순서만 실습했습니다.
A에는 ‘합계 330000원, 수요일 마감’이라고 쓰고 B에는 ‘합계 300000원, 마감 원문에 없음’이라고 썼습니다. 두 결과는 같은 가상 매출표와 회의 메모를 해석하는 상황입니다. 정답을 만드는 기준은 120000, 80000, 100000의 합계와 마감 정보의 존재 여부입니다. 이 자료가 없으면 A·B의 표현만 보고 선택하게 되므로 먼저 원문을 독자에게 공개합니다.
같은 기준으로 판정한 결과
| 평가 항목 | A | B |
|---|---|---|
| 합계 원문 일치 | 불일치 | 일치 |
| 없는 마감일을 만들지 않음 | 불일치 | 일치 |
| 문장 선호도 | 이번 검사에서 측정 안 함 | 이번 검사에서 측정 안 함 |
| 생성 비용·시간 | 외부 모델 호출 안 함 | 외부 모델 호출 안 함 |
검증 스크립트는 두 핵심 항목에 대해 A는 모두 false, B는 모두 true를 반환했습니다. 이 결과는 예시의 정답 일치 판정이지 사람 투표나 실제 모델의 승률이 아닙니다. 취향 점수와 측정하지 않은 비용을 숫자로 채우지 않았습니다.
FAMOS 분석: 탈락 조건과 선호 조건을 분리하세요
잘못된 날짜나 합계는 업무를 실패하게 만들 수 있습니다. 반면 문장이 짧다거나 표가 예쁘다는 특징은 사실 검수를 통과한 뒤 선택할 문제입니다. 그래서 평가표의 첫 부분에는 원문 일치, 빠진 정보, 공개 금지 항목 같은 탈락 조건을 넣고, 그 다음에 가독성·톤·수정하기 쉬움을 적는 방식이 적합합니다. 모든 항목을 하나의 평균 점수로 합치면 심각한 숫자 오류가 좋은 문체 점수에 가려질 수 있습니다.
동일 조건이라는 말도 기록이 없으면 약합니다. 원자료와 요청문이 조금이라도 바뀌었다면 별도 실험으로 분리해야 합니다. 한 결과에는 표를 요구하고 다른 결과에는 자유 문장을 허용한 뒤 누가 더 깔끔한지 평가하면 모델보다 형식 지시의 차이를 보게 됩니다. 평가자가 결과를 고친 후 점수를 매기면 초기 출력과 수정 후 결과를 반드시 나눠 저장해야 합니다.
이번 두 개의 예시는 B를 선택하도록 설계되어 있어 실제 블라인드 선호 조사를 대신하지 못합니다. 독자에게 보여주는 가치는 ‘어떤 사실을 먼저 대조할지’이며 새로운 모델 순위가 아닙니다. 실제 비교를 시작할 때에는 출력 전문, 사용 시점, 모델 표기, 동일 요청문, 반복 횟수와 제외한 응답을 함께 남기는 것이 다음 단계입니다.
비교를 중단해야 하는 경우
원문을 구할 수 없거나 두 응답이 서로 다른 작업을 했으면 승자를 정하지 마세요. ‘비교 불가: 입력 조건이 다름’이라고 남기고 조건을 다시 맞춥니다. 이미지나 파일을 한 모델만 읽었다면 그 차이도 기록합니다. AI가 직접 정한 자기 점수는 사용자의 독립적인 검수 결과와 구분해야 합니다.
직접 따라 해보기
누가 하나요?
여러 AI 답을 비교하거나 초안을 선택하는 작성자
찾아갈 곳
AI 결과 비교 실습에서 원문과 예시를 함께 보세요.
그대로 복사할 것
작업 목표: 원자료 / 요청문 버전: 결과 A 전문: 결과 B 전문: 탈락 조건: 원문 불일치 / 누락 정보 발명 / 공개 금지 자료 선호 조건: 가독성 / 편집 난이도 선택 이유 / 비교 불가 사유:
실행자가 직접 할 행동
- 두 결과에서 모델 이름을 숨기고 출력 전문을 A·B로 저장합니다.
- 원문 일치와 누락 표시를 먼저 대조합니다.
- 통과한 결과끼리 표현과 수정 난이도를 비교합니다.
- 외부 모델을 쓰지 않은 예시라면 예시라고 표시합니다.
끝났는지 확인하는 방법
A·B 선택 이유가 원문과 평가 항목으로 설명되고 측정하지 않은 승률·비용·시간이 비어 있으면 기록을 마칠 수 있습니다.
자료와 확인 범위
FAMOS가 AI 보조로 작성·편집하고 원자료와 재현 검사를 대조했습니다. 가상 입력은 학습용이며 실제 고객·매장·모집 성과가 아닙니다. 모델별 성능·효율이나 애드센스 승인 확률은 측정하지 않았습니다. 확인 기록은 콘텐츠 검증 기록에서 볼 수 있습니다.
공유된 첨부파일이 없습니다.