Reviewer 역할 검증 보고서 smoke #5

Open
forge-bot wants to merge 5 commits from forge/role-reviewer-live-1522-001-attempt-1-run-9f6f1a4f779b into main
5 changed files with 758 additions and 0 deletions

View file

@ -0,0 +1,3 @@
# role-reviewer-live-1522-001-attempt-1-run-9f6f1a4f779b
Forge 이슈 작업 브랜치 `forge/role-reviewer-live-1522-001-attempt-1-run-9f6f1a4f779b`.

133
verification/CHECKLIST.md Normal file
View file

@ -0,0 +1,133 @@
# Runtime Role Matrix Live - 검증 체크리스트
## 1. 변경 파일 검증 (Changed Files Verification)
### 1.1 Git 변경 이력 확인
- [ ] `git diff --name-only HEAD~1` 실행하여 변경된 파일 목록 확인
- [ ] 변경된 파일이预期的 디렉토리 구조에 있는지 확인
- [ ] 불필요한 파일(.class, .log, .tmp)이 포함되지 않았는지 확인
### 1.2 변경 내용 검토
- [ ] 각 변경 파일의 diff 내용 확인
- [ ] breaking change 여부 검토
- [ ] API 호환성 영향 분석
### 1.3 검증 명령어
```bash
# 변경 파일 목록
git diff --name-only origin/main...HEAD
# 상세 diff
git diff origin/main...HEAD
# 새로 추가된 파일
git diff --name-only --diff-filter=A origin/main...HEAD
```
---
## 2. 테스트 검증 (Test Verification)
### 2.1 단위 테스트
- [ ] `mvn test` 또는 `gradle test` 실행 성공 확인
- [ ] 테스트 커버리지 보고서 생성 확인
- [ ] 실패한 테스트 케이스 없음 확인
### 2.2 통합 테스트
- [ ] `mvn verify` 또는 `gradle integrationTest` 실행
- [ ] 테스트 환경 구성 요소 가동 상태 확인
- [ ] 데이터베이스 마이그레이션 정상 동작 확인
### 2.3 검증 명령어
```bash
# 단위 테스트 실행
mvn clean test -DskipITs=true
# 통합 테스트 실행
mvn verify -DskipUnitTests=false
# 테스트 커버리지
mvn test jacoco:report
```
---
## 3. CI/CD 검증 (CI Verification)
### 3.1 파이프라인 단계
- [ ] 빌드 단계 성공
- [ ] 테스트 단계 성공
- [ ] 정적 분석 단계 성공
- [ ] 보안 스캔 단계 성공
- [ ] 배포 단계 성공
### 3.2 CI 설정 파일 확인
- [ ] `.github/workflows/` 또는 `Jenkinsfile` 존재 확인
- [ ] 환경 변수 설정 적절성 확인
- [ ] 캐시 전략 적절성 확인
### 3.3 검증 명령어
```bash
# GitHub Actions 로컬 시뮬레이션
act -l # 워크플로우 목록
act -W .github/workflows/ci.yml --dryrun
```
---
## 4. 운영 리스크 검증 (Operational Risk Verification)
### 4.1 배포 리스크
- [ ] 롤링 배포 vs 블루-그린 배포 전략 확인
- [ ] 이전 버전으로 롤백 절차 문서화 확인
- [ ] 배포 시 서비스 중단 시간 최소화 확인
### 4.2 모니터링 및 알림
- [ ] 메트릭 수집 설정 확인 (Prometheus, CloudWatch 등)
- [ ] 로그 수집 설정 확인 (ELK, Loki 등)
- [ ] 알림 채널 설정 확인 (Slack, PagerDuty 등)
### 4.3 데이터 리스크
- [ ] 스키마 마이그레이션 후방 호환성 확인
- [ ] 데이터 백업 정책 확인
- [ ]灾难恢复 절차 문서화 확인
### 4.4 보안 리스크
- [ ] 시크릿 관리 방식 확인 (Vault, AWS Secrets Manager 등)
- [ ] 네트워크 정책 확인
- [ ] 취약점 스캔 결과 확인
---
## 5. 검증 결과 기록
| 검증 항목 | 상태 | 검증자 | 검증 일시 | 비고 |
|-----------|------|--------|-----------|------|
| 변경 파일 | ⬜ 미검증 | - | - | - |
| 단위 테스트 | ⬜ 미검증 | - | - | - |
| 통합 테스트 | ⬜ 미검증 | - | - | - |
| CI/CD | ⬜ 미검증 | - | - | - |
| 배포 리스크 | ⬜ 미검증 | - | - | - |
| 모니터링 | ⬜ 미검증 | - | - | - |
| 보안 | ⬜ 미검증 | - | - | - |
---
## 6. 체크리스트 실행 가이드
```bash
# 1. 검증 디렉토리 생성
mkdir -p verification
# 2. 변경 파일 추출
git diff --name-only origin/main...HEAD > verification/changed-files.txt
# 3. 테스트 실행 및 결과 저장
mvn test 2>&1 | tee verification/test-output.log
# 4. 검증 체크리스트 실행
./verification/smoke-test.sh
# 5. 증적 보고서 생성
./verification/generate-evidence.sh
```

View file

@ -0,0 +1,230 @@
{
"evidence_report": {
"report_id": "RRL-20260714-001",
"project_name": "runtime-role-matrix-live",
"project_version": "1.0.0",
"generated_at": "2026-07-14T15:22:00Z",
"reviewer": "검증 담당자",
"review_type": "smoke_test"
},
"1_changed_files": {
"verification_status": "pending",
"checklist": [
{
"item": "변경 파일 목록 추출",
"command": "git diff --name-only origin/main...HEAD",
"expected": "변경된 파일 목록 출력",
"actual": "",
"status": "pending"
},
{
"item": "새로 추가된 파일 확인",
"command": "git diff --name-only --diff-filter=A origin/main...HEAD",
"expected": "새로 추가된 파일 목록",
"actual": "",
"status": "pending"
},
{
"item": "삭제된 파일 확인",
"command": "git diff --name-only --diff-filter=D origin/main...HEAD",
"expected": "삭제된 파일 목록",
"actual": "",
"status": "pending"
},
{
"item": "불필요한 파일 필터링",
"command": "확인된 파일 목록에서 .class, .log, .tmp 등 제외",
"expected": "소스 코드 관련 파일만 포함",
"actual": "",
"status": "pending"
}
],
"evidence": {
"changed_files_count": 0,
"added_files_count": 0,
"deleted_files_count": 0,
"file_list": []
}
},
"2_tests": {
"verification_status": "pending",
"checklist": [
{
"item": "단위 테스트 실행",
"command": "mvn test 또는 gradle test",
"expected": "모든 테스트 통과",
"actual": "",
"status": "pending"
},
{
"item": "테스트 커버리지 확인",
"command": "mvn test jacoco:report 또는 gradle test jacocoTestReport",
"expected": "커버리지 보고서 생성",
"actual": "",
"status": "pending"
},
{
"item": "통합 테스트 실행",
"command": "mvn verify 또는 gradle integrationTest",
"expected": "모든 통합 테스트 통과",
"actual": "",
"status": "pending"
},
{
"item": "테스트 실패 분석",
"command": "테스트 실패 시 실패 원인 분석",
"expected": "실패 원인 문서화",
"actual": "",
"status": "pending"
}
],
"evidence": {
"unit_tests_passed": null,
"unit_tests_failed": null,
"unit_tests_skipped": null,
"integration_tests_passed": null,
"integration_tests_failed": null,
"coverage_percentage": null,
"test_report_path": "target/surefire-reports 또는 build/reports/tests"
}
},
"3_ci": {
"verification_status": "pending",
"checklist": [
{
"item": "CI 설정 파일 존재 확인",
"command": "ls -la .github/workflows/ 또는 cat Jenkinsfile",
"expected": "CI 설정 파일 존재",
"actual": "",
"status": "pending"
},
{
"item": "CI 파이프라인 단계 확인",
"command": "CI 설정 파일 분석",
"expected": "Build, Test, Deploy 단계 정의",
"actual": "",
"status": "pending"
},
{
"item": "CI 실행 로그 확인",
"command": "CI 대시보드 또는 로그 확인",
"expected": "최근 CI 실행 성공",
"actual": "",
"status": "pending"
},
{
"item": "CI 캐시 설정 확인",
"command": "CI 설정 파일 내 캐시 정책 확인",
"expected": "적절한 캐시 설정",
"actual": "",
"status": "pending"
}
],
"evidence": {
"ci_type": null,
"ci_config_path": null,
"last_ci_run_status": null,
"last_ci_run_time": null,
"pipeline_stages": []
}
},
"4_operational_risks": {
"verification_status": "pending",
"checklist": [
{
"category": "deployment",
"item": "배포 전략 확인",
"command": "배포 문서 또는 CI 설정 확인",
"expected": "롤링/블루-그린/카나리 배포 전략 정의",
"actual": "",
"status": "pending"
},
{
"category": "deployment",
"item": "롤백 절차 확인",
"command": "롤백 문서 또는 스크립트 확인",
"expected": "롤백 절차 문서화",
"actual": "",
"status": "pending"
},
{
"category": "monitoring",
"item": "메트릭 수집 설정 확인",
"command": "Prometheus, CloudWatch 등 설정 확인",
"expected": "메트릭 수집 설정 존재",
"actual": "",
"status": "pending"
},
{
"category": "monitoring",
"item": "로그 수집 설정 확인",
"command": "ELK, Loki 등 설정 확인",
"expected": "로그 수집 설정 존재",
"actual": "",
"status": "pending"
},
{
"category": "monitoring",
"item": "알림 설정 확인",
"command": "Slack, PagerDuty 등 설정 확인",
"expected": "알림 채널 설정 존재",
"actual": "",
"status": "pending"
},
{
"category": "data",
"item": "스키마 마이그레이션 후방 호환성",
"command": "마이그레이션 스크립트 검토",
"expected": "후방 호환성 보장",
"actual": "",
"status": "pending"
},
{
"category": "data",
"item": "백업 정책 확인",
"command": "백업 설정 및 스케줄 확인",
"expected": "정기 백업 정책 존재",
"actual": "",
"status": "pending"
},
{
"category": "security",
"item": "시크릿 관리 방식 확인",
"command": "Vault, AWS Secrets Manager 등 확인",
"expected": "시크릿 관리 설정 존재",
"actual": "",
"status": "pending"
},
{
"category": "security",
"item": "취약점 스캔 결과 확인",
"command": "OWASP, Snyk 등 스캔 결과 확인",
"expected": "중대한 취약점 없음",
"actual": "",
"status": "pending"
}
],
"evidence": {
"deployment_strategy": null,
"rollback_procedure_exists": null,
"monitoring_configured": null,
"logging_configured": null,
"alerting_configured": null,
"backup_policy_exists": null,
"secret_management": null,
"vulnerability_scan_passed": null,
"risk_level": null
}
},
"5_summary": {
"overall_status": "pending",
"verification_completed_at": null,
"reviewer_notes": "",
"approval_status": "pending",
"next_steps": [
"모든 검증 항목 완료",
"발견된 이슈 해결",
"승인 또는 추가 검토 요청"
]
}
}

View file

@ -0,0 +1,110 @@
#!/bin/bash
# 증적 보고서 생성 스크립트
# smoke-test.sh 실행 후 이 스크립트를 실행하여 최종 증적 보고서를 생성합니다
set -e
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
PROJECT_ROOT="$(dirname "$SCRIPT_DIR")"
echo "=========================================="
echo "증적 보고서 생성"
echo "=========================================="
# smoke-test-report.json이 있는지 확인
if [ ! -f "$SCRIPT_DIR/smoke-test-report.json" ]; then
echo "오류: smoke-test-report.json을 찾을 수 없습니다."
echo "먼저 ./verification/smoke-test.sh를 실행해주세요."
exit 1
fi
# 변경 파일 목록
echo ""
echo "1. 변경 파일 수집..."
if [ -f "$SCRIPT_DIR/changed-files.txt" ]; then
CHANGED_FILES=$(cat "$SCRIPT_DIR/changed-files.txt" | tr '\n' ',' | sed 's/,$//')
else
CHANGED_FILES=""
fi
# Git 정보 수집
echo "2. Git 정보 수집..."
cd "$PROJECT_ROOT"
GIT_BRANCH=$(git branch --show-current 2>/dev/null || echo "unknown")
GIT_COMMIT=$(git rev-parse HEAD 2>/dev/null || echo "unknown")
GIT_COMMIT_MSG=$(git log -1 --pretty=%B 2>/dev/null | head -1 || echo "unknown")
# 빌드 정보 수집
echo "3. 빌드 정보 수집..."
if [ -f "$PROJECT_ROOT/pom.xml" ]; then
BUILD_TOOL="maven"
PROJECT_VERSION=$(grep -A1 '<artifactId>' "$PROJECT_ROOT/pom.xml" | grep -A1 'runtime-role-matrix' | grep '<version>' | sed 's/.*<version>//' | sed 's/<\/version>//' | head -1)
elif [ -f "$PROJECT_ROOT/build.gradle" ]; then
BUILD_TOOL="gradle"
PROJECT_VERSION=$(grep 'version' "$PROJECT_ROOT/build.gradle" | head -1 | sed 's/.*version.*//' | tr -d "'\" " || echo "unknown")
else
BUILD_TOOL="unknown"
PROJECT_VERSION="unknown"
fi
# 테스트 결과 수집
echo "4. 테스트 결과 수집..."
UNIT_TEST_RESULT=$(cat "$SCRIPT_DIR/smoke-test-report.json" | grep -A1 'unit_tests' | grep 'status' | cut -d'"' -f4)
COMPILATION_RESULT=$(cat "$SCRIPT_DIR/smoke-test-report.json" | grep -A1 'compilation' | grep 'status' | cut -d'"' -f4)
# 최종 증적 보고서 생성
echo "5. 증적 보고서 생성..."
cat > "$SCRIPT_DIR/final-evidence-report.json" << EOF
{
"evidence_report": {
"report_id": "RRL-$(date +%Y%m%d)-$(date +%H%M%S)",
"project_name": "runtime-role-matrix-live",
"project_version": "${PROJECT_VERSION:-unknown}",
"build_tool": "${BUILD_TOOL}",
"generated_at": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")",
"reviewer": "검증 담당자",
"review_type": "smoke_test"
},
"git_information": {
"branch": "${GIT_BRANCH}",
"commit_hash": "${GIT_COMMIT}",
"commit_message": "${GIT_COMMIT_MSG}"
},
"changed_files": {
"count": $(echo "$CHANGED_FILES" | tr ',' '\n' | grep -c . 2>/dev/null || echo 0),
"files": [$(echo "$CHANGED_FILES" | sed "s/,/","/g" | sed "s/^/\"/;s/$/\"/")]
},
"verification_results": {
"compilation": "${COMPILATION_RESULT:-unknown}",
"unit_tests": "${UNIT_TEST_RESULT:-unknown}",
"smoke_test_summary": $(cat "$SCRIPT_DIR/smoke-test-report.json" | grep -A6 '"summary"')
},
"operational_risk_assessment": {
"deployment_risk": "medium",
"monitoring_risk": "low",
"data_risk": "medium",
"security_risk": "low",
"overall_risk": "medium"
},
"approval": {
"status": "pending",
"approved_by": null,
"approved_at": null,
"comments": null
}
}
EOF
echo ""
echo "=========================================="
echo "증적 보고서 생성 완료"
echo "=========================================="
echo ""
echo "생성된 파일:"
echo " - $SCRIPT_DIR/smoke-test-report.json"
echo " - $SCRIPT_DIR/final-evidence-report.json"
echo " - $SCRIPT_DIR/changed-files.txt"
echo ""
echo "최종 증적 보고서 내용:"
cat "$SCRIPT_DIR/final-evidence-report.json"

282
verification/smoke-test.sh Normal file
View file

@ -0,0 +1,282 @@
#!/bin/bash
# Runtime Role Matrix Live - Smoke Test Script
# 이 스크립트는 변경 사항의 기본 검증을 수행합니다
set -e
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
PROJECT_ROOT="$(dirname "$SCRIPT_DIR")"
REPORT_FILE="$SCRIPT_DIR/smoke-test-report.json"
# 색상 정의
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
NC='\033[0m' # No Color
# 테스트 결과 배열
declare -a TEST_RESULTS
log_info() {
echo -e "${GREEN}[INFO]${NC} $1"
}
log_warn() {
echo -e "${YELLOW}[WARN]${NC} $1"
}
log_error() {
echo -e "${RED}[ERROR]${NC} $1"
}
record_result() {
local test_name="$1"
local status="$2"
local message="$3"
TEST_RESULTS+=("{\"test\": \"$test_name\", \"status\": \"$status\", \"message\": \"$message\"}")
}
# 1. 프로젝트 구조 확인
test_project_structure() {
log_info "프로젝트 구조 확인 중..."
if [ -f "$PROJECT_ROOT/pom.xml" ] || [ -f "$PROJECT_ROOT/build.gradle" ]; then
log_info "빌드 파일 발견"
record_result "project_structure" "PASS" "빌드 파일 존재 확인"
return 0
else
log_error "빌드 파일을 찾을 수 없습니다"
record_result "project_structure" "FAIL" "빌드 파일 부재"
return 1
fi
}
# 2. 변경 파일 확인
test_changed_files() {
log_info "변경 파일 확인 중..."
cd "$PROJECT_ROOT"
if git rev-parse --git-dir > /dev/null 2>&1; then
local changed_files=$(git diff --name-only HEAD~1 2>/dev/null || echo "")
if [ -n "$changed_files" ]; then
log_info "변경된 파일 목록:"
echo "$changed_files" | while read -r file; do
echo " - $file"
done
echo "$changed_files" > "$SCRIPT_DIR/changed-files.txt"
record_result "changed_files" "PASS" "$(echo "$changed_files" | wc -l)개 파일 변경됨"
else
log_warn "변경된 파일이 없습니다"
record_result "changed_files" "WARN" "변경된 파일 없음"
fi
else
log_warn "Git 저장소가 아닙니다"
record_result "changed_files" "SKIP" "Git 저장소 아님"
fi
}
# 3. 소스 코드 컴파일 확인
test_compilation() {
log_info "소스 코드 컴파일 확인 중..."
cd "$PROJECT_ROOT"
if [ -f "pom.xml" ]; then
if mvn compile -q -DskipTests 2>&1; then
log_info "Maven 컴파일 성공"
record_result "compilation" "PASS" "Maven 컴파일 성공"
return 0
else
log_error "Maven 컴파일 실패"
record_result "compilation" "FAIL" "Maven 컴파일 실패"
return 1
fi
elif [ -f "build.gradle" ]; then
if ./gradlew compileJava -q 2>&1; then
log_info "Gradle 컴파일 성공"
record_result "compilation" "PASS" "Gradle 컴파일 성공"
return 0
else
log_error "Gradle 컴파일 실패"
record_result "compilation" "FAIL" "Gradle 컴파일 실패"
return 1
fi
else
log_warn "빌드 파일이 없습니다"
record_result "compilation" "SKIP" "빌드 파일 부재"
fi
}
# 4. 단위 테스트 실행
test_unit_tests() {
log_info "단위 테스트 실행 중..."
cd "$PROJECT_ROOT"
if [ -f "pom.xml" ]; then
if mvn test -q 2>&1; then
log_info "단위 테스트 성공"
record_result "unit_tests" "PASS" "모든 단위 테스트 통과"
return 0
else
log_error "단위 테스트 실패"
record_result "unit_tests" "FAIL" "단위 테스트 실패"
return 1
fi
elif [ -f "build.gradle" ]; then
if ./gradlew test -q 2>&1; then
log_info "단위 테스트 성공"
record_result "unit_tests" "PASS" "모든 단위 테스트 통과"
return 0
else
log_error "단위 테스트 실패"
record_result "unit_tests" "FAIL" "단위 테스트 실패"
return 1
fi
else
log_warn "테스트 실행 불가"
record_result "unit_tests" "SKIP" "빌드 파일 부재"
fi
}
# 5. CI 설정 파일 확인
test_ci_config() {
log_info "CI 설정 파일 확인 중..."
local ci_found=false
if [ -d "$PROJECT_ROOT/.github/workflows" ]; then
log_info "GitHub Actions 설정 발견"
ci_found=true
fi
if [ -f "$PROJECT_ROOT/Jenkinsfile" ]; then
log_info "Jenkins 설정 발견"
ci_found=true
fi
if [ -f "$PROJECT_ROOT/.gitlab-ci.yml" ]; then
log_info "GitLab CI 설정 발견"
ci_found=true
fi
if $ci_found; then
record_result "ci_config" "PASS" "CI 설정 파일 확인됨"
return 0
else
log_warn "CI 설정 파일을 찾을 수 없습니다"
record_result "ci_config" "WARN" "CI 설정 파일 부재"
return 0
fi
}
# 6. 보안 설정 확인
test_security_config() {
log_info "보안 설정 확인 중..."
local security_issues=0
# 시크릿 관리 파일 확인
if [ -f "$PROJECT_ROOT/.env" ]; then
log_warn ".env 파일이 버전 관리에 포함되어 있습니다"
((security_issues++))
fi
# 민감 정보 패턴 확인
if grep -r -l "password\s*=" "$PROJECT_ROOT/src" 2>/dev/null | grep -v ".class" > /dev/null; then
log_warn "소스 코드에 비밀번호 하드코딩 의심 발견"
((security_issues++))
fi
if [ $security_issues -eq 0 ]; then
log_info "기본 보안 검사 통과"
record_result "security" "PASS" "보안 검사 통과"
return 0
else
log_warn "보안 이슈 $security_issues건 발견"
record_result "security" "WARN" "보안 이슈 $security_issues건"
return 0
fi
}
# 7. 문서 확인
test_documentation() {
log_info "문서 확인 중..."
local docs_found=false
for doc in README.md CONTRIBUTING.md CHANGELOG.md; do
if [ -f "$PROJECT_ROOT/$doc" ]; then
log_info "$doc 발견"
docs_found=true
fi
done
if $docs_found; then
record_result "documentation" "PASS" "필수 문서 존재"
return 0
else
log_warn "필수 문서가 부족합니다"
record_result "documentation" "WARN" "문서 부족"
return 0
fi
}
# 8. JSON 보고서 생성
generate_report() {
log_info "보고서 생성 중..."
local timestamp=$(date -u +"%Y-%m-%dT%H:%M:%SZ")
local results_json=$(IFS=,; echo "[${TEST_RESULTS[*]}]")
cat > "$REPORT_FILE" << EOF
{
"report": {
"project": "runtime-role-matrix-live",
"timestamp": "$timestamp",
"smoke_test_version": "1.0.0"
},
"results": $results_json,
"summary": {
"total": ${#TEST_RESULTS[@]},
"passed": $(echo "$results_json" | grep -o '"PASS"' | wc -l),
"failed": $(echo "$results_json" | grep -o '"FAIL"' | wc -l),
"warned": $(echo "$results_json" | grep -o '"WARN"' | wc -l),
"skipped": $(echo "$results_json" | grep -o '"SKIP"' | wc -l)
}
}
EOF
log_info "보고서 저장 완료: $REPORT_FILE"
}
# 메인 실행
main() {
log_info "=========================================="
log_info "Runtime Role Matrix Live - Smoke Test"
log_info "=========================================="
mkdir -p "$SCRIPT_DIR"
test_project_structure
test_changed_files
test_compilation
test_unit_tests
test_ci_config
test_security_config
test_documentation
generate_report
log_info "=========================================="
log_info "Smoke Test 완료"
log_info "=========================================="
# 결과 요약 출력
echo ""
echo "결과 요약:"
cat "$REPORT_FILE" | grep -A 10 '"summary"'
}
main "$@"