강의 추천 RAG 챗봇 만들기

https://fastcampus.co.kr/categories 에 보이는 강의 정보를 모아 추천 챗봇을 만들려고 해.
아직 수집 코드는 만들지 말고 먼저 조사해줘.
- robots.txt와 이용약관에서 자동 수집과 관련된 내용
- 강의 목록을 얻을 수 있는 경로들 (sitemap.xml, 카테고리 화면이 불러오는 목록 데이터 등)
- 경로마다 얻을 수 있는 강의 수와 항목(제목, 소개, 수강 대상, 수강 시간, 분류)
- 요청을 가장 적게 보내면서 전체를 얻을 수 있는 방법
직접 확인한 것과 추측한 것을 구분해서 표로 정리해줘.

조사 결과 중 카테고리 화면이 불러오는 목록 데이터로 수집하는 crawl.py를 만들어줘.
- "AI/업무생산성"과 "비즈니스/기획" 두 분야만, 분야마다 요청 한 번, 요청 사이 1초 쉬기
- 판매 중인 강의만, 겹치는 강의는 한 번만 저장
- 강의마다 제목, 소개, 수강 대상, 수강 시간, 키워드, 주소, 수집 시각을 저장
- 한 건도 못 받으면 기존 data/courses.json을 덮어쓰지 않기

수집한 강의 수가 맞는지 다른 경로로 대조해줘.
sitemap.xml에 있는 강의 주소 수, 카테고리 화면에 보이는 강의 수와 비교하고,
한쪽에만 있는 강의가 있으면 예를 5개 보여줘. 차이가 나는 이유도 설명해줘.

data/courses.json을 점검해줘. 아직 코드는 만들지 마.
- 강의 수, 분야별 개수, 수강 대상별 개수
- 필드별로 값이 비어 있는 강의 수
- url이 중복된 강의가 있는지
- type, state 값별 개수와, 추천하면 안 될 것 같은 값
- crawled_at으로 본 수집 날짜
결과를 표로 보여주고, 챗봇에 쓰기 전에 고쳐야 할 점을 제안해줘.

- 패키지 관리는 uv를 쓴다.
- API 키는 .env에서 읽고, 코드에 직접 쓰지 않는다. .env는 .gitignore에 넣는다.
- 코드를 바꾼 뒤에는 실제로 실행해서 확인하고, 확인한 것과 못 한 것을 구분해 보고한다.
- 한국어 주석을 단다.

data/courses.json으로 강의 추천 RAG 챗봇을 만들어줘.

조건:
- Python 3.11, 패키지 관리와 실행은 uv
- 화면은 Streamlit, RAG 구성은 LangChain
- OpenAI API 사용, API Key는 .env의 OPENAI_API_KEY에서 읽기 (.env는 이미 있음)
- 임베딩 모델: text-embedding-3-small
- 답변 모델: gpt-4o-mini
- 벡터DB: FAISS. data/faiss 폴더에 저장하고, 이미 저장돼 있으면 다시 임베딩하지 않기
- 파일: 화면 app.py, 검색과 답변 rag.py. 주석은 한국어

기능:
- 강의 하나를 문서 하나로 넣는다. 내용은 "제목 + 소개 + 키워드"
- 강의 id를 문서 id로 쓰고, 수강 대상·수강 시간·분야·주소는 메타데이터로 넣는다
- 질문과 가장 비슷한 강의 5개를 찾아 답변 모델에게 넘긴다
- 목록에 있는 강의만 추천하고, 맞는 게 없으면 없다고 답한다
- 답변 아래에 검색된 강의 5개와 유사도를 보여준다

만든 뒤 직접 실행해서 "엑셀 자동화" 질문으로 확인하고,
확인한 것과 확인하지 못한 것을 구분해서 알려줘.

이 프로젝트의 파일 구성을 표로 설명해줘. 파일마다 역할을 한 줄로 적어줘.

"[질문]"이라고 물었더니 [실제로 나온 결과]가 나왔어.
[기대한 결과]가 나와야 해.
아직 코드는 바꾸지 말고, 데이터 문제인지 검색 문제인지 답변 지시문 문제인지
파일을 열어 보거나 직접 실행해서 확인한 근거와 함께 알려줘.

그 원인대로 고쳐줘. 고친 뒤 같은 질문으로 다시 실행해서 결과를 보여주고,
앞에서 잘 되던 "엑셀 자동화" 질문이 여전히 잘 되는지도 확인해줘.

화면 위쪽에 자료의 기준일을 표시해줘.
courses.json의 crawled_at에서 가장 최근 날짜를 읽어
"○○○○년 ○월 ○일 수집 자료 기준 · 강의 ○개" 형태로 보여줘.

사이드바에 수강 대상과 수강 시간(5시간 이하, 10시간 이하, 20시간 이하) 필터를 추가해줘.
선택지는 데이터에 실제로 있는 값만 보여주고, 문서의 메타데이터로 걸러서 조건에 맞는 강의 안에서만 검색해.
조건에 맞는 강의가 하나도 없으면 AI를 호출하지 말고 조건을 넓히라고 안내해줘.

답변 아래에 추천한 강의를 카드로 보여줘. 카드에는 제목, 수강 대상, 수강 시간,
강의 페이지로 가는 버튼을 넣어.
제목과 링크는 AI가 쓴 글에서 가져오지 말고 courses.json의 값을 그대로 써줘.

현재 Streamlit 강의 추천 챗봇에 `수집 데이터` 관리 페이지를 추가해줘.
- 왼쪽 사이드바에 `추천 / 수집 데이터 / 질문 기록` 메뉴를 둬.
- 수집 데이터 페이지에는 강의 수·분야 수·평균 본문 길이·청크 수를 상단에 보여줘.
- 분야 필터와 제목·본문 검색을 넣어줘.
- 아래에는 강의 목록 표를 표시하고, 제목·분야·수강 대상·수강 시간·소개·강의 링크를 보여줘.
- 탭으로 강의 상세와 분야별 통계도 제공해줘.
- 데이터는 `data/courses.json`만 사용하고, 기존 RAG와 질문 기록은 유지해줘.
- 밝고 단정한 대시보드 UI로 만들고, 기존 포트에서 직접 실행해 확인해줘.

질문할 때마다 시각, 질문, 검색된 강의와 유사도, 답변을 logs/questions.jsonl에 한 줄씩 저장해줘.
화면 아래에 "질문은 품질 개선을 위해 저장됩니다. 개인정보는 입력하지 마세요."라고 표시하고,
logs 폴더는 .gitignore에 넣어줘.

사이트에서 강의를 다시 수집해 기존 자료와 비교하는 update.py를 만들어줘.
신규, 종료, 내용이 바뀐 강의를 나눠 출력하고 data/changes.md에 날짜와 함께 기록해.
새로 받은 강의가 0개이거나 기존의 절반 이하면 교체하지 말고 멈춰.
--dry-run을 주면 비교 결과만 보여주고 아무것도 바꾸지 마.

비교 결과를 data/faiss에 반영하게 고쳐줘. 전체를 다시 임베딩하지 말고,
신규 강의는 추가, 내용이 바뀐 강의는 같은 id로 지우고 다시 추가, 종료된 강의는 삭제해.
끝나면 새로 임베딩한 개수와 그대로 둔 개수를 출력하고 data/faiss를 저장해.

update.py가 변경을 제대로 잡는지 사이트에 요청하지 않고 시험해줘.
data/courses.json을 복사해서 강의 1개를 지우고, 1개의 소개글을 고치고,
가짜 강의 1개를 추가한 파일을 만든 다음, 그 파일을 새 목록으로 삼아 비교를 돌려줘.
결과가 "신규 1 / 종료 1 / 수정 1 / 새로 임베딩 2"로 나오는지 확인하고,
시험에 쓴 파일은 지우고 data/faiss도 시험 전 상태로 되돌려줘.

이 프로젝트를 GitHub 저장소 (위 칸에 저장소 주소를 넣으세요) 에 올려줘.
1) git 저장소가 아니면 git init 하고 기본 브랜치를 main으로 맞춘다
2) .gitignore에 .env, 가상환경 폴더, __pycache__, logs가 들어 있는지 확인하고 없으면 추가한다
3) origin이 없으면 위 주소로 연결하고, 다른 주소로 연결돼 있으면 바꾸기 전에 나에게 물어본다
4) .env와 API 키가 올라갈 파일에 포함되지 않았는지 확인한다
5) 올라갈 파일 목록을 보여주고 내 확인을 받은 뒤 커밋하고 origin/main에 푸시한다
기존 README.md는 건드리지 마.

git push -u origin main

이 챗봇을 Streamlit Community Cloud에 배포하려고 해. 배포 전에 준비해줘.
- OPENAI_API_KEY를 PC에서는 .env에서, 배포 환경에서는 st.secrets에서 읽기
- APP_PASSWORD가 설정돼 있으면 암호를 입력해야 쓸 수 있게 하기
- data/faiss를 그대로 불러와 배포 서버에서 다시 임베딩하지 않게 하기
고친 뒤 PC에서 실행해 확인하고, 변경분을 GitHub에 올려줘.

OPENAI_API_KEY="(.env 파일에 있는 줄을 그대로)"