Feat : url을 통한 뉴스 크롤링 및 HCX를 통한 뉴스 리포트 생성

build.gradle

@@ -49,6 +49,8 @@ dependencies {
 	// Redis
 	implementation 'org.springframework.boot:spring-boot-starter-data-redis'
 
+  // Jsoup for HTML parsing
+	implementation 'org.jsoup:jsoup:1.17.2'
 
 }
 

src/main/java/com/perfact/be/domain/news/config/SelectorConfig.java

@@ -0,0 +1,77 @@
+package com.perfact.be.domain.news.config;
+
+import org.springframework.stereotype.Component;
+
+import java.util.List;
+
+@Component
+public class SelectorConfig {
+
+  // 제목 추출 셀렉터
+  public static final List<String> TITLE_SELECTORS = List.of(
+      "#title_area span", // 네이버 뉴스의 일반적인 제목 셀렉터
+      ".title_area .title", // 기존 셀렉터
+      "h1", // 일반적인 제목 태그
+      ".title", // 일반적인 제목 클래스
+      "[class*=\"title\"]", // 제목 관련 클래스를 포함하는 요소
+      "title" // HTML title 태그
+  );
+
+  // 다른 뉴스 사이트 제목 셀렉터
+  public static final List<String> OTHER_NEWS_TITLE_SELECTORS = List.of(
+      "h1",
+      ".title",
+      ".headline",
+      ".article-title",
+      "title");
+
+  // 뉴스 내용 추출 셀렉터
+  public static final List<String> CONTENT_SELECTORS = List.of(
+      "#dic_area", // id 셀렉터 (가장 일반적)
+      ".dic_area", // 클래스 셀렉터 (기존)
+      "article", // article 태그
+      "[id*=\"dic\"]", // dic을 포함하는 id
+      "[class*=\"article\"]" // article을 포함하는 클래스
+  );
+
+  // 날짜 추출 셀렉터
+  public static final List<String> DATE_SELECTORS = List.of(
+      ".media_end_head_info_datestamp_time._ARTICLE_DATE_TIME", // 네이버 뉴스 기본
+      "[class*='media_end_head_info_datestamp_time']", // 대체 셀렉터
+      ".title_area .info .date", // 기존 셀렉터
+      "time", // HTML5 time 태그
+      ".date", // 일반적인 날짜 클래스
+      ".article-date", // 기사 날짜 클래스
+      "[class*=\"date\"]", // 날짜 관련 클래스를 포함하는 요소
+      ".published-date", // 발행일 클래스
+      ".article-time" // 기사 시간 클래스
+  );
+
+  /**
+   * 제목 셀렉터 배열을 반환합니다.
+   */
+  public String[] getTitleSelectors() {
+    return TITLE_SELECTORS.toArray(new String[0]);
+  }
+
+  /**
+   * 다른 뉴스 사이트 제목 셀렉터 배열을 반환합니다.
+   */
+  public String[] getOtherNewsTitleSelectors() {
+    return OTHER_NEWS_TITLE_SELECTORS.toArray(new String[0]);
+  }
+
+  /**
+   * 내용 셀렉터 배열을 반환합니다.
+   */
+  public String[] getContentSelectors() {
+    return CONTENT_SELECTORS.toArray(new String[0]);
+  }
+
+  /**
+   * 날짜 셀렉터 배열을 반환합니다.
+   */
+  public String[] getDateSelectors() {
+    return DATE_SELECTORS.toArray(new String[0]);
+  }
+}

src/main/java/com/perfact/be/domain/news/controller/NewsController.java

@@ -0,0 +1,29 @@
+package com.perfact.be.domain.news.controller;
+
+import com.perfact.be.domain.news.dto.NewsArticleResponse;
+import com.perfact.be.domain.news.service.NewsService;
+import com.perfact.be.global.apiPayload.ApiResponse;
+import lombok.RequiredArgsConstructor;
+import lombok.extern.slf4j.Slf4j;
+import org.springframework.web.bind.annotation.*;
+
+@Slf4j
+@RestController
+@RequestMapping("/api/news")
+@RequiredArgsConstructor
+public class NewsController {
+
+  private final NewsService newsService;
+
+  @GetMapping("/article-content")
+  public ApiResponse<NewsArticleResponse> getNewsArticleContent(@RequestParam String url) {
+    NewsArticleResponse response = newsService.extractNaverNewsArticle(url);
+    return ApiResponse.onSuccess(response);
+  }
+
+  @GetMapping("/search")
+  public ApiResponse<String> searchNaverNews(@RequestParam String query) {
+    String searchResult = newsService.searchNaverNews(query);
+    return ApiResponse.onSuccess(searchResult);
+  }
+}

src/main/java/com/perfact/be/domain/news/converter/NewsConverter.java

@@ -0,0 +1,53 @@
+package com.perfact.be.domain.news.converter;
+
+import com.perfact.be.domain.news.dto.NewsArticleResponse;
+import lombok.extern.slf4j.Slf4j;
+import org.springframework.stereotype.Component;
+
+/**
+ * News 도메인의 데이터 변환을 담당하는 Converter
+ */
+@Slf4j
+@Component
+public class NewsConverter {
+
+  /**
+   * 뉴스 데이터를 NewsArticleResponse로 변환
+   */
+  public NewsArticleResponse toNewsArticleResponse(String title, String date, String content) {
+    try {
+      return new NewsArticleResponse(title, date, content);
+    } catch (Exception e) {
+      throw new RuntimeException("NewsArticleResponse 변환 실패", e);
+    }
+  }
+
+  /**
+   * 뉴스 데이터를 JSON 형태로 변환
+   */
+  public String toJsonString(NewsArticleResponse newsData) {
+    try {
+      return String.format(
+          "{\"title\": \"%s\", \"date\": \"%s\", \"content\": \"%s\"}",
+          escapeJsonString(newsData.getTitle()),
+          escapeJsonString(newsData.getDate()),
+          escapeJsonString(newsData.getContent()));
+    } catch (Exception e) {
+      throw new RuntimeException("JSON 변환 실패", e);
+    }
+  }
+
+  /**
+   * JSON 문자열에서 특수문자 이스케이프 처리
+   */
+  private String escapeJsonString(String input) {
+    if (input == null) {
+      return "";
+    }
+    return input.replace("\\", "\\\\")
+        .replace("\"", "\\\"")
+        .replace("\n", "\\n")
+        .replace("\r", "\\r")
+        .replace("\t", "\\t");
+  }
+}

src/main/java/com/perfact/be/domain/news/dto/NewsArticleResponse.java

@@ -0,0 +1,14 @@
+package com.perfact.be.domain.news.dto;
+
+import lombok.AllArgsConstructor;
+import lombok.Getter;
+import lombok.NoArgsConstructor;
+
+@Getter
+@NoArgsConstructor
+@AllArgsConstructor
+public class NewsArticleResponse {
+  private String title;
+  private String date;
+  private String content;
+}

src/main/java/com/perfact/be/domain/news/exception/NewsExceptionHandler.java

@@ -0,0 +1,62 @@
+package com.perfact.be.domain.news.exception;
+
+import com.perfact.be.domain.news.exception.status.NewsErrorStatus;
+import com.perfact.be.global.exception.GeneralException;
+import lombok.extern.slf4j.Slf4j;
+import org.springframework.stereotype.Component;
+
+@Slf4j
+@Component
+public class NewsExceptionHandler {
+
+  /**
+   * 뉴스 파싱 실패 시 예외를 처리합니다.
+   */
+  public void handleParsingFailure(String url, String operation, Exception e) {
+    log.error("Failed to {} for URL: {}", operation, url, e);
+    throw new GeneralException(NewsErrorStatus.NEWS_ARTICLE_PARSING_FAILED);
+  }
+
+  /**
+   * 뉴스 내용을 찾을 수 없을 때 예외를 처리합니다.
+   */
+  public void handleContentNotFound(String url, String operation) {
+    log.warn("Content not found during {} for URL: {}", operation, url);
+    throw new GeneralException(NewsErrorStatus.NEWS_CONTENT_NOT_FOUND);
+  }
+
+  /**
+   * 뉴스 제목 추출 실패 시 예외를 처리합니다.
+   */
+  public void handleTitleExtractionFailure(String url, String operation, Exception e) {
+    log.error("Failed to extract title during {} for URL: {}", operation, url, e);
+    throw new GeneralException(NewsErrorStatus.NEWS_TITLE_EXTRACTION_FAILED);
+  }
+
+  /**
+   * 네이버 API 호출 실패 시 예외를 처리합니다.
+   */
+  public void handleNaverApiFailure(String query, Exception e) {
+    log.error("Failed to call Naver API for query: {}", query, e);
+    throw new GeneralException(NewsErrorStatus.NEWS_NAVER_API_CALL_FAILED);
+  }
+
+  /**
+   * 안전한 텍스트 추출을 수행합니다. 실패 시 null을 반환합니다.
+   */
+  public String safeExtractText(String url, String operation, TextExtractor extractor) {
+    try {
+      return extractor.extract();
+    } catch (Exception e) {
+      return null;
+    }
+  }
+
+  /**
+   * 텍스트 추출을 위한 함수형 인터페이스
+   */
+  @FunctionalInterface
+  public interface TextExtractor {
+    String extract() throws Exception;
+  }
+}

src/main/java/com/perfact/be/domain/news/exception/status/NewsErrorStatus.java

@@ -0,0 +1,42 @@
+package com.perfact.be.domain.news.exception.status;
+
+import com.perfact.be.global.apiPayload.code.BaseErrorCode;
+import com.perfact.be.global.apiPayload.code.ErrorReasonDto;
+import lombok.AllArgsConstructor;
+import lombok.Getter;
+import org.springframework.http.HttpStatus;
+
+@Getter
+@AllArgsConstructor
+public enum NewsErrorStatus implements BaseErrorCode {
+  NOT_NAVER_NEWS(HttpStatus.BAD_REQUEST, "NEWS4001", "네이버 뉴스 도메인이 아닙니다. 네이버 뉴스를 통한 링크만 가능합니다."),
+  NEWS_CONTENT_NOT_FOUND(HttpStatus.BAD_REQUEST, "NEWS4002", "뉴스 내용을 찾을 수 없습니다."),
+  NEWS_TITLE_EXTRACTION_FAILED(HttpStatus.BAD_REQUEST, "NEWS4003", "뉴스 제목 추출에 실패했습니다."),
+  NEWS_DATE_EXTRACTION_FAILED(HttpStatus.BAD_REQUEST, "NEWS4004", "뉴스 날짜 추출에 실패했습니다."),
+  NEWS_ARTICLE_PARSING_FAILED(HttpStatus.BAD_REQUEST, "NEWS4005", "뉴스 기사 파싱에 실패했습니다."),
+  NEWS_NAVER_API_CALL_FAILED(HttpStatus.BAD_REQUEST, "NEWS4006", "네이버 API 호출에 실패했습니다."),
+  ;
+
+  private final HttpStatus httpStatus;
+  private final String code;
+  private final String message;
+
+  @Override
+  public ErrorReasonDto getReason() {
+    return ErrorReasonDto.builder()
+        .isSuccess(false)
+        .message(message)
+        .code(code)
+        .build();
+  }
+
+  @Override
+  public ErrorReasonDto getReasonHttpStatus() {
+    return ErrorReasonDto.builder()
+        .httpStatus(httpStatus)
+        .isSuccess(false)
+        .code(code)
+        .message(message)
+        .build();
+  }
+}

src/main/java/com/perfact/be/domain/news/service/DateExtractorService.java

@@ -0,0 +1,7 @@
+package com.perfact.be.domain.news.service;
+
+// 날짜 추출
+public interface DateExtractorService {
+
+  String extractArticleDate(String url);
+}

src/main/java/com/perfact/be/domain/news/service/DateExtractorServiceImpl.java

@@ -0,0 +1,77 @@
+package com.perfact.be.domain.news.service;
+
+import lombok.RequiredArgsConstructor;
+import org.jsoup.nodes.Document;
+import org.jsoup.nodes.Element;
+import org.springframework.stereotype.Service;
+
+import java.util.regex.Matcher;
+import java.util.regex.Pattern;
+
+@Service
+@RequiredArgsConstructor
+public class DateExtractorServiceImpl implements DateExtractorService {
+
+  private final HtmlParserService htmlParserService;
+  private final com.perfact.be.domain.news.config.SelectorConfig selectorConfig;
+
+  @Override
+  public String extractArticleDate(String url) {
+    try {
+      Document doc = htmlParserService.getHtmlFromUrl(url);
+
+      // media_end_head_info_datestamp_time _ARTICLE_DATE_TIME 클래스를 가진 요소 찾기
+      Element dateElement = doc.selectFirst(".media_end_head_info_datestamp_time._ARTICLE_DATE_TIME");
+
+      if (dateElement == null) {
+        // 대체 선택자 시도
+        dateElement = doc.selectFirst("[class*='media_end_head_info_datestamp_time']");
+      }
+
+      if (dateElement == null) {
+        // 여러 CSS 셀렉터를 시도하여 날짜 추출
+        String[] dateSelectors = selectorConfig.getDateSelectors();
+
+        for (String selector : dateSelectors) {
+          dateElement = doc.selectFirst(selector);
+          if (dateElement != null) {
+            String date = dateElement.text().trim();
+            if (!date.isEmpty()) {
+              return date;
+            }
+          }
+        }
+
+        return "날짜 정보 없음";
+      }
+
+      return extractDateFromElement(dateElement);
+
+    } catch (Exception e) {
+      return "날짜 정보 없음";
+    }
+  }
+
+  // 날짜 파싱
+  private String extractDateFromElement(Element dateElement) {
+    String dataDateTime = dateElement.attr("data-date-time");
+    if (!dataDateTime.isEmpty()) {
+      String[] parts = dataDateTime.split(" ");
+      if (parts.length > 0) {
+        String datePart = parts[0];
+        return datePart.replace("-", ".");
+      }
+    }
+
+    String text = dateElement.text();
+    if (!text.isEmpty()) {
+      Pattern pattern = Pattern.compile("(\\d{4}\\.\\d{2}\\.\\d{2})");
+      Matcher matcher = pattern.matcher(text);
+      if (matcher.find()) {
+        return matcher.group(1);
+      }
+    }
+
+    return "날짜 정보 없음";
+  }
+}