요즘 간단하게 주식관련 사이트를 만들어보려고했는데용. 흠 친구들도 간간히 주식얘기를 하다보니 퇴근해서 개발을 시작하게 되었습니다. 흠 ...
일단 한국투자증권 open api를 이용을 했고요.
현재는 대략적으로 실시간으로 소켓통신을 개발을 했습니다. 머 간략히 얘기해서 소켓통신에 관해서 개발했던게 대학생때 했던거라 기억이 가물가물하기도 해서 간단하게 정리를 해봤습니다. 대략적인 아이디어는 아래 그림과 같습니다.
번호 순대로 일단 가져오고요.
예시코드를 간단히 설명하고 끝내겠습니다. 아래는 코드고 함수 설명은 아래 코드 밑에 작성하겠습니다. 백엔드 코드 :
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.messaging.simp.SimpMessagingTemplate;
import org.java_websocket.client.WebSocketClient;
import org.java_websocket.handshake.ServerHandshake;
import org.springframework.http.HttpStatus;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.net.URI;
@RestController
public class WebSocketController {
@Autowired
private SimpMessagingTemplate messagingTemplate;
@GetMapping("/connect")
public ResponseEntity<String> connectToWebSocket() {
try {
URI uri = new URI("ws://external-websocket-url");
WebSocketClient webSocketClient = new WebSocketClient(uri) {
@Override
public void onOpen(ServerHandshake handshake) {
System.out.println("WebSocket connected to external server");
// WebSocket으로 데이터를 전송
send("{\"input\":{\"tr_id\":\"HDFSASP0\",\"tr_key\":\"DNASAAPL\"}}");
}
@Override
public void onMessage(String message) {
System.out.println("Received from WebSocket: " + message); // 받은 데이터 로그 출력
// 메시지가 JSON 형식인지 확인
if (message.trim().startsWith("{")) {
System.out.println("Message is a JSON object");
} else {
System.out.println("Message is not a JSON object");
}
// 받은 메시지를 프론트엔드로 전달
messagingTemplate.convertAndSend("/topic/stock-data", message);
}
@Override
public void onClose(int code, String reason, boolean remote) {
System.out.println("WebSocket connection closed: " + reason);
}
@Override
public void onError(Exception ex) {
ex.printStackTrace();
}
};
webSocketClient.connect();
} catch (Exception e) {
e.printStackTrace();
return new ResponseEntity<>("Error occurred while connecting to WebSocket", HttpStatus.INTERNAL_SERVER_ERROR);
}
return new ResponseEntity<>("WebSocket connection initiated", HttpStatus.OK);
}
}
onOpen은 WebSocket 연결이 성공적으로 이루어졌을 때 호출되는 콜백 함수입니다. WebSocket 클라이언트나 STOMP 클라이언트에서 WebSocket 핸드셰이크가 성공하고 연결이 열렸을 때, onOpen 함수가 실행됩니다. 이 시점에서 클라이언트는 서버와 WebSocket 통신을 할 준비가 된 상태
onMessage는 WebSocket 서버로부터 메시지를 수신할 때 호출됩니다. WebSocket을 통해 실시간으로 데이터를 주고받는 데 있어 가장 중요한 이벤트 핸들러 중 하나입니다. (여기 함수를 통해서 받고 아래 코드에 ws url message를 수신합니다.)
@Override
public void configureMessageBroker(MessageBrokerRegistry config) {
// 클라이언트가 구독할 수 있는 경로 설정
config.enableSimpleBroker("/topic", "/queue"); // /topic 경로로 구독
config.setApplicationDestinationPrefixes("/app"); // 클라이언트가 서버에 메시지 전송 시 경로
}
@Override
public void registerStompEndpoints(StompEndpointRegistry registry) {
// 클라이언트가 연결할 엔드포인트 설정
registry.addEndpoint("/ws")
.setAllowedOriginPatterns("http://localhost:*") // 포트가 다른 로컬 호스트 허용
.withSockJS(); // SockJS 사용
}
여기 configure 에 등록해주면 됩니다.
프론트 : stompClient에서 커넥트를 하고 subscibe를 통해서 데이터를 받아오면 끝~~
const socket = new SockJS('/ws'); // 백엔드에서 설정한 WebSocket 엔드포인트
const stompClient = Stomp.over(socket);
stompClient.connect({}, function (frame) {
console.log('Connected: ' + frame);
stompClient.subscribe('/topic/stock-data', function (message) {
console.log('Received: ', message.body);
});
}, function (error) {
console.error('Error in STOMP connection: ', error);
});
Logstash는 Elastic Stack의 일부로, 로그, 이벤트 및 기타 데이터 소스에서 데이터를 수집하고 변환하며 다양한 목적지로 전달하는 오픈 소스 데이터 처리 파이프라인입니다. Logstash를 통해 여러 소스에서 데이터 입력을 받아 이를 실시간으로 처리하여 Elasticsearch 같은 데이터 저장소로 전송할 수 있습니다.
Logstash의 주요 기능
입력(Input):
파일, 데이터베이스, 메시지 큐, 네트워크 등 다양한 소스에서 데이터를 수집할 수 있습니다.
예를 들어 파일에서 로그를 읽어오는 file 플러그인, 메시지 큐 시스템인 Kafka에서 읽어오는 kafka 플러그인 등이 있습니다.
필터(Filter):
수집한 데이터를 변환, 파싱, 정규화 등의 작업을 통해 원하는 형식으로 변환할 수 있습니다.
예를 들어 grok 필터는 정규 표현식을 사용하여 로그 데이터를 파싱하고 구조화된 데이터를 생성합니다.
출력(Output):
처리된 데이터를 Elasticsearch, 파일, 데이터베이스, 메시지 큐 등 다양한 목적지로 전송할 수 있습니다.
대표적으로 Elasticsearch에 데이터를 전송하는 elasticsearch 출력 플러그인, 로컬 파일로 데이터를 쓰는 file 플러그인이 있습니다.
처음 회사에서 들어 왔을때 개발 환경 세팅을 하는데 몇가지 문제가 발생했었는데 그중에서 가장 기억에 남았던 부분이 바로 q 파일 설치 관련해서 기억에 남았습니다.
Q 클래스(q 파일)은?
QueryDSL에서 Q-파일은 특정 엔티티에 대한 메타모델을 자동으로 생성된 자바 클래스로 제공합니다. 이러한 파일들은 QueryDSL이 제공하는 타입-세이프한 쿼리 구성을 가능하게 하는 중요한 부분입니다. 이 Q-클래스들을 사용함으로써 개발자는 컴파일 시간에 타입 체크를 받을 수 있으며, IDE의 자동완성 기능을 활용하여 더욱 빠르고 정확하게 쿼리를 작성할 수 있습니다
Q-클래스 또는 Q-파일의 역할
메타모델 생성: Q-클래스는 각 엔티티의 속성에 대한 메타데이터를 제공하며, 이를 통해 쿼리를 작성할 때 컴파일 시간에 타입 체크가 가능합니다.
타입-세이프 쿼리 작성: 이 클래스들은 쿼리를 작성할 때 변수명이나 타입 오류를 컴파일 단계에서 잡아내어 런타임 에러의 가능성을 줄여줍니다.
코드 자동 완성 지원: IDE에서 Q-클래스의 속성을 사용할 때 자동 완성 기능을 제공받을 수 있어 쿼리 작성이 더 빠르고 정확해집니다.
Q-클래스의 생성
QueryDSL은 APT(Annotation Processing Tool)를 사용하여 엔티티 클래스를 기반으로 Q-클래스를 자동 생성합니다. 이 과정은 Maven이나 Gradle과 같은 빌드 도구의 설정을 통해 자동화할 수 있습니다.
ex)
@Entity
public class Book {
@Id
private Long id;
private String title;
private String author;
}
public class QBook extends EntityPathBase<Book> {
public static final QBook book = new QBook("book");
public final NumberPath<Long> id = createNumber("id", Long.class);
public final StringPath title = createString("title");
public final StringPath author = createString("author");
public QBook(String variable) {
super(Book.class, forVariable(variable));
}
}
일단 회사에서 기본적으로 Spring JPA, Query DSL, 등 여러가지 기술들이 쓰기 때문에.. 주말이라도 공부를 안하면 못따라가겠다라고 느낄정도이다. 전 회사에선 ibatis를 기반으로 회사업무를 했다보니.. 이번이직회사에선 상당히 많은걸 알게 된다. 구조가 복잡한 대신 정말 자유도가 넓은 구조라고 느껴졌다. (난 이렇게 못짤것같다고 느낄 정도 였다 경외감이 느껴진다. ㅎㄷㄷ )
Query DSL 이란? QueryDSL은 타입-세이프한 쿼리를 Java 언어로 작성할 수 있게 해주는 프레임워크입니다. SQL, JPA, JDO, 그리고 컬렉션 등 다양한 데이터 소스에 대한 쿼리를 자바 코드로 구현할 수 있게 해주며, 쿼리를 직접 문자열로 작성하는 것보다 오류를 줄이고, 개발 효율성을 높일 수 있습니다.
주요 기능
타입-세이프 쿼리: 컴파일 시간에 타입 체크가 가능합니다.
다양한 백엔드 지원: SQL, JPA, MongoDB, Lucene, Hibernate Search, JDO, JDBC 등 다양한 데이터 소스를 지원합니다.
예를 들어, 간단한 Book 엔티티를 생성하고, QueryDSL을 사용하는 리포지토리를 작성
@Entity
public class Book {
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
private String title;
private String author;
// getters and setters
}
QueryDSL을 활용하는 리포지토리 인터페이스를 작성합니다.
public interface BookRepository extends JpaRepository<Book, Long>, QuerydslPredicateExecutor<Book> {
}
