전체 글27 하둡 프로그래밍 기초 ( Part.1 ) 하둡은 빅데이터 관련 기술을 이용하는 사람이라면, 필수로 알아야 할 자바 기반의 오픈소스 프레임워크 이다.하둡의 주요 기능은, 데이터를 저장하고 분산 처리 시스템인 맵리듀스를 이용하여 데이터 처리를 한다. 1. 왜 쓸까?소프트웨어 라이선스 비용 부담 없음 (오픈소스)한 번에 여러 대의 서버를 이용하여 데이터 저장, 동시 처리가 가능 (=분산처리)그렇기 때문에 졸라 빠름. (당연한 얘기겠죠?)RDBMS 도 아니지만 NoSQL도 아님. (Nosql은 다른 페이지에서 설명)2. 하둡 향후 과제고가용성 지원근데 2.0 부터 많이 개선됨. 3.0은 더 개선됐겠지?파일 네임스페이스 제한메모리로 관리되니까 메모리 용량에 따라 제한이 있음 데이터 수정 불가저장된 파일은 수정이 안됨 ㅠ전문업체 부족흠..ㅠㅠ 아마 빅데이.. 2024. 11. 24. Rest-API 구현 관련 과제 - 3 (예외처리) 3. Java 예외처리자바에서 예외 처리(Exception Handling)는 프로그램 실행 중 발생할 수 있는 오류 상황을 관리하여 프로그램이 갑작스럽게 종료되지 않고, 적절한 대응을 하도록 만드는 기법입니다. 예외 처리를 통해 예외가 발생했을 때의 흐름을 제어하여 프로그램의 안정성을 높일 수 있습니다.예외(Exception)란?예외란 프로그램 실행 중에 발생하는 오류를 의미합니다. 자바에서는 예외를 객체로 표현하며, 예외가 발생할 경우 Exception 클래스를 상속받은 예외 객체가 생성되고, 이를 적절히 처리하지 않으면 프로그램이 비정상 종료됩니다.예외의 종류체크 예외(Checked Exception): 컴파일 시점에 반드시 처리해야 하는 예외입니다. 예를 들어, 파일 입출력이나 네트워크 작업 중 .. 2024. 11. 3. Rest-API 구현 관련 과제 - 2 (JSON) 2. JSON저번 시간에 이어 DB의 내용들을 JSON Type을 return 하도록 하겠습니다. - test_table- test_table_column - RestController.javacontroller에 api 정보를 등록합니다.ResponseEntity를 이용하여 tableMetadats 의 List Type을 가져오도록 합니다.// Table Meta 정보를 조회@GetMapping("/tables/metadata")public ResponseEntity> readTableMetadatas() { List tableMetadatas = restService.getTableMetadatas(); return ResponseEntity.ok(tableMetadatas);} - Res.. 2024. 10. 28. Rest-API 구현 관련 과제 - 1 (Avro) 1. Avro Avro Type 으로 return 하도록 하겠습니다. - test_table- test_table_column- TestTable.javatest_table(id)과 test_table_column(test_table_id) 테이블을 조인하는 model을 설정합니다.JPA를 이용하면 어노테이션 기반으로 다음의 설정들을 추가할 수 있습니다.(여기서 JSONManagedReferenced 를 추가하면 재귀 없이 추가가 가능합니다.)package com.example.my_rest_api.model;import com.fasterxml.jackson.annotation.JsonManagedReference;import jakarta.persistence.*;import java.util.Arr.. 2024. 10. 27. 정동진 여행 후기 (24.09.30 ~ 24.10.01) - Part 2 정동진 여행 후기 Part 2 입니다.최대한 간결하고 굵직한 팩트만을 쓰려고 하며, 사진은 잘 못찍어서 그 부분은 그러려니 하시면 됩니다.간결하게 작성할 것이기 때문에 반말 양해 부탁드립니다. 1. 전체적인 일정- 24.10.01 일정09:00 ~ 10:40 : 기상 후 카페에서 사온 샌드위치로 아침 식사 및 체크아웃 준비10:50 ~ 11:15 : 체크아웃 및 셔틀 탑승 후 정동진 역 도착11:15 ~ 12:00 : 점심12:00 ~ 12:30 : 모래시계 공원 근처 산책12:40 ~ 13:45 : 레일바이크 탑승13:45 ~ 14:15 : 모래시계 공원 근처 산책14:29 ~ : KTX 탑승 2. 세부사항2-1) 대게칼국수 - 간이 쎄지 않아서 서울 입맛에 길들여져 있는 사람은 싫어할 수 있음 (개인.. 2024. 10. 9. 정동진 여행 후기 (24.09.30 ~ 24.10.01) - Part 1 정동진 여행 후기 입니다.최대한 간결하고 굵직한 팩트만을 쓰려고 하며, 사진은 잘 못찍어서 그 부분은 그러려니 하시면 됩니다.간결하게 작성할 것이기 때문에 반말 양해 부탁드립니다. 1. 전체적인 일정- 24.09.30 일정~ 13:10 : KTX 타고 정동진역 도착13:07 ~ 14:30 : 도착 후 옛날집에서 점심 (걸어서 정동진역에서 10~15분 정도 소요됨)14:30 ~ 15:30 : 걸어서 다시 정동진역 도착 후 해변에서 시간 소요 15:30 ~ 16:20 : 썬카페에 있다가 호텔 탑스텐 셔틀타고 출발17:00 ~ 18:00 : 숙소 도착 및 짐 풀기18:30 ~ 20:00 : 동해횟집에서 저녁20:30 ~ 22:00 : 숙소에서 씻고 취침 준비23:00 ~ : 취침 2. 세부사항2-1) 옛날집.. 2024. 10. 9. Rest-API 구현 관련 과제 - 목표다음 스펙들로 DB를 구현하고 SchemaBuilder를 통해 API를 구현합니다.(JPA를 통해 다음 DB들을 ORM 방식으로 구현하는 것을 추천합니다.) 1. DB1-1) test_table1-2) DDL (test_table)-- public.test_table definition-- Drop table-- DROP TABLE public.test_table;CREATE TABLE public.test_table ( id int8 GENERATED BY DEFAULT AS IDENTITY( INCREMENT BY 1 MINVALUE 1 MAXVALUE 9223372036854775807 START 1 CACHE 1 NO CYCLE) NOT NULL, name varchar(255) NULL,.. 2024. 10. 9. 이전 1 2 3 4 다음
