IT Log

Python 파이썬 홈페이지 : https://www.python.org/ pandas : https://pandas.pydata.org/ numpy : https://numpy.org/ nltk : https://www.nltk.org/ scikit-learn(sklearn) : https://scikit-learn.org/stable/ gensim : https://radimrehurek.com/gensim/ pypi : https://pypi.org/ KoNLPy : https://konlpy.org/en/latest/ 딥러닝을 이용한 자연어 처리 입문 : https://wikidocs.net/book/2155 Keras : https://keras.io/ko/ TensorFlow : https:/..

요소 선언 # 구문 또는 # EMPTY : 어떠한 content도 가지지 않는 빈 요소 # () : 자식 요소를 가지는 요소 또는 # + : 최소 하나 이상을 가지는 요소 # * : 자식 요소가 있을수도 없을수도 있는 요소 # ? : 자식 요소를 가지지 않거나 가져도 단 하나인 요소 # (|) : 자식 요소를 선택적으로 가지는 요소 # PCDATA : XML에 의해 분석될 문자 데이터 속성 선언 # 구문 # 예시 : first요소의 one속성의 값은 문자데이터이고, 값이 없는경우 '1'이 기본값 속성의 TYPE 속성타입 설명 CDATA 속성값이 문자 (XML이 분석하지 않는 문자데이터) (속성값1|속성값2|...) 속성값이 리스트 중 하나 ID 속성값이 ID IDREF 속성값이 다른 요소의 ID IDRE..

플랫폼(Platform)이란? 어원 : 구획된 땅, 평평한이라는 의미를 가진 'plat'과 형태라는 의미를 가진 'form'의 합성어로 구획된 땅의 형태 or 평평한 형태 구획되다 : 땅이나 공간이 경계가 지어져 나뉘다. 일상 : 승객이 열차를 타고 내리기 쉽도록 철로 옆으로 지면보다 높여서 설치해 놓은 평평한 장소. IT : 소프트웨어가 구동 가능한 하드웨어 아키텍쳐(Architecture) 또는 소프트웨어 프레임워크(Framework)의 종류를 설명하는 용어로, Architecture, 운영체제(Operating System), 프로그램 언어, 그리고 관련 런타임 라이브러리 또는 GUI(Graphic User Interface)를 포함 간단하게 '어떠한 목적에 의해서 구성된 환경'을 일컫는 말이라고 ..

MNIST 실습 실습 1. import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("/.mnist/data/", one_hot=True) X = tf.placeholder(tf.float32, [None, 784]) Y = tf.placeholder(tf.float32, [None, 10]) W1 = tf.Variable(tf.random_normal([784, 256], stddev=0.01)) L1 = tf.nn.relu(tf.matmul(X, W1)) W2 = tf.Variable(tf.random_normal([256,256], stddev=0...

TensorFlow란? 다양한 작업에 대해 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리 심볼릭 수학 라이브러리이자, 뉴럴 네트워크 같은 기계학습 응용프로그램에도 사용 구글 브레인팀이 만들었고 2015년 11월 9일 아파치 2.0 오픈소스 라이센스로 공개 Anaconda 설치 https://www.anaconda.com/distribution/에 접속 Windows / Mac / Linux 중 해당 OS 선택 Python 3.7 version 다운로드 프로그램 실행하여 설치 완료 (default값으로 설치 진행) Anaconda Prompt 1. 환경 구축 conda create -n test python=3.7 numpy scipy matplotlib spyder pandas seabor..

Redis란? Remote Dictionary Server의 약자로, "키-값" 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터베이스 관리 시스템(DBMS)이다. 장점 여러 프로세스에서 동시에 같은 key에 대한 갱신을 요청할 경우, atomic 처리로 데이터 부정합 방지 atomic처리 함수를 제공 메모리를 활용하면서 영속적인 데이터 보존 Redis Server는 1개의 싱글 스레드로 수행된다. 쓰기 성능 증대를 위한 샤딩을 지원 ANSI C로 작성 : ANSI C 컴파일러가 동작하는 곳이면 어디든 설치 및 실행가능 Redis 클라이언트는 대부분의 언어로 포팅되어 있다. 서버 간 이벤트 공유를 위한 Publish/Subscribe 기능 지원 100000QPS(Query ..

Cassandra란? 자유-오픈 소스 분산형 NoSQL 데이터베이스 관리 시스템의 하나로, 단일 장애점 없이 고성능을 제공하면서 수많은 서버 간의 대용량의 데이터를 관리하기 위해 설계되었다 구조 단일 장애 지점없이 여러 노드에서 대규모 데이터 작업 부하를 처리 노드를 통해 피어 투 피어 분산 시스템을 사용하고 데이터는 클러스터의 모든 노드에 분산 클러스터의 모든 노드는 동일한 역할, 각 노드는 독립적이며 다른 노드와 동시에 사호 연결 클러스터의 각 노드는 실제로 데이터가 클러스터에 있는 위치와 상관없이 읽기 및 쓰기 요청을 허용 노드가 다운되면 읽기/쓰기 요청이 네트워크의 다른 노드에서 제공 Cassandra에서는 클러스터의 하나 이상의 노드가 주어진 데이터 조각에 대한 복제본 역할 일부 노드가 만료 된..

MongoDB란? 필요한 쿼리 및 인덱싱을 통해 확장성과 유연성을 갖춘 문서 데이터베이스 데이터를 JSON 형식의 문서로 저장 응용 프로그램 코드의 객체에 매핑되므로 데이터를 쉽게 사용 Architecture 문서데이터 모델 분산시스템 설계 어디서나 자유롭게 운영 문서데이터 모델 자연스럽고 직관적인 방식으로 데이터 작업 적응 및 신속한 변경 다양한 데이터 및 쿼리 지원 빠른작업 분산시스템 설계 정교한 복제 및 자체 복구 Sharding을 통해 수평으로 확장 동일한 클러스터에서 운영 및 분석 작업을 실행 특정 장치 및 관리, 서비스 클래스 및 대기 시간이 적은 액세스에 대한 특정 지역에 데이터 배치 어디서나 자유롭게 운영 모든곳에서 동일하게 실행되는 DB 잠금이 없는 다중 클라우드의 이점 활용 Scale ..