파이썬13 파이썬으로 Kafka 간단한 예제 파이썬으로 Kafka 예제 이번 글에서는 파이썬을 이용하여 간단한 Kafka 예제를 진행하려고 합니다. 해당 예제는 로컬 환경에서 Docker Desktop을 이용하여 진행할 것이며, 간단한 예제이므로 1개의 브로커와 주키퍼를 생성할 것입니다. Docker Desktop이란 Windows 또는 macOS 운영체제에서 Docker를 사용할 수 있게하는 도구로, 로컬 환경에서 도커를 쉽게 설치하고 실행하기 위해 사용됩니다. (윈도우에서 Docker Desktop을 사용하기 위해서는 WSL2(Windows Subsystem For Linux 2) 관련 환경 설정 작업이 필요합니다.) Docker Compose 작성 및 실행 ① docker-compose.yml 작성 version: '3' services: z.. Big Data 2023. 6. 30. [Python] Riot API - LOL 랭크 게임 데이터 수집 Riot API를 활용하여 랭크 게임 데이터 수집 라이엇에서는 리그 오브 레전드, 발로란트, 리그 오브 룬테라 등 다양한 API가 제공되고 있으며, 이번 글에서는 Riot API를 이용하여 리그 오브 레전드의 랭크 게임 데이터를 수집하려고 합니다. 파이썬을 이용하여 Riot API로 리그 오브 레전드의 랭크 게임 데이터를 수집해 보겠습니다. API Key 라이엇 개발자 페이지에 접속하여 관련 내용을 볼 수 있습니다. 개발 API Key를 이용하여 간단하게 진행할 예정이며, 개발 API Key의 경우 1초 20회, 2분 100회 제한이 있습니다. Riot Developer Portal About the Riot Games API With this site we hope to provide the Leagu.. Language/Python 2023. 6. 21. [Python] 파이썬 csv 파일 parquet 파일로 변환 Parquet 파일 변환 예제 데이터는 여러 파일 형식이 존재하고 있으며, 그중에서도 CSV 파일은 텍스트 기반의 데이터를 저장하기 위해 널리 사용되는 형식 중 하나입니다. CSV 파일은 단순한 구조를 가지고 있어 자주 사용되고 있지만, 대용량의 데이터를 처리하거나 복잡한 데이터 구조를 다루는 경우에는 제한이 있습니다. 이러한 경우 데이터를 보다 효율적으로 저장하고 처리하기 위해 Parquet 형식을 사용할 수 있습니다. 이번 글에서는 파이썬에서 CSV 파일을 Parquet 파일로 변환하는 예제를 진행해 보겠습니다. Parquet(파케이)란? Parquet는 대규모 데이터 처리를 위한 열 지향 형식의 파일 포맷입니다. 대용량의 구조화된 데이터를 저장하기 위해 설계되었으며, 데이터의 압축 및 직렬화를 효율.. Language/Python 2023. 6. 18. [Python] 파이썬의 제어문(if문, for문, ...) 컴퓨터 프로그램에서 제어문은 프로그램의 흐름을 제어하는데 중요한 역할을 합니다. 제어문을 사용하여 조건에 따라 프로그램을 실행하거나, 반복적인 작업을 수행할 수 있습니다. 이번 글에서는 파이썬의 제어문에 대해 알아보겠습니다. 제어문이란? 제어문이란 프로그램의 실행 흐름을 제어하는 구문으로, 조건에 따라 코드 블록을 실행하거나 반복적으로 코드 블록을 실행하는 등의 작업을 수행할 때 사용됩니다. 제어문을 사용하면 프로그램의 실행 흐름을 제어할 수 있어 효율적인 코드를 작성할 수 있습니다. 제어문의 종류로는 if문, while문, for문 등이 있습니다. if문 if문은 조건식이 참(True) 일 때만 코드 블록을 실행합니다. if문은 가장 기본적인 조건문으로 다음과 같은 구조를 같습니다. if 조건: 코드 .. Language/Python 2023. 5. 12. [Python] 파이썬 가상환경 파이썬은 다양한 분야에서 활용되는 인기 있는 프로그래밍 언어입니다. 하지만 프로젝트마다 필요한 라이브러리의 종류와 버전이 달라질 수 있기 때문에 여러 개의 프로젝트를 진행할 때 라이브러리의 충돌이 발생할 수 있습니다. 이러한 문제를 해결하기 위해 가상환경(Virtual Environment)이라는 개념이 도입되었습니다. 가상환경은 하나의 시스템에서 여러 개의 프로젝트 환경을 독립적으로 사용할 수 있습니다. 이번 글에서는 파이썬의 가상환경에 대해 알아보겠습니다. 가상환경이란? 가상환경은 개발자가 프로젝트를 독립적으로 개발하기 위해 사용하는 환경입니다. 각 프로젝트마다 필요한 라이브러리와 버전 등을 독립적으로 관리할 수 있어서, 다른 프로젝트와 충돌 없이 라이브러리를 사용할 수 있습니다. 가상환경을 사용하는.. Language/Python 2023. 5. 11. [Python] 파이썬 3.10 새로운 기능 파이썬 3.10은 이전 버전과 비교해 많은 변화와 새로운 기능이 도입되어 파이썬 개발자들에게 더욱 직관적이고 효율적인 개발을 가능하게 합니다. 파이썬 3.10에서는 match-case문의 등장을 비롯하여 타입 힌트, 괄호로 묶인 컨텍스트 관리자 등 다양한 기능이 추가되었습니다. 이번 글에서는 파이썬 3.10에 도입된 새로운 기능들에 대해 알아보겠습니다. 1. 괄호로 묶인 컨텍스트 관리자(Parenthesized context managers) 이전에는 `with`문 다음에 한 개의 Context Manager만 사용할 수 있었지만, 3.10에서는 괄호로 묶어 여러 개의 Context Manger를 사용할 수 있게 되었습니다. 괄호로 묶인 Context Manager를 사용하면 코드를 더 간결하게 작성할 .. Language/Python 2023. 5. 10. [Python] 딕셔너리(Dictionary) 자료형 파이썬의 다양한 자료형 중 딕셔너리(Dictionary)는 키와 값을 쌍으로 저장하는 자료형으로, 키를 기반으로 값을 검색하거나 수정하는 등의 작업에 사용될 수 있습니다. 이번 글에서는 파이썬의 딕셔너리 자료형에 대해 알아보겠습니다. 딕셔너리(Dictionary)란? 파이썬의 딕셔너리는 키(Key)와 값(Value)을 쌍으로 저장하는 자료형입니다. 중복된 키를 허용하지 않으며, 각 키는 유일한 값으로 존재합니다. 딕셔너리는 중괄호({ })를 이용하여 생성하며, 각 키와 값을 콜론(:)으로 구분합니다. 딕셔너리 생성하는 방법 딕셔너리를 생성하는 방법을 아래 예시 코드를 보면서 알아보겠습니다. 1. 중괄호({ })를 이용한 방법 - 빈 딕셔너리 생성 dic1 = {} print(type(dic1)) # pr.. Language/Python 2023. 5. 8. [Python] 집합(Set) 자료형 파이썬은 다양한 자료형을 지원하며, 이 중에서도 집합(Set) 자료형은 중복된 값을 제거하고 유일한 값만을 저장할 수 있어 유용하게 사용됩니다. 이번 글에서는 파이썬의 집합 자료형에 대해 알아보겠습니다. 집합(Set)이란 집합이란 순서가 없고 중복이 없는 값들의 묶음(집합)을 나타내는 자료형입니다. 다른 자료형과 비교했을 때 중복된 값을 제거하고 유일한 값을 저장할 때 유용합니다. 집합은 중괄호({ })를 사용하며, 각 값들은 쉼표(,)로 구분합니다. 집합을 생성하는 방법 파이썬에서 집합을 생성하는 방법을 아래 예시코드를 보면서 알아보겠습니다. 1. 중괄호({ })를 이용한 방법 my_set = {1, 2, 3, 4, 5} print(type(my_set)) # print(my_set) # {1, 2, .. Language/Python 2023. 5. 2. [Python] 튜플(Tuple) 자료형 파이썬은 다양한 자료형을 제공하고 있습니다. 그중에서도 리스트와 함께 많이 사용되는 자료형 중 하나가 튜플(Tuple)입니다. 튜플은 리스트와 비슷하지만 한 번 생성된 후에는 변경할 수 없는 불변 자료형으로, 다양한 상황에 활용되고 있습니다. 이번 글에서는 파이썬의 튜플에 대해 알아보겠습니다. 튜플(Tuple)이란 튜플은 리스트와 마찬가지로 순서가 있는 값의 집합으로, 여러 개의 값을 담을 수 있는 자료형입니다. 하지만 리스트와는 다르게 불변 자료형이므로 한 번 생성되면 값을 변경하거나 삭제할 수 없습니다. 튜플은 소괄호(( ))로 값을 묶어서 표현하며, 각 값을 쉼표(,)로 구분합니다. 튜플을 생성하는 방법 파이썬에서 튜플을 생성하는 방법을 몇가지, 아래 예시 코드를 보면서 알아보겠습니다. 1. 소괄호.. Language/Python 2023. 5. 1. [Python] 리스트(List) 자료형 파이썬은 다양한 자료형을 지원하며, 그중 리스트(List)는 자주 사용되는 자료형 중 하나입니다. 이번 글에서는 파이썬의 리스트에 대해 알아보겠습니다. 리스트(List)란? 리스트는 순서가 있는 값의 집합으로, 여러 개의 값을 담을 수 있는 자료형입니다. 리스트는 대괄호([ ])로 표현되며, 각 값들은 쉼표(,)로 구분됩니다. 또한 가변 자료형이므로 필요에 따라 추가, 삭제, 수정들의 작업을 할 수 있습니다. 리스트를 생성하는 방법 파이썬에서는 리스트를 만드는 2가지 방법이 존재합니다. 대괄호([ ])를 이용한 방법과 list()를 이용한 방법입니다. 아래 예시 코드를 보면서 알아보겠습니다. 1. 대괄호([ ])를 이용한 방법 - 빈 리스트 생성 lst1 = [] print(lst1) # [] - 기본 .. Language/Python 2023. 4. 30. [Python] append()와 extend(), insert() 파이썬의 리스트는 여러 개의 요소를 담을 수 있는 자료형으로, 프로그래밍에서 매우 중요한 역할을 합니다. 리스트에 새로운 요소를 추가하는 것은 파이썬 프로그래밍에서 매우 흔한 작업 중 하나입니다. 리스트의 요소를 추가하는 방법은 여러 가지가 있으며 이번 글에서는 파이썬의 리스트에서 요소를 추가하는 방법 중에서 가장 자주 사용되는 append()와 extend(), insert()에 대해 알아보려고 합니다. append() append() 메소드는 리스트의 맨뒤에 새로운 요소를 추가합니다. a = [0, 1] a.append(2) a.append(3) print(a) # [0, 1, 2, 3] a = ['apple', 'banana'] a.append('orange') print(a) # ['apple',.. Language/Python 2023. 4. 29. [Python] 리스트(List) 정렬하기 (feat. sort(), sorted()) 이 글에서는 파이썬에서 sort()와 sorted()를 활용하여 리스트(List)를 정렬하는 방법에 대해 알아보겠습니다. sort()와 sorted()에 대한 내용은 앞서 포스팅한 글을 보시면 되겠습니다. - sort()와 sorted() 차이 [Python] sort(), sorted() 차이 sort()와 sorted() 파이썬에서 리스트를 정렬할 때 자주 사용되는 sort()와 sorted()에 대해 알아보겠습니다. sort()와 sorted()는 비슷해 보이지만 내부적으로 처리하는 방식과 반환값이 다릅니다. 1. sort() s dev-records.tistory.com 리스트(List) 정렬하기 1. 기본 정렬 1) 오름차순 정렬 sort()와 sorted()는 기본적으로 오름차순으로 정렬합니다.. Language/Python 2023. 4. 26. 이전 1 2 다음