森羅万象テーブル – Programming

Blog: Hugo：特定のページをsitemap.xmlから除外する方法

Fri, 11 Apr 2025 17:25:16 +0900

※Hugo v0.125.0以降で利用可能な機能

実装方法

特定のページをsitemap.xmlから除外するには、該当ページのフロントマターにsitemapパラメータを追加する。
これにより、検索エンジンのクローリングを効率的に制御可能。

---
title: "除外したいページのタイトル"
sitemap:
disable: true
---

使用例

/content/mypage.mdのようなページをsitemap.xmlから除外する場合：

---
title: "除外ページ"
sitemap:
disable: true
---

メリット

検索エンジンのクローリング効率の向上
不要なページのインデックス化を防止
サイトのSEOパフォーマンスの最適化

参考リンク

Hugo公式ドキュメント - Page.Sitemap

本記事について

Hugo：任意のPageをsitemap.xmlに載せない
をベースに、AIが書いた記事です。

Blog: cat：コメントアウトしていない行のみを抽出 - Linuxコマンド入門

Wed, 09 Apr 2025 14:46:42 +0900

タイトルとcatコマンドを渡して、AIに記事を書いてもらった。
※以下はAIが書いた記事です。

概要

設定ファイルやスクリプトファイルを扱う際、コメントアウトされていない行だけを確認したい場面は多いものです。
そんな時に役立つのが、catとgrepコマンドの組み合わせです。
この記事では、この便利なテクニックの使い方と応用例を解説します。

基本的な使い方と構文

最もシンプルな使い方は以下のコマンドです：

cat /path/to/file | grep -v \#

このコマンドの動作を詳しく見てみましょう：

catコマンド：指定したファイルの内容を出力します
パイプ（|）：catの出力をgrepコマンドに渡します
grep -v \#：#で始まる行（コメント行）を除外します

実践的な使用例：設定ファイルの処理

実際の設定ファイルを例に、使い方を確認してみましょう：

# サーバー設定
PORT=1919
HOST=senpai
# データベース設定
DB_HOST=114.51.48.10
DB_USER=admin
# キャッシュ設定
CACHE_SIZE=810

このファイルからコメントを除外して必要な設定値だけを抽出するには：

cat config.conf | grep -v \#

実行結果：

PORT=1919
HOST=senpai
DB_HOST=114.51.48.10
DB_USER=admin
CACHE_SIZE=810

便利な応用テクニック：高度な使用方法

複数のコメント形式に対応

cat file.txt | grep -v "^#" | grep -v "^//"

空行も除外

cat file.txt | grep -v "^#" | grep -v "^$"

結果をファイルに保存

cat file.txt | grep -v \# > output.txt

使用時の注意点とトラブルシューティング

Windows環境での注意：コマンドプロンプトではfindstrコマンドを使用する必要がある場合があります
スペースを含むパス：ファイルパスにスペースが含まれる場合は、必ず引用符で囲んでください
大文字小文字の区別：必要に応じてgrepに-iオプションを追加してください

まとめ：シェルスクリプトの効率化

catとgrepの組み合わせは、設定ファイルやスクリプトからコメントを除外する際の強力なツールです。
特に大きな設定ファイルを扱う際や、設定値の確認作業を行う際に重宝します。
このテクニックをマスターすることで、ファイル操作の効率が大幅に向上するでしょう。

cat /path/to/file | grep -v \#

Blog: OSS版のNexusはPostgreSQLへのmigrationが出来ない

Tue, 08 Apr 2025 18:47:54 +0900

はじめに

Nexus Repository ManagerのOSS版では、PostgreSQLへのデータベース移行がサポートされていないことが分かった。
以下に、試した際の手順と発生したエラーをまとめた。

前提条件

Database Migrator Utility for 3.70.x をダウンロード
- https://help.sonatype.com/en/orientdb-downloads.html#database-migrator-utility-for-3-70-x
- 試したバージョン: 3.70.4
  ※移行対象のNexusと同一のバージョンを使用すること!!

移行手順

1. PostgreSQLの準備

Docker Compose設定

services:
postgres:
image: postgres:17.4
ports:
- 5432:5432
environment:
POSTGRES_USER: nexus
POSTGRES_PASSWORD: xxxx
volumes:
- postgres-data:/var/lib/postgresql/data
nexus:
depends_on:
postgres:
condition: service_started
image: sonatype/nexus3:3.70.4
ports:
- 8081:8081
volumes:
- nexus-data:/nexus-data
volumes:
postgres-data: null
nexus-data: null

2. Nexusの設定変更

nexus-store.propertiesの設定

username=nexus
password=xxx
jdbcUrl=jdbc\:postgresql\://postgres\:5432/nexus

所有者設定

chown 200:200 /var/lib/docker/volumes/nexus_nexus-data/_data/etc/fabric/nexus-store.properties

nexus.propertiesの設定

echo "nexus.datastore.enabled=true" >> /var/lib/docker/volumes/nexus_nexus-data/_data/etc/nexus.properties

3. バックアップの準備

mkdir /var/lib/docker/volumes/nexus_nexus-data/_data/_backup
chown 200:200 /var/lib/docker/volumes/nexus_nexus-data/_data/_backup

4. フルバックアップの取得

adminでにログイン
上部の歯車アイコンをクリック
System > Tasks に移動
Create task を選択
Admin - Export Database for backup をクリックし、以下を設定する
- Task name: 任意
- Backup location: /nexus-data/_backup
- Task frequency: Manual
作成したTaskを選択し、Runをクリックしてタスクを実行

5. 移行作業の実行

移行用コンテナの準備

 java:
image: openjdk:11-ea-jdk
restart: unless-stopped
command: tail -f /dev/null
volumes:
- /var/lib/docker/volumes/nexus_nexus-data/_data/_backup:/work

移行コマンドの実行

java -Xmx16G -Xms16G -XX:+UseG1GC -XX:MaxDirectMemorySize=28672M -jar nexus-db-migrator-3.70.4-02.jar --migration_type=postgres --db_url="jdbc:postgresql://postgres:5432/nexus?user=nexus&password=xxx" --add-exports java.base/sun.nio.ch=ALL-UNNAMED

結果

上記のコマンドを実行した際、以下のエラーが発生した：

~省略~
17:14:46 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - ------------------------------------------------------------
17:14:46 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Migration job finished with status FAILED.
17:14:46 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Detailed message: com.sonatype.nexus.db.migrator.exception.WrongNxrmEditionException: Migration to an external database requires Nexus Repository Manager Pro and is not supported for Nexus Repository Manager OSS instances.
17:14:46 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - ------------------------------------------------------------

結論

OSS版のNexus Repository Managerでは、PostgreSQLへのデータベース移行はサポートされてない
3.70.x系ではH2データベースのみへ移行可能
PostgreSQLへの移行には、Nexus Repository Manager Proライセンスが必要

参考リンク

Migrating From OrientDB to PostgreSQL
https://help.sonatype.com/en/upgrading-to-nexus-repository-3-71-0-and-beyond.html#migrating-from-orientdb-to-postgresql-252162

Do I have to buy a Pro license to upgrade to version 3.71.0+?
https://help.sonatype.com/en/upgrading-to-nexus-repository-3-71-0-and-beyond.html#UUID-7dff2da7-6b31-f525-7a91-a22de4fbd74e_bridgehead-idm234557900890996

Blog: Docker版のNexusを3.71.0以降へupgradeする

Sun, 06 Apr 2025 18:32:30 +0900

Dockerイメージで動作させているNexus 3.70系を3.71.0以降のversionへupgradeするには、
upgradeする前にOrientDBをH2へ移行する必要がある。

前提条件

Nexusのversionが、3.70系の最新versionであること
OrientDBからH2への移行時に、16GB以上のメモリが確保されていること

使用したNexusの状態

upgradeするNexusは、docker composeで運用している

services:
nexus:
image: sonatype/nexus3:3.70.4
ports:
- 8081:8081
volumes:
- nexus-data:/nexus-data
volumes:
nexus-data: null

OrientDBからH2への移行手順

DBのbackup保存先ディレクトリを作成する

mkdir /var/lib/docker/volumes/nexus_nexus-data/_data/_backup

chown 200:200 /var/lib/docker/volumes/nexus_nexus-data/_data/_backup

Nexusへブラウザでアクセスし、full backupを取得する

adminでログイン
上部の歯車アイコンをクリック
System > Tasks
Create task
Admin - Export Database for backup
- Task name: 任意
- Backup location: /nexus-data/_backup
- ⁠Task frequency: Manual
作成したTaskを選択し、Runをクリック
Taskが完了したことを確認する

Nexusを停止する

docker compose down

Database Migrator Utilityを取得する

移行作業に使用するjarファイルを取得し、backup保存先へ格納する

wget https://download.sonatype.com/nexus/nxrm3-migrator/nexus-db-migrator-3.70.4-02.jar -P /var/lib/docker/volumes/nexus_nexus-data/_data/_backup/

DBの移行を実施する

OpenJDKのコンテナイメージを起動し、先ほど取得したjarファイルを使用してDBの移行を実施する

docker run --rm -it -v /var/lib/docker/volumes/nexus_nexus-data/_data:/work -w /work/_backup openjdk:11-ea-jdk bash

OpenJDKのコンテナ内で、Database Migrator Utilityを実行する

java -Xmx16G -Xms16G -XX:+UseG1GC -XX:MaxDirectMemorySize=28672M -jar nexus-db-migrator-*.jar --migration_type=h2

17:55:40 [main] WARN c.s.n.d.migrator.MigratorApplication - Please ensure any Nexus Repository instance has been gracefully shut down before proceeding.
17:55:40 [main] INFO c.s.n.d.migrator.MigratorApplication - Do you want to continue [y/n]?
y
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - --content_migration parameter is absent. Setting it to true.
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - Force parameter wasn't found. Setting it to false by default.
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - ------------------------------------------------------------
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - Java version: Oracle Corporation 11
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - JVM arguments: -Xmx16G -Xms16G -XX:+UseG1GC -XX:MaxDirectMemorySize=28672M
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - Migrator arguments: --migration_type=h2 --content_migration=true --export_json=false --force=false
17:55:42 [main] INFO c.s.n.d.migrator.MigratorApplication - ------------------------------------------------------------
17:55:43 [main] INFO c.s.n.d.migrator.MigratorApplication - Starting MigratorApplication v3.70.4-02 using Java 11 on cf71fc0d4217 with PID 14 (/work/_backup/nexus-db-migrator-3.70.4-02.jar started by root in /work/_backup)
~省略~
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Migration job finished at Wed Mar 26 17:55:51 UTC 2025
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Migration job took 5 seconds to execute
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - 2023 records were processed
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - 3 records were filtered
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - 0 records were skipped
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - 2020 records were migrated
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Created 'Rebuild repository browse' and 'Rebuild repository search' tasks. They will automatically one-time run after starting your Nexus Repository instance.
17:55:51 [main] INFO c.s.n.d.m.l.ProvidingJobInfoListener - Migrated the following formats: [APT, COCOAPODS, CONAN, CONDA, DOCKER, GITLFS, GO, HELM, MAVEN2, NPM, NUGET, P2, PYPI, R, RAW, RUBYGEMS, YUM]

作成されたファイルを所定の場所へ移動する

cp nexus.mv.db ../db/

chown 200:200 ../db/nexus.mv.db

Nexusの設定ファイルを編集する

H2を使用するために必要な設定を実施する

echo "nexus.datastore.enabled=true" >> /work/etc/nexus.properties

OpenJDKコンテナを終了する

exit

Nexusを起動する

docker compose up -d

Nexusのmigration taskが完了するのを待つ

H2が使用されていることを確認する

Nexusへブラウザでアクセスし

adminでログイン
上部の歯車アイコンをクリック
System > Tasks
filterでbackupで絞り込む
- Admin - Backup H2 Database
  のtaskのみ存在することを確認する

Nexusをupgradeする

docker composeの設定変更

使用するNexusのversionを変更する

services:
nexus:
image: sonatype/nexus3:3.78.2
ports:
- 8081:8081
volumes:
- nexus-data:/nexus-data
volumes:
nexus-data: null

Nexusを起動する

docker compose up -d

Nexusのmigration taskが完了するのを待つ

参考

Migration Environment Prerequisite Requirements
https://help.sonatype.com/en/upgrading-to-nexus-repository-3-71-0-and-beyond.html#migration-environment-prerequisite-requirements-252162

Migrating From OrientDB to H2
https://help.sonatype.com/en/upgrading-to-nexus-repository-3-71-0-and-beyond.html#migrating-from-orientdb-to-h2-252162

Blog: WindowsをAnsibleで操作する

Sat, 15 Mar 2025 19:01:20 +0900

概要

Ansibleを使用して、Windowsマシンを操作するための最低限必要な設定と操作手順

使用した環境

操作したいマシン(Windows)

Windows Server 2019
OSを新規インストールした状態

Ansibleを実行するマシン(Linux)

操作対象ごとにAnsible実行環境を作成したいので、Ansible Navigator を使用する

Installing ansible-navigator with execution environment support
https://ansible.readthedocs.io/projects/navigator/installation/

Dockerをインストールしておく

Windowsの設定

穴開け用スクリプトを作成

AnsibleからWindowsにアクセスするための設定を行う。
https://docs.ansible.com/ansible/latest/os_guide/windows_winrm.html#winrm-setup
を参考に、穴開け用のPowerShellスクリプトを作成する。
HTTPSでのみアクセスするため、穴開けはHTTPS用のみ実施する。

¥path¥to¥HTTPS_listener.ps1

# Create self signed certificate
$certParams = @{
CertStoreLocation = 'Cert:\LocalMachine\My'
DnsName = $env:COMPUTERNAME
NotAfter = (Get-Date).AddYears(1)
Provider = 'Microsoft Software Key Storage Provider'
Subject = "CN=$env:COMPUTERNAME"
}
$cert = New-SelfSignedCertificate @certParams
# Create HTTPS listener
$httpsParams = @{
ResourceURI = 'winrm/config/listener'
SelectorSet = @{
Transport = "HTTPS"
Address = "*"
}
ValueSet = @{
CertificateThumbprint = $cert.Thumbprint
Enabled = $true
}
}
New-WSManInstance @httpsParams
# Opens port 5986 for all profiles
$firewallParams = @{
Action = 'Allow'
Description = 'Inbound rule for Windows Remote Management via WS-Management. [TCP 5986]'
Direction = 'Inbound'
DisplayName = 'Windows Remote Management (HTTPS-In)'
LocalPort = 5986
Profile = 'Any'
Protocol = 'TCP'
}
New-NetFirewallRule @firewallParams

Windows上でスクリプトを実行

作成したPowerShellスクリプトを、操作したいWindowsマシンで実行する

PS C:\Users\Administrator\path\to> .\HTTPS_listener.ps1


wxf : http://schemas.xmlsoap.org/ws/2004/09/transfer
a : http://schemas.xmlsoap.org/ws/2004/08/addressing
w : http://schemas.dmtf.org/wbem/wsman/1/wsman.xsd
lang : ja-JP
Address : http://schemas.xmlsoap.org/ws/2004/08/addressing/role/anonymous
ReferenceParameters : ReferenceParameters
Caption :
Description : Inbound rule for Windows Remote Management via WS-Management. [TCP 5986]
ElementName : Windows Remote Management (HTTPS-In)
InstanceID : {f7c8f0c5-9b6e-4ffc-9264-74fcf9db2d4e}
CommonName :
PolicyKeywords :
Enabled : True
PolicyDecisionStrategy : 2
PolicyRoles :
ConditionListType : 3
CreationClassName : MSFT|FW|FirewallRule|{f7c8f0c5-9b6e-4ffc-9264-74fcf9db2d4e}
ExecutionStrategy : 2
Mandatory :
PolicyRuleName :
Priority :
RuleUsage :
SequencedActions : 3
SystemCreationClassName :
SystemName :
Action : Allow
Direction : Inbound
DisplayGroup :
DisplayName : Windows Remote Management (HTTPS-In)
EdgeTraversalPolicy : Block
EnforcementStatus : NotApplicable
LocalOnlyMapping : False
LooseSourceMapping : False
Owner :
Platforms : {}
PolicyStoreSource : PersistentStore
PolicyStoreSourceType : Local
PrimaryStatus : OK
Profiles : 0
RuleGroup :
Status : 規則は、ストアから正常に解析されました。 (65536)
StatusCode : 65536
PSComputerName :
Name : {f7c8f0c5-9b6e-4ffc-9264-74fcf9db2d4e}
ID : {f7c8f0c5-9b6e-4ffc-9264-74fcf9db2d4e}
Group :
Profile : Any
Platform : {}
LSM : False

Ansibleの設定

Ansible実行環境の設定

Ansible Navigatorを使用してAnsibleを実行する環境の設定を行う。
winrmとpsrpの両方でWindowsへ接続可能なことを確認するため、
Pythonパッケージのpywinrmとpypsrpをインストールする。

collectionは、Windowsの操作に使用するものをインストールする。

/path/to/execution-environment.yml

version: 3
images:
base_image:
name: ghcr.io/ansible-community/community-ee-base:2.18.1-1
dependencies:
ansible_core:
package_pip: ansible-core
ansible_runner:
package_pip: ansible-runner
system:
- unzip
python:
- pywinrm
- pypsrp
galaxy:
collections:
- name: ansible.windows
- name: community.windows

使用するcollectionの仕様

https://docs.ansible.com/ansible/latest/collections/ansible/windows/index.html#plugins-in-ansible-windows

https://docs.ansible.com/ansible/latest/collections/community/windows/index.html#plugins-in-community-windows

Ansible実行環境を作成

以下のコマンドで、Ansible実行環境のコンテナイメージを作成する

cd /path/to
ansible-builder build --tag local/ansible4win:2.18.1-1

inventoryを作成

操作したいWindowsマシンのIPアドレス、認証情報の設定を行う。
winrmを使用する場合とpsrpを使用する場合で設定が異なる。

(winrm用)

/path/to/inventories/hosts

[win]
114.51.48.10
[win:vars]
ansible_user=administrator
ansible_password=nandemo
ansible_connection=winrm
ansible_winrm_transport=ntlm
ansible_winrm_server_cert_validation=ignore

winrmの各種パラメータの仕様

https://ansible.fontein.de/collections/ansible/builtin/winrm_connection.html

(psrp用)

/path/to/inventories/hosts

[win]
114.51.48.10
[win:vars]
ansible_user=administrator
ansible_password=nandemo
ansible_connection=psrp
ansible_psrp_auth=ntlm
ansible_psrp_cert_validation=ignore

psrpの各種パラメータの仕様

https://ansible.fontein.de/collections/ansible/builtin/psrp_connection.html

playbookを作成

Windows Serverを新規インストールした状態ではpingは通らないため、
動作確認用playbookは、whoamiコマンドを実行させ、その出力を表示する定義で作成した。

/path/to/playbooks/cmd.yml

---
- hosts: all
gather_facts: false
tasks:
- name: Exec command
win_command: whoami
register: return_whoami
- name: Debug output
debug:
msg: "{{ return_whoami }}"

Ansible Navigatorの設定

使用するAnsible実行環境の各種設定を行う。
Ansible Navigator実行時に、毎回inventoryを指定するのが面倒なので、使用するinventoryを指定しておく。

/path/to/ansible-navigator.yml

# # cspell:ignore cmdline, workdir
---
ansible-navigator:
ansible:
inventory:
help: False
entries:
- ./inventories/hosts
execution-environment:
image: local/ansible4win:2.18.1-1
logging:
level: critical
mode: stdout
time-zone: Japan

Ansible Navigatorでplaybookを実行

以下のコマンドでAnsibleを実行

ansible-navigator run --ep playbooks/cmd.yml

PLAY [all] *************************************************************************************************************
TASK [Exec command] ****************************************************************************************************
changed: [114.51.48.10]
TASK [Debug output] ****************************************************************************************************
ok: [114.51.48.10] => {
"msg": {
"changed": true,
"cmd": "whoami",
"delta": "0:00:00.093775",
"end": "2025-02-19 08:06:18.816572",
"failed": false,
"rc": 0,
"start": "2025-02-19 08:06:18.722797",
"stderr": "",
"stderr_lines": [],
"stdout": "win-24gakusei\\administrator\r\n",
"stdout_lines": [
"win-24gakusei\\administrator"
]
}
}
PLAY RECAP *************************************************************************************************************
114.51.48.10 : ok=2 changed=1 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0

参考

AnsibleでWindowsサーバーを設定してみた-環境準備編-
https://blog.jbs.co.jp/entry/2023/05/30/135558

Blog: Hugo：任意のPageをsitemap.xmlに載せない

Tue, 04 Mar 2025 16:55:40 +0900

設定例

sitemap.xmlに載せたくないページに以下の設定を追加する

---
sitemap:
disable: true
---

※Hugo v0.125.0 から指定可能

参考

https://gohugo.io/methods/page/sitemap/

Blog: Windows：SideloadlyでiPadにアプリをインストールする

Sun, 08 Sep 2024 01:02:43 +0900

Windows環境にインストールしたSideloadlyを使用し、
iPadに.ipaファイルをインストールした際の手順

(任意)Microsoft Defenderに除外設定を追加

※管理者権限が必要
脆弱性が検出される.ipaファイルをインストールする際は、予め除外設定を実施しておく

Windowsセキュリティを開く

Windowsセキュリティ
ウィルスと脅威の防止
ウィルスと脅威の防止の設定の設定の管理
除外の除外の追加または削除
除外の追加ボタン押下
以下の設定で除外に追加
- フォルダー
- C:\Users\ユーザー名\AppData\Local\Temp

インストール手順

(Windows)Sideloadlyを起動

USBケーブルでWindowsとiPadを繋ぐ

(iPad)端末を信頼する

ポップが表示されるため、信頼を押下

(Windows).ipaファイルを選択

インストールする.ipaファイルをSideloadlyにドラッグ＆ドロップする

(Windows)SideloadlyにAppleIDを入力

SideloadlyのAppleID入力欄にAppleIDを入力する

(Windows)Sideloadlyの`Start`を押下

(Windows)AppleIDのパスワードを入力

Startを押下後、パスワード入力を求められるため、パスワードを入力する

(iPad)アプリがインストールされたことを確認

Blog: Windows：Sideloadlyのインストール手順

Sat, 07 Sep 2024 00:05:02 +0900

iPadに.ipaファイルをインストールするために、
Windows環境にSideloadlyをインストールした際の手順

前提条件

Windows 11 Pro 23H2 64bit
Sideloadly v0.50.3

インストール手順

iTunesをインストール

iTunesは以下からダウンロードする

https://www.apple.com/itunes/download/win64

※Microsoft Store からインストールしないこと

iCloudをインストール

iCloudは以下からダウンロードする

https://updates.cdn-apple.com/2020/windows/001-39935-20200911-1A70AA56-F448-11EA-8CC0-99D41950005E/iCloudSetup.exe

※Microsoft Store からインストールしないこと

Sideloadlyをインストール

Sideloadlyは以下からダウンロードする

https://sideloadly.io/SideloadlySetup64.exe

iTunesでAppleIDにログイン

※iCloudでログインしないこと

Sideloadlyを起動

Sideloadlyがエラー無しで起動することを確認する

エラーが発生した場合

Microsoft Visual C++ 2010 Service Pack 1 Redistributable Package (x64) をインストール

以下からダウンロードする

https://download.microsoft.com/download/1/6/5/165255E7-1014-4D0A-B094-B6A430A6BFFC/vcredist_x64.exe

Microsoft Visual C++ 2013 Redistributable Package (x64) をインストール

以下からダウンロードする

https://download.microsoft.com/download/1/6/5/165255E7-1014-4D0A-B094-B6A430A6BFFC/vcredist_x64.exe

参考

Sideloadly起動時のエラー

Sideloadlyのみインストールし、Sideloadlyを起動した際に発生したエラー

---------------------------
Question
---------------------------
Local Anisette problem:<br/>
Redist install failed: Could not install VC Redist: exit status 3010<br/>
Please install it yourself! URL: https://aka.ms/highdpimfc2013x64enu<br/>
<br/>
Or please re-run Sideloadly as admin.<br/>
<br/>
<br/>
NOTICE: Something is wrong with iTunes DLLs on your system: Failed to load C:\Users\User\AppData\Local\Sideloadly\an\libxml2.dll: The specified module could not be found.<br/>
Please try the following steps one by one: <br/>
1. If this is the first time you see this error then try downloading files again (press Yes button below);<br/>
2. Make sure that <a href='https://www.apple.com/itunes/download/win64'>iTunes</a> & <a href='https://updates.cdn-apple.com/2020/windows/001-39935-20200911-1A70AA56-F448-11EA-8CC0-99D41950005E/iCloudSetup.exe'>iCloud</a> WEB versions are installed in your system (NOT from Microsoft Store!);<br/>
2a. If you had iTunes&iCloud from Microsoft Store then you should first FULLY uninstall them before installing non-MS versions;<br/>
3. (Re-)install <a href='https://download.microsoft.com/download/1/6/5/165255E7-1014-4D0A-B094-B6A430A6BFFC/vcredist_x64.exe'>Microsoft Visual C++ 2010 Service Pack 1 Redistributable Package (x64)</a>;<br/>
4. (Re-)install <a href='https://aka.ms/highdpimfc2013x64enu'>Microsoft Visual C++ 2013 Redistributable Package (x64)</a>;<br/>
5. Login to your Apple ID in iTunes but not in iCloud;<br/>
6. If all the above steps are performed but nothing helped then you may want to use Remote Anisette (available to our Patreon supporters) as it does not rely on your local system.xml err Failed to load C:\Users\User\AppData\Local\Sideloadly\an\libxml2.dll: The specified module could not be found.<br/>
Do you want to download it?<br/>
It's highly recommended to use local Anisette.
---------------------------
&Yes &No
---------------------------

Blog: Windows：Faster Whisperを使用可能にする

Mon, 08 May 2023 18:57:15 +0900

概要

Faster Whisper(https://github.com/guillaumekln/faster-whisper) をインストールし、
正常動作するところまでを確認(現時点の最新版であるv0.5.1を使用)
Faster Whisperは、OpenAIのWhisperを再実装し、Whisperより4倍速くなったらしい

使用したPCのスペック

CPU：Core i7 11800H
メモリ：16GB
GPU：GeForce RTX 3070
OS：Windows 11 Home

GPUを使用可能にするための準備

Faster Whisper の処理をGPUで実行するために必要なソフトウェアをインストールする

CUDA Toolkitのダウンロード

CUDA Toolkit の最新バージョンは、12.X 系だが、
Faster Whisper は対応していないため、11.X 系をインストールする

https://developer.nvidia.com/cuda-11-8-0-download-archive

から CUDA Toolkit 11.8 をダウンロードする

Operating System：Windows
Architecture：x86_64
Version：11
Installer Type：exe(network)

を選択し、インストーラーをダウンロードする

CUDA Toolkitのインストール

ダウンロードしたインストーラーを実行し、CUDA Toolkit 11.8 をインストールする
(割と時間が掛かる)

Zlibのダウンロード

https://www.winimage.com/zLibDll/zlib123dllx64.zip

から Zlib をダウンロードする

Zlibの展開

ダウンロードしたzipファイルを展開し、zlibwapi.dll を任意のディレクトリに格納する
(ここでは、C:\Program Files\Zlib を使用する)

cuDNNのダウンロード

※NVIDIA DEVELOPERアカウントが必要

https://developer.nvidia.com/cudnn

から cuDNN をダウンロードする
CUDA 11.X 系に対応したものをダウンロードする必要がある

cuDNNの展開

ダウンロードしたzipファイルを展開し、

bin
include
lib

を任意のディレクトリに格納する (ここでは、C:\Program Files\NVIDIA\CUDNN\v8.9 を使用する)

環境変数の追加

control sysdm.cpl

を実行し、システムのプロパティウィンドウを開く

詳細設定タブをクリックし、環境変数ボタンを押下する

システム環境変数のPathを選択し、編集ボタンを押下する

環境変数に
・C:\Program Files\Zlib
・C:\Program Files\NVIDIA\CUDNN\v8.9\bin
を追加する

Faster Whisperの実行環境を作成

Pythonのインストール

Python 3.10.11 を使用した

Windows用Pythonのダウンロード先
https://www.python.org/downloads/windows/

venv環境を作成

mkdir C:\work\faster_whisper
cd C:\work\faster_whisper
py -3.10 -m venv venv

必要なPython packageをインストール

venv\Scripts\activate
pip install ctranslate2
pip install faster-whisper

Faster Whisperの動作確認

動作確認用コード

from faster_whisper import WhisperModel
model_size = "large-v2"
# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")
# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
# or run on CPU with INT8
# model = WhisperModel(model_size, device="cpu", compute_type="int8")
segments, info = model.transcribe("stereo_diarization.wav", beam_size=5)
print("Detected language '%s' with probability %f" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

文字起こしする音源は、FasterWhisperのGitHubリポジトリ内のテストデータを使用した

https://github.com/guillaumekln/faster-whisper/raw/master/tests/data/stereo_diarization.wav

実行結果

Detected language 'en' with probability 0.999023
[0.00s -> 4.00s] He began a confused complaint against the wizard, who had vanished behind the curtain
[4.00s -> 4.72s] on the left.

参考

Faster Whisper

https://github.com/guillaumekln/faster-whisper

cuDNNのインストール手順

https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-windows

Blog: GitLab：BitBucketをMirroring repositoryに使用する

Thu, 02 Mar 2023 19:16:57 +0900

ミラーリングの設定を開く

左側メニューの「Settings」から「Repository」をクリックする

「Mirroring repositories」の右側の「Expand」を押下

ミラーリング先を設定

Git repository URL に以下の形式でミラーリング先のリポジトリを指定する

ssh://git@bitbucket.org/リポジトリ所有者名/リポジトリ名.git

※BitbucketのSSHからのgit cloneコマンドの
　先頭に「ssh://」を付け、リポジトリ所有者名直前の「:」を「/」に変えたもの

Authentication method を「SSH public key」に設定

「Mirror repository」ボタンを押下

SSH public key の取得

画面が更新されたら、Mirrored repositories一覧、一番左のボタン「Copy SSH public key」を押下

BitbucketにSSH keyを追加

BitbucketのPersonal settingsへ移動し、左側メニューの「SSH keys」をクリックし、「Add key」を押下

Label に何か入力し、Key にコピーした内容をペースト、その後「Add key」を押下

ミラーリングを実行

GitLabリポジトリへのコミット
Repository Settings画面からミラーリング実行(Copy SSH public keyボタンのとなり)

等でBitbucketのリポジトリに対してミラーリングを実行できる

Blog: Django：HTTPレスポンスでファイルを返す

Sat, 20 Feb 2021 19:32:13 +0900

実装例

from django.http import FileResponse
from django.views.generic.base import View
class FileResponseView(View):
def get(self, request, *args, **kwargs):
response = FileResponse(open('送信するファイルのパス', 'rb'))
response['content_type'] = 'application/zip'
response['Content-Disposition'] = 'attachment; filename=ファイル名'
return response

Blog: Debian系：pipでuwsgiをインストールする

Sat, 13 Feb 2021 15:50:49 +0900

必要なpackageのインストール

Python2系でuwsgiを使用する場合

apt-get install -y gcc python2.7-dev

Python3系でuwsgiを使用する場合

apt-get install -y gcc python3-dev

packageが不足している場合のエラー

pip install uwsgi

Collecting uwsgi
Using cached https://files.pythonhosted.org/packages/a2/c9/a2d5737f63cd9df4317a4acc15d1ddf4952e28398601d8d7d706c16381e0/uwsgi-2.0.17.1.tar.gz
Building wheels for collected packages: uwsgi
Running setup.py bdist_wheel for uwsgi ... error
Complete output from command /usr/local/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-lbdb9gq3/uwsgi/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/pip-wheel-tabhcviq --python-tag cp36:
/usr/local/lib/python3.6/distutils/dist.py:261: UserWarning: Unknown distribution option: 'descriptions'
warnings.warn(msg)
running bdist_wheel
running build
running build_py
creating build
creating build/lib
copying uwsgidecorators.py -> build/lib
installing to build/bdist.linux-x86_64/wheel
running install
using profile: buildconf/default.ini
detected include path: ['/usr/lib/gcc/x86_64-linux-gnu/6/include', '/usr/local/include', '/usr/lib/gcc/x86_64-linux-gnu/6/include-fixed', '/usr/include']
Patching "bin_name" to properly install_scripts dir
detected CPU cores: 4
configured CFLAGS: -O2 -I. -Wall -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -Wextra -Wno-unused-parameter -Wno-missing-field-initializers -DUWSGI_LOCK_USE_MUTEX -DUWSGI_EVENT_USE_EPOLL -DUWSGI_EVENT_TIMER_USE_TIMERFD -DUWSGI_EVENT_TIMER_USE_TIMERFD_NOINC -DUWSGI_EVENT_FILEMONITOR_USE_INOTIFY -DUWSGI_VERSION="\"2.0.17.1\"" -DUWSGI_VERSION_BASE="2" -DUWSGI_VERSION_MAJOR="0" -DUWSGI_VERSION_MINOR="17" -DUWSGI_VERSION_REVISION="1" -DUWSGI_VERSION_CUSTOM="\"\"" -DUWSGI_YAML -DUWSGI_PLUGIN_DIR="\".\"" -DUWSGI_DECLARE_EMBEDDED_PLUGINS="UDEP(python);UDEP(gevent);UDEP(ping);UDEP(cache);UDEP(nagios);UDEP(rrdtool);UDEP(carbon);UDEP(rpc);UDEP(corerouter);UDEP(fastrouter);UDEP(http);UDEP(signal);UDEP(syslog);UDEP(rsyslog);UDEP(logsocket);UDEP(router_uwsgi);UDEP(router_redirect);UDEP(router_basicauth);UDEP(zergpool);UDEP(redislog);UDEP(mongodblog);UDEP(router_rewrite);UDEP(router_http);UDEP(logfile);UDEP(router_cache);UDEP(rawrouter);UDEP(router_static);UDEP(sslrouter);UDEP(spooler);UDEP(cheaper_busyness);UDEP(symcall);UDEP(transformation_tofile);UDEP(transformation_gzip);UDEP(transformation_chunked);UDEP(transformation_offload);UDEP(router_memcached);UDEP(router_redis);UDEP(router_hash);UDEP(router_expires);UDEP(router_metrics);UDEP(transformation_template);UDEP(stats_pusher_socket);" -DUWSGI_LOAD_EMBEDDED_PLUGINS="ULEP(python);ULEP(gevent);ULEP(ping);ULEP(cache);ULEP(nagios);ULEP(rrdtool);ULEP(carbon);ULEP(rpc);ULEP(corerouter);ULEP(fastrouter);ULEP(http);ULEP(signal);ULEP(syslog);ULEP(rsyslog);ULEP(logsocket);ULEP(router_uwsgi);ULEP(router_redirect);ULEP(router_basicauth);ULEP(zergpool);ULEP(redislog);ULEP(mongodblog);ULEP(router_rewrite);ULEP(router_http);ULEP(logfile);ULEP(router_cache);ULEP(rawrouter);ULEP(router_static);ULEP(sslrouter);ULEP(spooler);ULEP(cheaper_busyness);ULEP(symcall);ULEP(transformation_tofile);ULEP(transformation_gzip);ULEP(transformation_chunked);ULEP(transformation_offload);ULEP(router_memcached);ULEP(router_redis);ULEP(router_hash);ULEP(router_expires);ULEP(router_metrics);ULEP(transformation_template);ULEP(stats_pusher_socket);"
*** uWSGI compiling server core ***
[thread 0][gcc -pthread] core/utils.o
[thread 1][gcc -pthread] core/protocol.o
[thread 2][gcc -pthread] core/socket.o
[thread 3][gcc -pthread] core/logging.o
In file included from core/utils.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
In file included from core/protocol.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
compilation terminated.
In file included from core/logging.c:2:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
In file included from core/socket.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
----------------------------------------
Failed building wheel for uwsgi
Running setup.py clean for uwsgi
Failed to build uwsgi
Installing collected packages: uwsgi
Running setup.py install for uwsgi ... error
Complete output from command /usr/local/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-lbdb9gq3/uwsgi/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-rejxmt8l/install-record.txt --single-version-externally-managed --compile:
/usr/local/lib/python3.6/distutils/dist.py:261: UserWarning: Unknown distribution option: 'descriptions'
warnings.warn(msg)
running install
using profile: buildconf/default.ini
detected include path: ['/usr/lib/gcc/x86_64-linux-gnu/6/include', '/usr/local/include', '/usr/lib/gcc/x86_64-linux-gnu/6/include-fixed', '/usr/include']
Patching "bin_name" to properly install_scripts dir
detected CPU cores: 4
configured CFLAGS: -O2 -I. -Wall -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -Wextra -Wno-unused-parameter -Wno-missing-field-initializers -DUWSGI_LOCK_USE_MUTEX -DUWSGI_EVENT_USE_EPOLL -DUWSGI_EVENT_TIMER_USE_TIMERFD -DUWSGI_EVENT_TIMER_USE_TIMERFD_NOINC -DUWSGI_EVENT_FILEMONITOR_USE_INOTIFY -DUWSGI_VERSION="\"2.0.17.1\"" -DUWSGI_VERSION_BASE="2" -DUWSGI_VERSION_MAJOR="0" -DUWSGI_VERSION_MINOR="17" -DUWSGI_VERSION_REVISION="1" -DUWSGI_VERSION_CUSTOM="\"\"" -DUWSGI_YAML -DUWSGI_PLUGIN_DIR="\".\"" -DUWSGI_DECLARE_EMBEDDED_PLUGINS="UDEP(python);UDEP(gevent);UDEP(ping);UDEP(cache);UDEP(nagios);UDEP(rrdtool);UDEP(carbon);UDEP(rpc);UDEP(corerouter);UDEP(fastrouter);UDEP(http);UDEP(signal);UDEP(syslog);UDEP(rsyslog);UDEP(logsocket);UDEP(router_uwsgi);UDEP(router_redirect);UDEP(router_basicauth);UDEP(zergpool);UDEP(redislog);UDEP(mongodblog);UDEP(router_rewrite);UDEP(router_http);UDEP(logfile);UDEP(router_cache);UDEP(rawrouter);UDEP(router_static);UDEP(sslrouter);UDEP(spooler);UDEP(cheaper_busyness);UDEP(symcall);UDEP(transformation_tofile);UDEP(transformation_gzip);UDEP(transformation_chunked);UDEP(transformation_offload);UDEP(router_memcached);UDEP(router_redis);UDEP(router_hash);UDEP(router_expires);UDEP(router_metrics);UDEP(transformation_template);UDEP(stats_pusher_socket);" -DUWSGI_LOAD_EMBEDDED_PLUGINS="ULEP(python);ULEP(gevent);ULEP(ping);ULEP(cache);ULEP(nagios);ULEP(rrdtool);ULEP(carbon);ULEP(rpc);ULEP(corerouter);ULEP(fastrouter);ULEP(http);ULEP(signal);ULEP(syslog);ULEP(rsyslog);ULEP(logsocket);ULEP(router_uwsgi);ULEP(router_redirect);ULEP(router_basicauth);ULEP(zergpool);ULEP(redislog);ULEP(mongodblog);ULEP(router_rewrite);ULEP(router_http);ULEP(logfile);ULEP(router_cache);ULEP(rawrouter);ULEP(router_static);ULEP(sslrouter);ULEP(spooler);ULEP(cheaper_busyness);ULEP(symcall);ULEP(transformation_tofile);ULEP(transformation_gzip);ULEP(transformation_chunked);ULEP(transformation_offload);ULEP(router_memcached);ULEP(router_redis);ULEP(router_hash);ULEP(router_expires);ULEP(router_metrics);ULEP(transformation_template);ULEP(stats_pusher_socket);"
*** uWSGI compiling server core ***
[thread 2][gcc -pthread] core/utils.o
[thread 1][gcc -pthread] core/protocol.o
[thread 0][gcc -pthread] core/socket.o
[thread 3][gcc -pthread] core/logging.o
In file included from core/utils.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
In file included from core/socket.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
In file included from core/logging.c:2:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
In file included from core/protocol.c:1:0:
./uwsgi.h:165:19: fatal error: stdio.h: No such file or directory
#include <stdio.h>
^
compilation terminated.
----------------------------------------
Command "/usr/local/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-lbdb9gq3/uwsgi/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-rejxmt8l/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-lbdb9gq3/uwsgi/

Blog: Django：modelオブジェクトの1レコードをJSON用エスケープされたstrに変換

Sat, 06 Feb 2021 12:13:18 +0900

実装例その１

from django.core.serializers import serialize
from models import MyModel
def model_to_json_str():
# 1レコードのみ取得
record = MyModel.objects.get(検索条件)
# JSON形式のstrとして出力
# ※record を tuple に入れて渡すこと!!
return serialize('json', (record,))
# [{"model": "myapp.mymodel", "pk": 5, "fields": {"user": "1", "name": "abc", "created_date": "2020-10-21T19:30:38.008"}}]

実装例その２

from json import dumps
from django.forms.models import model_to_dict
from models import MyModel
def model_to_json_str():
# 1レコードのみ取得
record = MyModel.objects.get(検索条件)
my_dict = {
'pk': record.pk,
'fields': model_to_dict(
record,
['user', 'name', 'created_date']
)
}
# JSON形式のstrとして出力
return dumps(my_dict)
# {"pk": 5, "fields": {"user": "1", "name": "abc", "created_date": "2020-10-21T19:30:38.008"}}

参考

model_to_dictの実装

def model_to_dict(instance, fields=None, exclude=None):
"""
Return a dict containing the data in ``instance`` suitable for passing as
a Form's ``initial`` keyword argument.
``fields`` is an optional list of field names. If provided, return only the
named.
``exclude`` is an optional list of field names. If provided, exclude the
named from the returned dict, even if they are listed in the ``fields``
argument.
"""
opts = instance._meta
data = {}
for f in chain(opts.concrete_fields, opts.private_fields, opts.many_to_many):
if not getattr(f, 'editable', False):
continue
if fields is not None and f.name not in fields:
continue
if exclude and f.name in exclude:
continue
data[f.name] = f.value_from_object(instance)
return data

Blog: Python：OSコマンドを実行する

Sat, 30 Jan 2021 18:32:45 +0900

その１

import shlex, subprocess
returncode = subprocess.call(shlex.split('実行コマンド'))

※Python 3.5 より前のバージョンでも使用可能 ※終了コードが取得可能

参考

https://docs.python.org/ja/3/library/subprocess.html#subprocess.call

その２

import os
returncode = os.system('実行コマンド')

※実行コマンドの出力は標準出力に出力される
※終了コードが取得可能

その３

import os
result = os.popen('実行コマンド')
returncode = 0 if result.close() is None else result.close()
stdout = result.read().rstrip('\n')

※終了コード、標準出力が取得可能

その４

import subprocess
result = subprocess.run(実行コマンド(list型))
# 終了コード
result.returncode
# 標準出力
result.stdout

※Python3.5から使用可能 ※終了コード、標準出力等が取得可能

参考

https://docs.python.org/ja/3/library/subprocess.html#subprocess.run
https://docs.python.org/ja/3/library/subprocess.html#subprocess.CompletedProcess

Blog: Python：virtualenvwrapper の使い方

Sat, 23 Jan 2021 18:20:55 +0900

virtualenvwrapper のインストール

pip でインストールを実施

pip install virtualenvwrapper

.bashrc (または、/etc/bashrc) に以下を追加

export WORKON_HOME=$HOME/.virtualenvs
. /usr/bin/virtualenvwrapper.sh

virtualenvwrapper の使い方

環境を作成

mkvirtualenv 環境名

環境一覧を参照

workon

環境をactivate

workon 環境名

環境をdeactivate

deactivate

環境を削除

rmvirtualenv 環境名

Blog: Python：文字列からクラスを取得する

Sat, 16 Jan 2021 17:50:05 +0900

実装例

import importlib
def class_for_name(package_name, class_name):
'''
:param str package_name:
:param str class_name:
'''
# packageが見つからなければ ImportError が発生
m = importlib.import_module(package_name)
# classが見つからなければ AttributeError が発生
c = getattr(m, class_name)
return c

使用例

# コンストラクタを呼び出す
instance = class_for_name('mypackage.foo', 'MyClass')(val1, val2, ...)

Blog: Java：byte配列を文字コード関連エラーを無視してStringに変換する

Tue, 05 Jan 2021 06:01:44 +0900

実装例

import java.nio.ByteBuffer;
import java.nio.charset.CodingErrorAction;
import java.nio.charset.StandardCharsets;
...
StandardCharsets.UTF_8.newDecoder().onMalformedInput(
CodingErrorAction.IGNORE
).onUnmappableCharacter(
CodingErrorAction.IGNORE
).decode(
ByteBuffer.wrap(byte配列)
).toString();
...

Blog: 複数versionのPythonを使い分ける

Fri, 25 Dec 2020 12:34:29 +0900

Windowsの場合

凡例

py -Pythonのversion -m コマンド

使用例

Python3.8 で venvを使用する

py -3.8 -m venv ...

Python2.7 の pip を実行する

py -2.7 -m pip ...

Linuxの場合

凡例

pythonPythonのversion -m コマンド

使用例

Python3.8 で venvを使用する

python3.8 -m venv ...

Python2.7 の pip を実行する

python2.7 -m pip ...

Blog: Python：Exceptionのtype・エラー文言をロギングする

Tue, 15 Dec 2020 12:29:37 +0900

実装例

import logging
logger = logging.getLogger(__name__)
try:
# do something
except Exception as e:
logger.exception('%s: %s', type(e).__name__, e)
...

Blog: Python：文字列をshellの引数で使えるようにエスケープする

Sat, 05 Dec 2020 12:25:26 +0900

凡例

import shlex
shlex.quote(文字列)

※shellに渡す個々の引数に対して実行する必要がある

参考

shlex — 単純な字句解析
https://docs.python.org/ja/3/library/shlex.html#shlex.quote

Blog: CentOS：CMakeをインストール

Wed, 25 Nov 2020 06:42:07 +0900

yum でインストールする場合

yum install -y cmake

アーカイブからインストールする場合

curl -SL https://github.com/Kitware/CMake/releases/download/v3.18.1/cmake-3.18.1-Linux-x86_64.tar.gz | tar -xzC /opt
ln -s /opt/cmake-3.18.1-Linux-x86_64/bin/cmake /usr/bin/cmake

アーカイブの取得先

https://github.com/Kitware/CMake/releases
https://cmake.org/download/

Blog: CentOS：openjdk-devel・openjdk の違い

Sun, 15 Nov 2020 06:31:56 +0900

java-XX-openjdk パッケージと java-XX -openjdk-devel パッケージの違い

openjdk は openjdk-devel に含まれている

openjdk

yum install java-11-openjdk

Installing:
java-11-openjdk x86_64 1:11.0.4.11-1.el7_7 updates 211 k
Installing for dependencies:
avahi-libs x86_64 0.6.31-19.el7 base 61 k
copy-jdk-configs noarch 3.3-10.el7_5 base 21 k
cups-libs x86_64 1:1.6.3-40.el7 base 358 k
dejavu-fonts-common noarch 2.33-6.el7 base 64 k
dejavu-sans-fonts noarch 2.33-6.el7 base 1.4 M
fontconfig x86_64 2.13.0-4.3.el7 base 254 k
fontpackages-filesystem noarch 1.44-8.el7 base 9.9 k
giflib x86_64 4.1.6-9.el7 base 40 k
java-11-openjdk-headless x86_64 1:11.0.4.11-1.el7_7 updates 39 M
javapackages-tools noarch 3.4.1-11.el7 base 73 k
libICE x86_64 1.0.9-9.el7 base 66 k
libSM x86_64 1.2.2-2.el7 base 39 k
libX11 x86_64 1.6.7-2.el7 base 607 k
libX11-common noarch 1.6.7-2.el7 base 164 k
libXau x86_64 1.0.8-2.1.el7 base 29 k
libXext x86_64 1.3.3-3.el7 base 39 k
libXi x86_64 1.7.9-1.el7 base 40 k
libXrender x86_64 0.9.10-1.el7 base 26 k
libXtst x86_64 1.2.3-1.el7 base 20 k
libfontenc x86_64 1.1.3-3.el7 base 31 k
libjpeg-turbo x86_64 1.2.90-8.el7 base 135 k
libxcb x86_64 1.13-1.el7 base 214 k
libxslt x86_64 1.1.28-5.el7 base 242 k
lksctp-tools x86_64 1.0.17-2.el7 base 88 k
pcsc-lite-libs x86_64 1.8.8-8.el7 base 34 k
python-javapackages noarch 3.4.1-11.el7 base 31 k
python-lxml x86_64 3.2.1-4.el7 base 758 k
ttmkfdir x86_64 3.0.9-42.el7 base 48 k
tzdata-java noarch 2019c-1.el7 updates 187 k
xorg-x11-font-utils x86_64 1:7.5-21.el7 base 104 k
xorg-x11-fonts-Type1 noarch 7.5-9.el7 base 521 k

openjdk-devel

yum install java-11-openjdk-devel

Installing:
java-11-openjdk-devel x86_64 1:11.0.4.11-1.el7_7 updates 3.3 M
Installing for dependencies:
avahi-libs x86_64 0.6.31-19.el7 base 61 k
copy-jdk-configs noarch 3.3-10.el7_5 base 21 k
cups-libs x86_64 1:1.6.3-40.el7 base 358 k
dejavu-fonts-common noarch 2.33-6.el7 base 64 k
dejavu-sans-fonts noarch 2.33-6.el7 base 1.4 M
fontconfig x86_64 2.13.0-4.3.el7 base 254 k
fontpackages-filesystem noarch 1.44-8.el7 base 9.9 k
giflib x86_64 4.1.6-9.el7 base 40 k
java-11-openjdk x86_64 1:11.0.4.11-1.el7_7 updates 211 k
java-11-openjdk-headless x86_64 1:11.0.4.11-1.el7_7 updates 39 M
javapackages-tools noarch 3.4.1-11.el7 base 73 k
libICE x86_64 1.0.9-9.el7 base 66 k
libSM x86_64 1.2.2-2.el7 base 39 k
libX11 x86_64 1.6.7-2.el7 base 607 k
libX11-common noarch 1.6.7-2.el7 base 164 k
libXau x86_64 1.0.8-2.1.el7 base 29 k
libXext x86_64 1.3.3-3.el7 base 39 k
libXi x86_64 1.7.9-1.el7 base 40 k
libXrender x86_64 0.9.10-1.el7 base 26 k
libXtst x86_64 1.2.3-1.el7 base 20 k
libfontenc x86_64 1.1.3-3.el7 base 31 k
libjpeg-turbo x86_64 1.2.90-8.el7 base 135 k
libxcb x86_64 1.13-1.el7 base 214 k
libxslt x86_64 1.1.28-5.el7 base 242 k
lksctp-tools x86_64 1.0.17-2.el7 base 88 k
pcsc-lite-libs x86_64 1.8.8-8.el7 base 34 k
python-javapackages noarch 3.4.1-11.el7 base 31 k
python-lxml x86_64 3.2.1-4.el7 base 758 k
ttmkfdir x86_64 3.0.9-42.el7 base 48 k
tzdata-java noarch 2019c-1.el7 updates 187 k
xorg-x11-font-utils x86_64 1:7.5-21.el7 base 104 k
xorg-x11-fonts-Type1 noarch 7.5-9.el7 base 521 k

Blog: Java：オブジェクトのByte配列をプリミティブなbyte配列に変換する

Thu, 05 Nov 2020 06:26:19 +0900

Maven設定

 <dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.11</version>
</dependency>

実装例

import org.apache.commons.lang.ArrayUtils;
Byte[] binaryObj;
...
byte[] binary = ArrayUtils.toPrimitive((Byte[]) binaryObj);

Blog: Linux：rootユーザーでのssh接続を可能にする

Sun, 25 Oct 2020 01:11:06 +0900

root ユーザーのパスワードを設定

root ユーザーで以下のコマンドを実行する

passwd

設定ファイルの変更

sshの設定ファイルに以下の設定を行う

/etc/ssh/sshd_config

PermitRootLogin yes

sshdサービスの再起動

service sshd restart

※「sshd」でサービスが見つからない場合は「ssh」を使用する

Blog: OpenSSL：1linerでランダムな16進数文字列を得る

Thu, 15 Oct 2020 02:30:52 +0900

凡例

openssl rand -hex byte数

16進数を64文字出力

コマンド

openssl rand -hex 32

出力例

880e676a0f903c9a00820af91e2d1da398c7751286da2cb7f196c4e4f3995fdf

※1byteごとに 00~ff のいずれかが出力されるため、文字列長はbyte数の2倍となる

Blog: java.io.IOException: Cannot run program "bash": error=24, Too many open files

Mon, 05 Oct 2020 09:35:12 +0900

事象

Javaで複数ファイルを開く処理を実行した際に以下のようなエラーが発生

...
Caused by: java.util.concurrent.ExecutionException: java.lang.RuntimeException: ERROR: Unrecoverable error when performing local command java.io.IOException: Cannot run program "bash": error=24, Too many open files
at java.util.concurrent.FutureTask.report(FutureTask.java:122)
at java.util.concurrent.FutureTask.get(FutureTask.java:192)
at org.grep4j.core.executors.GrepTaskExecutor.execute(GrepTaskExecutor.java:48)
... 7 more
...

原因

ファイルディスクリプタの上限値が不足しているため

対策

ファイルディスクリプタの上限値を増やす

現在のファイルディスクリプタ上限値の確認

ulimit -n

ファイルディスクリプタ上限値を設定

ulimit -n ファイルディスクリプタ上限値

Blog: java.io.IOException: Cannot run program "bash": error=11, Resource temporarily unavailable

Fri, 25 Sep 2020 09:35:12 +0900

事象

Javaで複数ファイルを開く処理を実行した際に以下のようなエラーが発生

...
Caused by: java.util.concurrent.ExecutionException: java.lang.RuntimeException: ERROR: Unrecoverable error when performing local command java.io.IOException: Cannot run program "bash": error=11, Resource temporarily unavailable
at java.util.concurrent.FutureTask.report(FutureTask.java:122)
at java.util.concurrent.FutureTask.get(FutureTask.java:192)
at org.grep4j.core.executors.GrepTaskExecutor.execute(GrepTaskExecutor.java:48)
... 7 more
...

原因

プロセス数の上限値が不足しているため

対策

プロセス数の上限値を増やす

現在のプロセス数上限値の確認

ulimit -u

プロセス数上限値を設定

ulimit -u プロセス数上限値

Blog: Windows 10：WSL 2 を使用可能にする

Tue, 15 Sep 2020 07:00:05 +0900

Windows 10 用 Windows Subsystem for Linux のインストールガイド
https://docs.microsoft.com/ja-jp/windows/wsl/wsl2-install

Windows 10 をバージョン 2004 ビルド 19041 以降までupdate

現在のバージョンは以下のコマンドで確認可能

winver

実行例

カーネルコンポーネント更新プログラムを取得

https://aka.ms/wsl2kernel
からカーネルコンポーネントの更新に必要なプログラムを取得する
※Windows10を所定のupdateする前にインストールしてしまった場合は、
　一旦アンインストールし、update完了後に再インストールする

インストール済みのディストリビューションのバージョン確認

現時点でインストールされている Linux ディストリビューションの WSL バージョンを確認する

wsl -l -v

 NAME STATE VERSION
* Ubuntu-18.04 Running 1

※カーネルコンポーネント更新プログラムが適用されていないと
　-v オプションが使えない

インストール済みのディストリビューションを WSL 2 に変換

wsl --set-version Ubuntu-18.04 2

カーネルコンポーネント更新プログラム未適用時の出力結果

変換中です。この処理には数分かかることがあります...
WSL 2 を実行するには、カーネル コンポーネントの更新が必要です。詳細については https://aka.ms/wsl2kernel を参照してください

カーネルコンポーネント更新プログラム適用時の出力結果

変換中です。この処理には数分かかることがあります...
WSL 2 との主な違いについては、https://aka.ms/wsl2 を参照してください
変換が完了しました。

WSL 2 を既定のアーキテクチャに設定する

新規にインストールした Linux ディストリビューションに設定される WSL バージョンを WSL 2 にする

wsl --set-default-version 2

WSL 2 との主な違いについては、https://aka.ms/wsl2 を参照してください

(任意)Windows Insider Program に参加

https://insider.windows.com/en-gb/getting-started/

WSL 2 で Docker を使う場合は Windows Insider Program に参加しておく

Blog: Linux：最新のpipをインストールする

Sat, 05 Sep 2020 05:29:09 +0900

pip がインストールされていない場合

curl https://bootstrap.pypa.io/get-pip.py | sudo python

pip がインストールされている場合

pip install -U pip

Python2系
- Python 2.7.9 以降
Python3系
- Python 3.4 以降

であれば、pip がインストールされているため、上記のコマンドで最新 version へ更新可能

Blog: Docker：コンテナ起動時に自動作成されたvolumeのみ削除する

Tue, 25 Aug 2020 04:00:33 +0900

volume一覧の例

docker volume ls

DRIVER VOLUME NAME
local 0b86b74a54e87cb152681c0ad043a9c4d1e5befbf2c40c21c1ba600a7de34bd6
local 0cfbe53c27101b4d69db10888933375c4b0d92cd861e7aeb773ebbef9c20fd4a
local 0eed9d89f6ee5ee7cb4b6aef31769f0f549052b9bc6ab43ed89b2c83e5b7490a
local 60db7cc46cd5ab4a43bbb463f9a5b3f5c903b0a1f4ed6cd6838de08abf91c1ad
local 73d36529b371dbc465cfb664ad5953542eba63899639cf2f82db85c77c44c227
local 87c805cb7f8245001773249c0552644cb5fcc1336ee1ed0acfec06b82b807504
local 757e9b691bfb3a83a2fe4b0e4a8dc9fa52830b3cc7cac97a4687a915035421fc
local 437715b0f39c74eb59a92378be8b6e604f7f35365a482c7e0b135be1090cb990
local 563283a29f203cfa03acac8b52b8de016aeecd6682f08a44a014bcf685f30eff
local a61fd5a1af35cf452a69f982006d7dbdf1610590867cb12891d988e02bd29783
local d88cfd70919ead0bf668ded74e954bef325c80b65d33a54b31f4ff2951a14b6d
local e223cf7c182e18e1e9e46580d36e6ec7a72a0572c97b0e57729a88011220cbb0
local e544f0af0447868a0d1858fae9f061a6e8d58de9aa867aaf41c5fe696ab64ff4
local eab87aa8733e11693403a674dcc3b63218f7db8b7ded03563ee5be19c12fd626
local fc79d2416bdae5a4c96a6dd550cccc02e933cca9c793110df6d72cf4761efb8a
local local_django
local local_postgres-data
local myvolume
local test_django
local test_py-libs
local test_postgres-data
local test_postgres-data_backups

消したいvolume

local 0b86b74a54e87cb152681c0ad043a9c4d1e5befbf2c40c21c1ba600a7de34bd6
local 0cfbe53c27101b4d69db10888933375c4b0d92cd861e7aeb773ebbef9c20fd4a
local 0eed9d89f6ee5ee7cb4b6aef31769f0f549052b9bc6ab43ed89b2c83e5b7490a
local 60db7cc46cd5ab4a43bbb463f9a5b3f5c903b0a1f4ed6cd6838de08abf91c1ad
local 73d36529b371dbc465cfb664ad5953542eba63899639cf2f82db85c77c44c227
local 87c805cb7f8245001773249c0552644cb5fcc1336ee1ed0acfec06b82b807504
local 757e9b691bfb3a83a2fe4b0e4a8dc9fa52830b3cc7cac97a4687a915035421fc
local 437715b0f39c74eb59a92378be8b6e604f7f35365a482c7e0b135be1090cb990
local 563283a29f203cfa03acac8b52b8de016aeecd6682f08a44a014bcf685f30eff
local a61fd5a1af35cf452a69f982006d7dbdf1610590867cb12891d988e02bd29783
local d88cfd70919ead0bf668ded74e954bef325c80b65d33a54b31f4ff2951a14b6d
local e223cf7c182e18e1e9e46580d36e6ec7a72a0572c97b0e57729a88011220cbb0
local e544f0af0447868a0d1858fae9f061a6e8d58de9aa867aaf41c5fe696ab64ff4
local eab87aa8733e11693403a674dcc3b63218f7db8b7ded03563ee5be19c12fd626
local fc79d2416bdae5a4c96a6dd550cccc02e933cca9c793110df6d72cf4761efb8a

消したくないvolume

local local_django
local local_postgres-data
local myvolume
local test_django
local test_py-libs
local test_postgres-data
local test_postgres-data_backups

docker volume prune だとニーズを満たせない

docker volume prune

だと、現時点で使用していないvolumeが削除されてしまうため、
消したくないvolumeも未使用であれば削除されてしまう

docker volume prune
https://docs.docker.com/engine/reference/commandline/volume_prune/

削除対象のvolume名を抽出する

自動で作成されたvolumeは

volume名に「_」が含まれていない
volume名が64文字

であるため

docker volume ls | grep -E "[^_]{64}" | awk '{print $2}'

で削除対象のvolume名を抽出できる

各コマンドの説明

grep -E "[^_]{64}"

「_」を含まず、volume名が64文字のものを抽出する

awk '{print $2}'

出力結果からvolume名のみを抽出する
※awkは「"」ではなく「’」で文字列を囲む必要がある

削除対象のvolumeを削除するコマンド

for l in `docker volume ls | grep -E "[^_]{64}" | awk '{print $2}'`; do docker volume rm $l; done

Blog: ModuleNotFoundError: No module named 'pip'

Sat, 15 Aug 2020 03:45:15 +0900

事象

pipコマンド実行時に以下のようなエラーが発生

pip freeze

Traceback (most recent call last):
File "/usr/local/bin/pip", line 5, in <module>
from pip._internal.cli.main import main
ModuleNotFoundError: No module named 'pip'

原因

インストールされているpipのversionが古いため

対策

以下のコマンドで最新のpipを取得する

curl https://bootstrap.pypa.io/get-pip.py | sudo python

Blog: Windows：HyperでWSLを起動するための設定

Sat, 08 Aug 2020 08:32:47 +0900

設定ファイルの編集

C:\Users\ユーザー名\AppData\Roaming\Hyper\.hyper.js

wslコマンドからディストリビューションを指定する場合

shell: `C:\\WINDOWS\\System32\\wsl.exe`,

shellArgs: ['~', '-d', 'Ubuntu-18.04'],

直接ディストリビューションを実行する場合

shell: `ubuntu1804.exe`,

shellArgs: [],

Blog: Windows：wsl.exe実行時に起動されるWSL Distributionを設定する

Sat, 01 Aug 2020 08:47:18 +0900

WSL Distributionの一覧を確認

wslconfig /l

出力例

Linux 用 Windows サブシステム ディストリビューション:
Ubuntu-18.04 (既定)
Ubuntu-20.04

※(既定) と表示されているものがwsl.exe実行時に起動される

defaultで実行されるWSL Distributionを設定する

wslconfig /s ディストリビューション名

Blog: VSCode：.md(Markdownファイル)内でEmmetを有効にする

Sat, 25 Jul 2020 08:42:35 +0900

settings.json

設定ファイル(settings.json)を以下のように変更する

 ...
"emmet.excludeLanguages": [],
"emmet.includeLanguages": {"markdown": "html"},
...

※“emmet.includeLanguages"だけだと有効にならなかった

markdown not using emmet
https://stackoverflow.com/questions/49956963/markdown-not-using-emmet

Blog: Ubuntu：E: Unable to locate package

Sat, 18 Jul 2020 09:06:09 +0900

事象

apt-get update または apt update を実行しても同様のエラーが発生する

原因

当該packageを含むrepositoryがAPTのデータ取得元設定リストに設定されていないため

対策

以下の手順で対処する

当該packageが属するrepositoryを確認

https://packages.ubuntu.com/
から当該packageを検索し、どのrepositoryに属するかを確認する

例）xrdpの場合

※検索結果から、universe reposityに属することが分かる

repositoryをAPTのデータ取得元設定リストに追加

add-apt-repository universe

APTのデータ取得元設定リストを確認

cat /etc/apt/sources.list

deb http://archive.ubuntu.com/ubuntu bionic main universe
deb http://archive.ubuntu.com/ubuntu bionic-security main universe
deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable
# deb-src [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable
deb http://archive.ubuntu.com/ubuntu bionic-updates main universe

Blog: CircleCI：Firebaseにdeployする

Sat, 11 Jul 2020 12:16:36 +0900

実装例

.firebaserc

{
"projects": {
"default": "integrated-oath-xxx"
}
}

firebase.json

{
"hosting": {
"public": "public",
"ignore": [
"firebase.json",
"**/.*",
"**/node_modules/**"
]
}
}

.circleci/config.yml(orbs使用時)

version: 2.1
orbs:
firebase-deploy: azdevs/firebase-deploy@1.0.0
jobs:
build:
docker:
- image: cibuilds/hugo:0.69.2
steps:
- checkout
- ...
- persist_to_workspace:
root: ./
paths:
- public
- .firebaserc
- firebase.json
deploy:
docker:
- image: 'circleci/node:lts'
steps:
- attach_workspace:
at: ./
- firebase-deploy/deploy:
token: $FIREBASE_DEPLOY_TOKEN
workflows:
...

.circleci/config.yml(orbs未使用時)

version: 2
jobs:
build:
docker:
- image: cibuilds/hugo:0.69.2
steps:
- checkout
- ...
- persist_to_workspace:
root: ./
paths:
- public
- .firebaserc
- firebase.json
deploy:
docker:
- image: 'circleci/node:lts'
steps:
- attach_workspace:
at: ./
- run:
name: Install Firebase Tools
command: npm install --prefix=./firebase-deploy firebase-tools
- run:
name: Deploy to Firebase
command: ./firebase-deploy/node_modules/.bin/firebase deploy --token=$FIREBASE_DEPLOY_TOKEN -P default
workflows:
...

Blog: firebase-tools：Error: Not in a Firebase app directory (could not locate firebase.json)

Sat, 04 Jul 2020 12:30:40 +0900

事象

firebase deploy コマンド実行時に以下のエラーが発生

./firebase-deploy/node_modules/.bin/firebase deploy --token=$FIREBASE_DEPLOY_TOKEN -P default

Error: Not in a Firebase app directory (could not locate firebase.json)

原因

.firebaserc
firebase.json

がカレントディレクトリに存在しないため

対策

.firebaserc
firebase.json

をカレントディレクトリに追加する

.firebaserc 設定例

{
"projects": {
"default": "integrated-oath-xxx"
}
}

firebase.json 設定例

{
"hosting": {
"public": "public",
"ignore": [
"firebase.json",
"**/.*",
"**/node_modules/**"
]
}
}

Blog: CircleCI：定期的にジョブを実行する

Sat, 27 Jun 2020 01:33:23 +0900

実装例

毎日09:00にジョブを実行

CircleCIはUTC(協定世界時)で動作しているため、JST(日本標準時)から9時間引いた時刻を設定する必要がある

version: 2.1
workflows:
daily:
triggers:
- schedule:
cron: "0 0 * * *"
...
jobs:
...
jobs:
...

Blog: Django：自作のエラー画面を使用する

Sat, 20 Jun 2020 08:24:52 +0900

凡例

urls.py

handlerHTTPステータスコード = 'エラー画面出力用関数'

実装例

404エラー画面を自作

urls.py

handler404 = 'mysite.views.my_404_view'

※urls.py上のどこに書いてもよい

Blog: Django：ChoiceFieldの選択肢を設定する

Sat, 13 Jun 2020 01:49:47 +0900

実装例

初期化時

my_field = MyChoiceField(
...
choices=[
(optionのvalue, optionのinnerText),
...
]
)

初期化時以外

form.fields.get(フィールド名))._set_choices(
[
(optionのvalue, optionのinnerText),
...
]
)

Blog: Dockerfileのlintをする

Sat, 06 Jun 2020 00:17:25 +0900

Linux

docker run --rm -i hadolint/hadolint < Dockerfile

Windows

※Docker for Windows をインストールしていること

docker run --rm -i -v Dockerfileのあるディレクトリ:/opt hadolint/hadolint hadolint /opt/Dockerfile

lint の警告一覧

https://github.com/hadolint/hadolint#rules

Blog: Linux：/usr/bin/ld: cannot find -lz

Sat, 30 May 2020 19:44:58 +0900

事象

C/C++のソースコードのビルド時に以下のエラーが発生

...
/usr/bin/ld: cannot find -lz
collect2: error: ld returned 1 exit status
make: *** [my-package] Error 1

原因

zlib がインストールされていないため

対策

zlib をインストールする

Ubuntuの場合

apt-get install zlib1g-dev

CentOSの場合

yum install zlib-devel

Blog: Dockerfile内でファイルへ複数行書き込む処理をさせる

Wed, 27 May 2020 10:02:25 +0900

実装例

Dockerfile内でこれと同じことをやりたい

cat <<EOF > /path/to/file
foo
bar
baz
EOF

Dockerfile内では echo を使う

RUN echo "foo\n\
bar\n\
baz" >> /path/to/file

参考

launch a CAT command unix into Dockerfile
https://stackoverflow.com/questions/40359282/launch-a-cat-command-unix-into-dockerfile

Multiline Dockerfile syntax
https://github.com/moby/moby/issues/1799#issuecomment-124476047

Blog: Python：汎用性の高いロギング設定

Sat, 23 May 2020 19:50:43 +0900

実装例

logging設定

from logging.config import dictConfig
import os
LOG_DIR = 'ログ出力先ディレクトリのパス'
if not os.path.exists(LOG_DIR):
os.mkdir(LOG_DIR)
LOGGING = {
# 「1」固定
'version': 1,
# 既存のロギング設定を無効にする
'disable_existing_loggers': True,
# formatter
'formatters': {
# メッセージと出力時刻のみ出力
'simple': {
'format': '[%(asctime)s]%(message)s',
},
# ログレベル、ファイルパス、行番号、関数名も出力
'detail': {
'format': '[%(asctime)s][%(levelname)s]%(pathname)s@%(lineno)d#%(funcName)s: %(message)s',
},
},
# handler
'handlers': {
# コンソール出力
'console': {
'level': 'DEBUG',
'class': 'logging.StreamHandler',
'formatter': 'detail',
},
# ファイル出力
'file': {
'level': 'DEBUG',
'class': 'logging.handlers.WatchedFileHandler',
'formatter': 'detail',
'filename': os.path.join(LOG_DIR, '[ログファイル名]'),
'encoding': 'UTF-8',
'delay': True,
},
},
# logger
'loggers': {
'': {
# コンソール出力、ファイル出力 を使う
'handlers': ['console', 'file', ],
'level': 'DEBUG',
'propagate': True,
},
'your package name': {
'level': 'DEBUG',
'propagate': True,
},
},
}
dictConfig(LOGGING)

log出力

from logging import getLogger
logger = getLogger(__name__)
logger.info('foo')

Blog: Python：正規表現の全行マッチを実行する

Sat, 16 May 2020 09:27:27 +0900

実装例

import re
with open('/path/to/file') as f:
# ファイルから全行を取得(str型)
c = f.read()
# re.MULTILINE または re.M の指定必須
result = re.search(r'foo:[ ]+([^ ]+)\n', c, re.M)
if result:
# do something
result.groups()

参考

7.2. re — Regular expression operations
https://docs.python.org/2.7/library/re.html#re.M
https://docs.python.org/2.7/library/re.html#re.search

Blog: Unixtime(epoch)を取得する

Wed, 13 May 2020 08:45:01 +0900

Shell

date +%s

Python

import time
# Unixtime(epoch)がfloat型で返却される
time.time()

Blog: Kibana：最大メモリのdefault設定値

Sat, 09 May 2020 08:53:25 +0900

Version 7.0~

Kibanaの最大メモリのdefault設定値は1.4GB

参考

Using Kibana in a production environment
https://www.elastic.co/guide/en/kibana/master/production.html#memory

Blog: Python：1linerでランダムな文字列を得る

Sat, 02 May 2020 03:52:06 +0900

UUIDを出力

UUID4

python -c "import uuid;print(uuid.uuid4())"

出力例

8766631b-5350-4269-8c75-817a506b6f96

ランダム文字列を出力

ランダムな40文字(英字＋数字)

python -c "import string;import secrets;print(''.join([secrets.choice(string.ascii_letters+string.digits) for i in range(40)]))"

出力例

eWVZIX8VyxThN0DWVSxbauVZfmf0lMRHEaVvMOYo

Blog: Python：ファイルのtimestampを取得する

Wed, 29 Apr 2020 04:02:38 +0900

実装例

import os
# epoch(Unixtime)がfloat型で返却される
os.path.getmtime('ファイルパス')

参考

10.1. os.path — 共通のパス名操作
https://docs.python.org/ja/2.7/library/os.path.html#os.path.getmtime

Blog: Java：セマフォ(Semaphore)の使い方

Sat, 25 Apr 2020 19:32:32 +0900

セマフォ(Semaphore)を使用することにより、一度に実行されるスレッドの数を制限する

実装例

mypackage.MyRunnable.java

スレッドで実行する処理

package mypackage;
import java.util.concurrent.Semaphore;
public class MyRunnable implements Runnable {
private Semaphore semaphore;
private String[] args;
public MyRunnable(Semaphore s, String[] args) {
this.semaphore = s;
this.args = args;
}
private void execute(String[] args) {
// threadで実行する処理
...
}
@Override
public void run() {
// runメソッド内でセマフォの取得・解放を行う
try {
this.semaphore.acquire();
execute(this.args);
} catch (InterruptedException e) {
...
} finally {
this.semaphore.release();
}
}
}

mypackage.Main.java

スレッドを制御する処理

package mypackage;
import java.util.ArrayList;
import java.util.concurrent.Semaphore;
public class Main {
public static void main(String[] args) {
// threadを4つまで起動する
Semaphore s = new Semaphore(4, true);
ArrayList<Thread> thread_list = new ArrayList<Thread>();
// threadを起動
for (...) {
Thread t = new Thread(new MyRunnable(s, new String[] {...}));
t.start();
thread_list.add(t);
}
// threadの終了を待つ
for (Thread t: thread_list) {
try {
t.join();
} catch (InterruptedException e) {
...
}
}
}
}

森羅万象テーブル – Programming

Blog: Hugo：特定のページをsitemap.xmlから除外する方法

実装方法

使用例

メリット

参考リンク

本記事について

Blog: cat：コメントアウトしていない行のみを抽出 - Linuxコマンド入門

概要

基本的な使い方と構文

実践的な使用例：設定ファイルの処理

便利な応用テクニック：高度な使用方法

使用時の注意点とトラブルシューティング

まとめ：シェルスクリプトの効率化

Blog: OSS版のNexusはPostgreSQLへのmigrationが出来ない

はじめに

前提条件

移行手順

1. PostgreSQLの準備

Docker Compose設定

2. Nexusの設定変更

nexus-store.propertiesの設定

所有者設定

nexus.propertiesの設定

3. バックアップの準備

4. フルバックアップの取得

5. 移行作業の実行

移行用コンテナの準備

移行コマンドの実行

結果

結論

参考リンク

Blog: Docker版のNexusを3.71.0以降へupgradeする

前提条件

使用したNexusの状態

OrientDBからH2への移行手順

DBのbackup保存先ディレクトリを作成する

Nexusへブラウザでアクセスし、full backupを取得する

Nexusを停止する

Database Migrator Utilityを取得する

DBの移行を実施する

Nexusを起動する

H2が使用されていることを確認する

Nexusをupgradeする

docker composeの設定変更

Nexusを起動する

参考

Blog: WindowsをAnsibleで操作する

概要

使用した環境

操作したいマシン(Windows)

Ansibleを実行するマシン(Linux)

Windowsの設定

穴開け用スクリプトを作成

Windows上でスクリプトを実行

Ansibleの設定

Ansible実行環境の設定

Ansible実行環境を作成

inventoryを作成

(winrm用)

winrmの各種パラメータの仕様

(psrp用)

psrpの各種パラメータの仕様

playbookを作成

Ansible Navigatorの設定

Ansible Navigatorでplaybookを実行

参考

Blog: Hugo：任意のPageをsitemap.xmlに載せない

設定例

参考

Blog: Windows：SideloadlyでiPadにアプリをインストールする

(任意)Microsoft Defenderに除外設定を追加

Windowsセキュリティを開く

インストール手順

(Windows)Sideloadlyを起動

USBケーブルでWindowsとiPadを繋ぐ

(iPad)端末を信頼する

(Windows).ipaファイルを選択

(Windows)SideloadlyにAppleIDを入力

(Windows)SideloadlyのStartを押下

(Windows)Sideloadlyの`Start`を押下