PHPカンファレンス北海道2024
採択
2024/01/12 20:00〜
ｸﾘｴｲﾃｨﾌﾞｽﾀｼﾞｵ
LT
全国700個以上の路線バスGTFS-JPオープンデータを毎日取得、反映し続けて得られた経験
福田 匡彦(青い森ウェブ工房)
8nohe
「標準的なバス情報フォーマット(GTFS-JP)」オープンデータ(一部条件付き公開データ含む)を活用した無料の時刻表情報サービス「バス時刻検索」(CakePHP使用)を2022年9月に新規公開し運営しています。
素材のGTFS-JPデータを毎日ダウンロードし、更新を検知時に加工しDBへ取込みを行いますが、基本的にPHPプログラムで行っています。
今回は、毎朝最新版が公開されるバス会社もあり、更新データ量が大きく、DBへ反映が高負荷な状況にどう対処しているか？についてお話する予定です。
◇参考情報：ある日の都営バスGTFS-JPデータ(全国でも大きめ)は毎朝4時台に更新される上に、そのテキストファイル15個のサイズが計「79.7 MB」もあり。
(100万行越えのファイルもあります！)
その他、予期しないエラーや問題等をどのように解決したか等を語ります。