過去ログ置き場を作る件

1 ：ひろゆき＠どうやら管理人 ★：2014/06/06(金) 11:41:44.30 ID:???

過去ログ置き場をつくろうかと。
ってことで、仕様などを決めたいですです。

2 ：ひろゆき＠どうやら管理人 ★：2014/06/06(金) 11:43:05.39 ID:???

なるべくリソースコストを下げたいので、
datをほうり込んだら、JSで表示されるみたいにしたいのですが、
ログのディレクトリ構造とかどうしようかと、、
アホみたいな量のファイルになるので、
一個のディレクトリにぶち込むとかはやばいかなぁと。

3 ：名無しさん：2014/06/06(金) 11:57:44.21 ID:5m1jbu5nu

今ある過去ログ倉庫 http://sweet.2ch.sc/patisserie/kako/
とは別に作るんでしょうか？
これも read.cgi を JavaScript モードにしておけば
JS 表示になりますけど...

4 ：名無しさん：2014/06/06(金) 12:43:51.34 ID:pnUix5/ap

http://i.imgur.com/m9G0ZvO.png
ログ速のように指定のレス数以下は省けるようなフィルター機能があると過去ログ探しやすいです

5 ：ひろゆき＠どうやら管理人 ★：2014/06/06(金) 15:59:34.29 ID:???

現状の掲示板サーバは、書き込みがあるのでSSDでレスポンス早くしてますが容量は大きくないので、
書き込みの出来ない過去ログ専用サーバに移したほうが、
効率的なんですよね。

>>4
おぉ、便利。

6 ：アップデート告知ロボ ★：2014/06/06(金) 19:28:28.42 ID:???

今のサーバは SSD + HDD のハイブリッド構成になっていて
ライブスレは SSD 上ですが
過去ログエリアは HDD 上にあります

あとフィルタもいいかも知れませんが，どうせなら
昔「検索 (find) を過去ログに対応させる」という
話があったものの立ち消えになってたと思うので
この際それを進めてみてはと...

7 ：名無しさん：2014/06/06(金) 20:20:47.06 ID:Hf3bW8G7y

専ブラはどういう扱いになるんだろ

とりあえず、現状の仕様
http://www.monazilla.org/index.php?e=198#datkako
http://www.monazilla.org/index.php?e=348

8 ：名無しさん：2014/06/06(金) 20:25:05.43 ID:Hf3bW8G7y

kako.[server].2ch.net を用意して、302でリダイレクトさせる感じになるのかな

sweet.2ch.sc/patisserie/dat/1402022504.dat にアクセスすると
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat にリダイレクト、とか

リダイレクトをxmlhttprequestは勝手に隠蔽してくれるので
read.htmlはそのまま動くんじゃないかと期待してみる

9 ：名無しさん：2014/06/06(金) 20:33:58.50 ID:5m1jbu5nu

>>7
http://sweet.2ch.sc/test/read.cgi/patisserie/1399111309/31,39

10 ：ひろゆき＠どうやら管理人 ★：2014/06/07(土) 06:03:40.84 ID:???

そういえば、過去ログの検索ってどうなったんだっけか。。。

11 ：ひろゆき＠どうやら管理人 ★：2014/06/07(土) 06:05:01.44 ID:???

おぉ、dat.gzにして、
↓みたいにすればいいんすかね。
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat

12 ：名無しさん：2014/06/07(土) 07:07:07.28 ID:X7ZSw7tAu

リダイレクトは専ブラが対応できないかも
（Not Found と同様の扱いをしてるっぽい）
http://sweet.2ch.sc/test/read.cgi/patisserie/1399111309/155

過去ログファイルの実体は別サーバに置くとしても
NFS か何かでマウントして掲示板サーバから
普通に読めるようにするのも一案かも

13 ：名無しさん：2014/06/07(土) 10:33:51.55 ID:6PZAcqirk

302でdat落ち、404でスレ削除/存在しないって判定にしたいのは分かるんだなー

>>11
事前に圧縮しておいて、mod_rewriteで書き換える感じ？
ttp://www.webdesignleaves.com/wp/htmlcss/217/ みたいな
高速化よりディスクスペース節約の側面が大きそうだけど

あと、URLはあくまで案なのでいろんな人から意見を聞いたほうがいいかと！！

14 ：ひろゆき＠どうやら管理人 ★：2014/06/08(日) 00:23:41.65 ID:???

>>12
掲示板サーバのリソースコストが増えるのであんまり得策でないかと。

>>13
>事前に圧縮しておいて、mod_rewriteで書き換える感じ？
そんな感じかなぁと。

15 ：名無しさん：2014/06/08(日) 04:29:11.13 ID:hgpLYRWFQ

とするとかつての memories/花子みたいな感じなのかな
ただ以前は定期的にサーバの引っ越しをして
跡地を memories/花子に収容してましたが

そのやり方を踏襲するのか
それとも引っ越しせず過去ログを直接
memories に放り込むのかってとこですね

16 ：名無しさん：2014/06/08(日) 06:53:00.17 ID:hgpLYRWFQ

そういえば .gz の扱いは元々 mod_negotiation でやってたような
http://httpd.apache.org/docs/2.2/content-negotiation.html
ただ gzip 圧縮に対応していないクライアントのために結局
生 .dat と圧縮 .dat.gz 両方用意しなきゃならないことになるんで
圧縮/非圧縮の切り替えも含め全部 mod_deflate に任せた方がいい
ということになって .dat.gz は作らなくなったということだったかな...

17 ：名無しさん：2014/06/08(日) 15:55:06.07 ID:f0/vxBHRt

あと利点としては、F22の仕事を過去ログ置き場に押しつけられるってところか

F22の仕様を詳しく知らないんだけど
過去ログ倉庫の生成でファイルを開くときにdat.gzだと処理が増えないか？
ってことだけちょっと気になった

18 ：ひろゆき＠どうやら管理人 ★：2014/06/08(日) 23:59:09.54 ID:???

>>16
moD_deflateって、毎回圧縮してキャッシュをしないので、
CPU負荷が高いとかじゃなかったでしたっけ？

それよりは、↓みたいに、両方のファイルを用意して、送ったほうが効率がいいような。。
http://www.cravediy.com/59-Simple-gzip-Support-for-Apache-with-mod_rewrite.html

19 ：ひろゆき＠どうやら管理人 ★：2014/06/08(日) 23:59:47.36 ID:???

>>17
具体的にどういう作業を想定してるのかわかってないおいらです。。

20 ：名無しさん：2014/06/09(月) 06:44:44.94 ID:FaWtr8M1J

>>18
まぁそうですね
CPU 負荷を取るかストレージ容量を取るかということで
ストレージはどんどん増やせるから気にしないということなら
ファイル両方用意ということでいいと思います

21 ：名無しさん：2014/06/09(月) 07:47:00.55 ID:FaWtr8M1J

そういえば過去ログ削除なんかも時々あるんでしたね
その際にも .gz 再生成が必要になるかと

22 ：ひろゆき＠どうやら管理人 ★：2014/06/09(月) 09:10:07.78 ID:???

>>20
過去ログ用のサーバはストレージは気にしない方針でいきたいなぁと。

>21
過去ログ削除はめったにあるわけでもないので、
負荷を気にするほどのものではないと思いますー。

23 ：名無しさん：2014/06/09(月) 09:25:25.54 ID:dnx7P2O6S

>>22
そういや、過去ログ削除、まだ出来てないようですけど、いつ出来る予定ですか？

24 ：ひろゆき＠どうやら管理人 ★：2014/06/11(水) 00:40:12.10 ID:???

そのうち、、、

25 ：名無しさん：2014/06/11(水) 01:06:29.62 ID:PTxyNDgFR

gzだけ保存して通常のdatはCGIか何かでgz展開したらどうかな
負荷はあるけれどもそんなに過去datへアクセスないでしょうし
DoS攻撃された際はCGIはmod_evasiveとかで守る

26 ：名無しさん：2014/06/11(水) 10:48:50.82 ID:eTEz1kkyH

>>24
うえきｗｗｗ

脱税するなよ　ひろゆき

27 ：ひろゆき＠どうやら管理人 ★：2014/06/11(水) 22:18:40.24 ID:???

>>25
過去ログサーバなので、過去datがメインかと、、、

28 ：名無しさん：2014/06/12(木) 11:10:02.10 ID:XIwvygI38

>>25
subject.txtをDB化、本文は.net側と同じ構成にした上で
静的コンテンツをCDN上に載せるのはどうですかね？
Dat鯖の中の事はあまり解りませんが、最近のDDos/Dos攻撃の防御は
ネットワーク側でも行なうのが一般的みたいです

29 ：２８：2014/06/12(木) 11:12:14.78 ID:XIwvygI38

subject.txtだけと書きましたが本文検索も可能にするならDB化は必要ですね。。。

30 ：名無しさん：2014/06/12(木) 12:07:14.44 ID:jbQD+jzfD

そういえば過去ログ鯖は今までどおり米国に置くんです？
それとも・・・

>>28
subject.txtをDB化する意味ってある？
なんというか、利用頻度や重要度からしてオーバースペックに見える

31 ：名無しさん：2014/06/12(木) 12:18:22.28 ID:XIwvygI38

>>30
検索用？
確かにオーバースペックですが、大は小を兼ねるでw

32 ：ひろゆき＠どうやら管理人 ★：2014/06/13(金) 05:36:22.27 ID:???

CDNって特定の動画を1万人に配るとか、
少ないデータを配布するには適してますけど、
多量のデータを扱うのはコスパ悪いですよ。

33 ：名無しさん：2014/06/13(金) 06:09:10.39 ID:YU1Fm9OhN

>>32
ttp://www.cloudflare.com/plans
個人的に使っているここのProプランは共有SSLも使えて$20/月ですが
Dos防御は月々$200のBusinessプランからですね。

34 ：ひろゆき＠どうやら管理人 ★：2014/06/14(土) 03:32:58.36 ID:???

おぉ、cloudflareは検討中ですー。

35 ：名無しさん：2014/06/15(日) 01:30:28.63 ID:JyVzcbVxE

http://www.dreamhost.com
とかでもええんとちゃう？

36 ：ひろゆき＠どうやら管理人 ★：2014/06/15(日) 02:47:58.39 ID:???

まぁ、基本、どこでもOKですー。

37 ：名無しさん：2014/06/16(月) 10:23:44.79 ID:kf96Yd52a

>>15 はどうなんでしょう？

* 従来方式
　　定期的に掲示板サーバを引っ越し (sweet -> sweet2)
　　跡地 (sweet) を memories に収容

* 随時収容方式
　　落ちた dat を直接 memories に転送
　　掲示板サーバの引っ越しなし

38 ：ひろゆき＠どうやら管理人 ★：2014/06/17(火) 05:31:51.01 ID:???

↓が楽でいいんじゃないかとー。

* 随時収容方式
　　落ちた dat を直接 memories に転送
　　掲示板サーバの引っ越しなし

39 ：名無しさん：2014/06/17(火) 08:07:28.79 ID:qo1PfKF5t

今の置き場もそんなにリソース使用してるようには見えないけど
どこにJS使うんだろう

40 ：ひろゆき＠どうやら管理人 ★：2014/06/17(火) 13:04:01.55 ID:???

今の置場？

41 ：名無しさん：2014/06/17(火) 20:31:26.75 ID:qo1PfKF5t

倉庫≠置場でした？

42 ：名無しさん：2014/06/18(水) 08:09:28.10 ID:q5uuQem7m

>>39
花子は確かT-Banana (C2D) + 4GB RAMで
Boot HDDと RAID6 HDD で分けているはず．．．

43 ：名無しさん：2017/05/26(金) 19:36:25.29 ID:w3NIrQByE

今は過去ログどこに置いているのですか?
これからも従来通り専ブラから見られるようにして
2ch.sc公開前の過去ログもクロールしてほしいです。

44 ：名無しさん：2018/12/15(土) 22:36:21.88 ID:TPrJofNWN

１０００過ぎたスレがいっぱい放置されてある
片付けて欲しい